1. 简介
Kafka Connect 设计为可扩展的,因此开发人员可以创建自定义 Connector、Transform 或者 Converter。Kafka Connect Plugin 是一组 Jar 文件,其中包含一个或多个 Connector、Transform 或者 Converter 的实现。Connect 将每个 Plugin 相互隔离,以便一个 Plugin 中的库不受任何其他 Plugin 中的库的影响。这在使用来自多个提供商的 Connector 时非常重要。
在 Connect 部署中安装许多 Plugin 很常见,但确保每个 Plugin 只安装一个版本。
Kafka Connect Plugin 可以是:
- 文件系统上的一个目录,其中包含 Plugin 所需的所有 JAR 以及第三方依赖。这是最常见的,也是我们首选的。
- 一个包含 Plugin 及其第三方依赖所有类文件的 uber JAR。
Plugin 不应包含 Kafka Connect 运行时提供的任何库。
Kafka Connect 根据 Plugin 路径(worker 配置文件 plugin.path 属性中以逗号分隔的目录路径)来寻找 Plugin。下面显示了一个 worker 配置文件 plugin.path 属性:
plugin.path=/opt/share/kafka/plugins
要安装 Plugin,首