5.2.4. 创建和管理连接器

当您为您的 connector 插件创建容器镜像时，需要在 Kafka Connect 集群中创建连接器实例。然后，您可以配置、监控和管理正在运行的连接器实例。

连接器是特定 连接器类 的实例，它知道如何就消息与相关的外部系统通信。连接器可用于许多外部系统，或者您可以自行创建。

您可以创建连接器的 源 和 接收器 类型。

源连接器
源连接器是从外部系统获取数据并将其反馈到 Kafka 作为消息的运行时实体。
sink 连接器
sink 连接器是一个运行时实体，它从 Kafka 主题获取信息并将其反馈到外部系统。

AMQ Streams 为创建和管理连接器提供了两个 API：

  • KafkaConnector 资源（称为 KafkaConnectors）
  • Kafka Connect REST API

使用 API，您可以：

  • 检查连接器实例的状态
  • 重新配置正在运行的连接器
  • 增加或减少连接器实例的连接器任务数量
  • 重启连接器
  • 重启连接器任务，包括失败的任务
  • 暂停连接器实例
  • 恢复之前暂停的连接器实例
  • 删除连接器实例

5.2.4.1. KafkaConnector 资源

KafkaConnectors 允许您以 OpenShift 原生的方式为 Kafka Connect 创建和管理连接器实例，因此不需要 cURL 等 HTTP 客户端。与其他 Kafka 资源一样，您可以在部署至 OpenShift 集群的 KafkaConnector YAML 文件中声明连接器所需的状态，以创建连接器实例。KafkaConnector 资源必须部署到与其链接的 Kafka Connect 集群相同的命名空间中。

您可以通过更新对应的 KafkaConnector 资源并应用更新来管理正在运行的连接器实例。注释用于手动重启连接器实例和连接器任务。您可以通过删除对应的 KafkaConnector 来删除连接器。

为确保与早期版本的 AMQ Streams 兼容，KafkaConnectors 默认被禁用。要为 Kafka Connect 集群启用它们，您必须在 KafkaConnect 资源上使用注解。具体步骤，请参阅 OpenShift 中使用 AMQ Streams 中的 配置 Kafka Connect。

启用 KafkaConnectors 后，Cluster Operator 开始监视它们。它更新正在运行的连接器实例的配置，以匹配其 KafkaConnectors 中定义的配置。

AMQ Streams 包括 一个名为 example /connect/source-connector.yaml 的 KafkaConnect or 示例。您可以使用此示例创建和管理 FileStreamSourceConnector 和 FileStreamSinkConnector，如 第 5.2.5 节 “部署示例 KafkaConnector 资源” 所述。