5.2. 部署 Kafka Connect

Kafka Connect 是一个在 Apache Kafka 和外部系统间流传输数据的工具。

在 AMQ Streams 中,Kafka Connect 被部署为分布式模式。Kafka Connect 也可以以独立模式工作,但 AMQ Streams 不支持此项。

Kafka Connect 使用 连接器 的概念提供了一个框架,用于将大量数据移入 Kafka 集群或移出 Kafka 集群,同时保持可扩展性和可靠性。

Kafka Connect 通常用于将 Kafka 与外部数据库和存储及消息传递系统集成。

本节中的步骤显示如何:

注意

术语 连接器 可以互换使用,以表示在 Kafka Connect 集群中运行的连接器实例或连接器类。在本指南中,当从上下文中明确含义时,将使用 连接器

5.2.1. 将 Kafka Connect 部署到 OpenShift 集群

此流程演示了如何使用 Cluster Operator 将 Kafka Connect 集群部署到 OpenShift 集群。

Kafka Connect 集群作为 Deployment 实施,具有可配置的节点(也称为 worker ,将连接器工作负载作为 任务 来分布,以便消息流高度可扩展且可靠。

部署使用 YAML 文件提供创建 KafkaConnect 资源规格。

在这一流程中,我们使用 AMQ Streams 提供的示例文件:

  • examples/connect/kafka-connect.yaml

有关配置 KafkaConnect 资源(或使用 Source-to-Image( S2I)支持的 KafkaConnect S2I 资源)的详情,请参考 使用 AMQ Streams 中的 OpenShift 指南中的 Kafka Connect 集群配置

流程

  1. 将 Kafka Connect 部署到您的 OpenShift 集群。使用 example /connect/kafka-connect.yaml 文件来部署 Kafka Connect。

    oc apply -f examples/connect/kafka-connect.yaml
  2. 验证 Kafka Connect 是否已成功部署:

    oc get deployments