8.2. 配置 Knative Kafka

流程

1. 在所选命名空间中创建证书文件作为 secret：

   $ oc create secret -n <namespace> generic <kafka_auth_secret> \
     --from-file=ca.crt=caroot.pem \
     --from-literal=password="SecretPassword" \
     --from-literal=saslType="SCRAM-SHA-512" \ 1
     --from-literal=user="my-sasl-user"

   1

   SASL 类型可以是 PLAIN、SCRAM-SHA-256 或 SCRAM-SHA-512。

2. 创建或修改 Kafka 源，使其包含以下 spec 配置：

   apiVersion: sources.knative.dev/v1beta1
   kind: KafkaSource
   metadata:
     name: example-source
   spec:
   ...
     net:
       sasl:
         enable: true
         user:
           secretKeyRef:
             name: <kafka_auth_secret>
             key: user
         password:
           secretKeyRef:
             name: <kafka_auth_secret>
             key: password
         type:
           secretKeyRef:
             name: <kafka_auth_secret>
             key: saslType
       tls:
         enable: true
         caCert: 1
           secretKeyRef:
             name: <kafka_auth_secret>
             key: ca.crt
   ...

   1

   如果您使用公有云 Kafka 服务，则不需要 caCert spec，如 Red Hat OpenShift Streams for Apache Kafka。

流程

1. 在与 KafkaSink 对象相同的命名空间中创建一个 secret：

   重要

   证书和密钥必须采用 PEM 格式。

   • 对于使用 SASL 时没有加密的身份验证：

     $ oc create secret -n <namespace> generic <secret_name> \
       --from-literal=protocol=SASL_PLAINTEXT \
       --from-literal=sasl.mechanism=<sasl_mechanism> \
       --from-literal=user=<username> \
       --from-literal=password=<password>

   • 对于使用 TLS 的 SASL 和加密进行身份验证：

     $ oc create secret -n <namespace> generic <secret_name> \
       --from-literal=protocol=SASL_SSL \
       --from-literal=sasl.mechanism=<sasl_mechanism> \
       --from-file=ca.crt=<my_caroot.pem_file_path> \ 1
       --from-literal=user=<username> \
       --from-literal=password=<password>

     1

     如果您使用公有云管理 Kafka 服务，可以省略 ca.crt 来使用系统的根 CA，如用于 Apache Kafka 的 Red Hat OpenShift Streams。

   • 使用 TLS 进行身份验证和加密：

     $ oc create secret -n <namespace> generic <secret_name> \
       --from-literal=protocol=SSL \
       --from-file=ca.crt=<my_caroot.pem_file_path> \ 1
       --from-file=user.crt=<my_cert.pem_file_path> \
       --from-file=user.key=<my_key.pem_file_path>

     1

     如果您使用公有云管理 Kafka 服务，可以省略 ca.crt 来使用系统的根 CA，如用于 Apache Kafka 的 Red Hat OpenShift Streams。

2. 创建或修改 KafkaSink 对象，并在 auth spec 中添加对 secret 的引用：

   apiVersion: eventing.knative.dev/v1alpha1
   kind: KafkaSink
   metadata:
      name: <sink_name>
      namespace: <namespace>
   spec:
   ...
      auth:
        secret:
          ref:
            name: <secret_name>
   ...

3. 应用 KafkaSink 对象：

   $ oc apply -f <filename>

流程

1. 修改 kafka-broker-config 配置映射，或创建自己的配置映射来包含以下配置：

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: <config_map_name> 1
     namespace: <namespace> 2
   data:
     default.topic.partitions: <integer> 3
     default.topic.replication.factor: <integer> 4
     bootstrap.servers: <list_of_servers> 5

   1

   配置映射名称。

   2

   配置映射所在的命名空间。

   3

   Kafka 代理的主题分区数量。这控制如何将事件发送到代理的速度。更多分区需要更多计算资源。

   4

   主题消息的复制因素。这可防止数据丢失。更高的复制因素需要更大的计算资源和更多存储。

   5

   以逗号分隔的 bootstrap 服务器列表。这可以位于 OpenShift Container Platform 集群内部或外部，是代理从发送事件发送到的 Kafka 集群列表。

   重要

   default.topic.replication.factor 值必须小于或等于集群中的 Kafka 代理实例数量。例如，如果您只有一个 Kafka 代理，则 default.topic.replication.factor 值应该不超过 "1"。

   Kafka 代理配置映射示例

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: kafka-broker-config
     namespace: knative-eventing
   data:
     default.topic.partitions: "10"
     default.topic.replication.factor: "3"
     bootstrap.servers: "my-cluster-kafka-bootstrap.kafka:9092"

2. 应用配置映射：

   $ oc apply -f <config_map_filename>

3. 指定 Kafka Broker 对象的配置映射：

   Broker 对象示例

   apiVersion: eventing.knative.dev/v1
   kind: Broker
   metadata:
     name: <broker_name> 1
     namespace: <namespace> 2
     annotations:
       eventing.knative.dev/broker.class: Kafka 3
   spec:
     config:
       apiVersion: v1
       kind: ConfigMap
       name: <config_map_name> 4
       namespace: <namespace> 5
   ...

   1

   代理名称。

   2

   代理存在的命名空间。

   3

   代理类注解。在本例中，代理是使用类值 Kafka 的 Kafka 代理。

   4

   配置映射名称。

   5

   配置映射所在的命名空间。

4. 应用代理：

   $ oc apply -f <broker_filename>