第 6 章 Kafka Connect 配置属性
config.storage.topictype: string
Importance: high
存储连接器配置的 Kafka 主题的名称。
group.idtype: string
Importance: high
此 worker 所属的连接集群组的唯一字符串。
key.convertertype: class
Importance: high
用于在 Kafka Connect 格式和写入 Kafka 的序列化格式间转换器类。这控制写入 Kafka 或从 Kafka 读取的消息中的密钥格式,因为这独立于连接器,任何连接器可以使用任何序列化格式。常见格式示例包括 JSON 和 Avro。
offset.storage.topictype: string
Importance: high
存储连接器偏移的 Kafka 主题的名称。
status.storage.topictype: string
Importance: high
存储连接器和任务状态的 Kafka 主题的名称。
value.convertertype: class
Importance: high
用于在 Kafka Connect 格式和写入 Kafka 的序列化格式间转换器类。这控制写入或从 Kafka 读取的消息中的值格式,因为这独立于连接器,可以使用任何序列化格式。常见格式示例包括 JSON 和 Avro。
bootstrap.serverstype: list
Default: localhost:9092
Importance: high
用于建立到 Kafka 集群的初始连接的主机/端口对列表。客户端将使用此处为 bootstrap 指定了哪些服务器的所有服务器 - 此列表仅影响用于发现全部服务器集的初始主机。此列表应当采用
host1:port1,host2:port2,…的形式。由于这些服务器仅用于初始连接,以发现完整的群集成员身份(可能会动态更改),因此该列表不包含完整的服务器集合(尽管服务器停机时,您可能需要多个服务器)。heartbeat.interval.mstype: int
Default: 3000 (3 秒)
Importance: high
使用 Kafka 的组管理工具时,心跳到组协调器之间的预期时间。heartbeat 用于确保 worker 的会话保持活跃状态,并在新成员加入或离开组时进行重新平衡。该值必须小于
session.timeout.ms,但通常设置的值通常不应超过 1/3。它可以被调整,以便控制正常重新平衡的预期时间。rebalance.timeout.mstype: int
Default: 60000 (1 分钟)
Importance: high
在重新平衡开始后,每个 worker 能够加入该组的最大允许时间。这基本上是针对所有任务刷新任何待处理数据和提交偏移所需的时间。如果超过超时时间,则 worker 将从组中删除,这会导致偏移提交失败。
session.timeout.mstype: int
Default: 10000 (10 秒)
Importance: high
用于检测 worker 故障的超时。worker 发送定期心跳,以指示其到代理的存活度。如果在这个会话超时前代理没有收到 heartbeat,则代理会从组中删除 worker 并启动重新平衡。请注意,该值必须在代理配置中由
group.min.session.timeout.ms和group.max.session.timeout.ms配置中的允许范围内配置。ssl.key.passwordtype: password
Default: null
Importance: high
密钥存储文件或在"ssl.keystore.key"中指定的 PEM 密钥的密码。只有在配置了双向验证时,客户端才需要这样做。
ssl.keystore.certificate.chaintype: password
Default: null
Importance: high
使用由 'ssl.keystore.type" 指定的格式的证书链。默认 SSL 引擎工厂仅支持使用 X.509 证书列表的 PEM 格式。
ssl.keystore.keytype: password
Default: null
Importance: high
使用 'ssl.keystore.type" 指定的格式的私钥。默认 SSL 引擎工厂只支持使用 PKCS#8 密钥的 PEM 格式。如果密钥已加密,则必须使用 'ssl.key.password' 指定密钥密码。
ssl.keystore.locationtype: string
Default: null
Importance: high
密钥存储文件的位置。对于客户端,这是可选的,可用于客户端双向身份验证。
ssl.keystore.passwordtype: password
Default: null
Importance: high
密钥存储文件的存储密码。对于客户端,这是可选的,只有在配置了 'ssl.keystore.location' 时才需要。PEM 格式不支持密钥存储密码。
ssl.truststore.certificatestype: password
Default: null
Importance: high
可信证书,格式为 'ssl.truststore.type'。默认 SSL 引擎工厂仅支持使用 X.509 证书使用 PEM 格式。
ssl.truststore.locationtype: string
Default: null
Importance: high
信任存储文件的位置。
ssl.truststore.passwordtype: password
Default: null
Importance: high
信任存储文件的密码。如果没有设置密码,则仍然将使用配置的信任存储文件,但会禁用完整性检查。信任存储密码不支持 PEM 格式。
client.dns.lookuptype: string
Default: use_all_dns_ips
Valid Values: [use_all_dns_ips, resolve_canonical_bootstrap_servers_only]
Importance: medium
控制客户端如何使用 DNS 查找。如果设置为
use_all_dns_ips,则按顺序连接到每个返回的 IP 地址,直到建立成功连接为止。断开连接后,将使用下一个 IP。使用完所有 IP 后,客户端会从主机名再次解析 IP(JVM 和 OS 缓存 DNS 名称查找)。如果设置为resolve_canonical_bootstrap_servers_only,将每个 bootstrap 地址解析为规范名称列表。在 bootstrap 阶段后,这个行为与use_all_dns_ips相同。connections.max.idle.mstype: long
Default: 540000 (9 分钟)
Importance: medium
在此配置指定的毫秒数后关闭闲置连接。
connector.client.config.override.policytype: string
Default: All
Importance: medium
ConnectorClientConfigOverridePolicy的类名称或别名。定义连接器可覆盖哪些客户端配置。默认实施是All,这意味着连接器配置可覆盖所有客户端属性。框架中的其他可能策略包括None(禁止从覆盖客户端属性)的连接器,以及允许连接器仅覆盖客户端主体。receive.buffer.bytestype: int
Default: 32768(32 kibibytes)
Valid Values: [0,…]
Importance: medium
在读取数据时要使用的 TCP 接收缓冲区(SO_RCVBUF)的大小。如果值为 -1,则使用 OS 默认。
request.timeout.mstype: int
Default: 40000 (40 秒)
Valid Values: [0,…]
Importance: medium
配置控制客户端等待请求响应的最大时间。如果在超时前没有收到响应,客户端会在需要时重新发送请求,或者在重试耗尽时失败请求。
sasl.client.callback.handler.classtype: class
Default: null
Importance: medium
实现了 AuthenticateCallbackHandler 接口的 SASL 客户端回调处理器类的完全限定名称。
sasl.jaas.configtype: password
Default: null
Importance: medium
JAAS 登录上下文参数,用于 SASL 连接,其格式由 JAAS 配置文件使用。此处 介绍了 JAAS 配置文件格式。该值格式为:
loginModuleClass controlFlag(optionName=optionValue)*;.对于代理,配置必须在小写中带有监听前缀和 SASL 机制名称前缀。例如: listener.name.sasl_ssl.scram-sha-256.sasl.jaas.config=com.example.ScramLoginModule;.sasl.kerberos.service.nametype: string
Default: null
Importance: medium
Kafka 运行的 Kerberos 主体名称。这可以在 Kafka 的 JAAS 配置或 Kafka 配置中定义。
sasl.login.callback.handler.classtype: class
Default: null
Importance: medium
实现了 AuthenticateCallbackHandler 接口的 SASL 登录回调处理器类的完全限定名称。对于代理,登录回调处理器配置必须以监听器前缀和 SASL 机制名称作为前缀作为前缀。例如: listener.name.sasl_ssl.scram-sha-256.sasl.login.callback.handler.class=com.example.CustomScramLoginCallbackHandler。
sasl.login.classtype: class
Default: null
Importance: medium
实施登录接口的类的完全限定名称。对于代理,登录配置必须在小写中带有监听前缀和 SASL 机制名称前缀。For example, listener.name.sasl_ssl.scram-sha-256.sasl.login.class=com.example.CustomScramLogin.
sasl.mechanismtype: string
Default: GSSAPI
Importance: medium
用于客户端连接的 SASL 机制。这可以是提供安全提供程序的任何机制。GSSAPI 是默认机制。
sasl.oauthbearer.jwks.endpoint.urltype: string
Default: null
Importance: medium
可以检索来自提供程序的 JWKS(JSON Web Key Set) 的 OAuth/OIDC 供应商 URL。URL 可以是基于 HTTP(S)或基于文件的。如果 URL 基于 HTTP(S),则 JWKS 数据将通过代理启动时配置的 URL 从 OAuth/OIDC 供应商中检索。所有 then-current 密钥将缓存在代理中,用于传入请求。如果为 JWT 收到身份验证请求,如果包含尚未在缓存中但未包括在缓存中的"kid"标头声明值,则将根据需要再次查询 JWKS 端点。但是,代理会在收到任何 JWT 请求前轮询每个 sasl.oauthbearer.jwks.endpoint.refresh.ms 毫秒的 URL 来刷新缓存。如果 URL 是基于文件,代理将从启动时配置的位置载入 JWKS 文件。如果 JWT 包含不在 JWKS 文件中的"kid"标头值,代理将拒绝 JWT 和身份验证。
sasl.oauthbearer.token.endpoint.urltype: string
Default: null
Importance: medium
OAuth/OIDC 身份提供程序的 URL。如果 URL 基于 HTTP(S),则代表签发者的令牌端点 URL,请求将基于 sasl.jaas.config 中的配置进行登录。如果 URL 基于文件,它将指定包含由 OAuth/OIDC 身份提供程序发布的访问令牌(在 JWT 序列化表单中)的文件用于授权。
security.protocoltype: string
Default: PLAINTEXT
Importance: medium
用于与代理通信的协议。有效值为:PLAINTEXT、SSL、SASL_PLAINTEXT、SASL_SSL.
send.buffer.bytestype: int
Default: 131072(128 kibibytes)
Valid Values: [0,…]
Importance: medium
在发送数据时要使用的 TCP 发送缓冲区(SO_SNDBUF)的大小。如果值为 -1,则使用 OS 默认。
ssl.enabled.protocolstype: list
Default: TLSv1.2,TLSv1.3
Importance: medium
为 SSL 连接启用的协议列表。使用 Java 11 或更新版本运行时,默认值为 'TLSv1.2,TLSv1.3',否则为 'TLSv1.2'。使用 Java 11 的默认值时,如果客户端和服务器同时支持 TLSv1.3,则客户端和服务器将首选 TLSv1.3,否则将回退到 TLSv1.2(假设这两个支持至少支持 TLSv1.2)。在大多数情况下,这个默认设置应该是正常的。另请参阅
ssl.protocol的配置文档。ssl.keystore.typetype: string
Default: JKS
Importance: medium
密钥存储文件的文件格式。对于客户端,这是可选的。
ssl.protocoltype: string
Default: TLSv1.3
Importance: medium
用于生成 SSLContext 的 SSL 协议。使用 Java 11 或更新版本运行时,默认值为 'TLSv1.3',否则为 'TLSv1.2'。对于大多数用例来说,这个值应该非常正常。最近 JVM 中允许的值是 'TLSv1.2' 和 'TLSv1.3'。'TLS', 'TLSv1.1', 'SSL', 'SSLv2' 和 'SSLv3' 在以前的 JVM 中可能被支持,但由于已知的安全漏洞,不建议使用它们。使用这个配置和 'ssl.enabled.protocols' 的默认值,如果服务器不支持 'TLSv1.3',客户端将降级为 'TLSv1.2'。如果此配置被设置为 'TLSv1.2',则客户端不会使用 'TLSv1.3',即使它是 ssl.enabled.protocols 中的值之一,服务器仅支持 'TLSv1.3'。
ssl.providertype: string
Default: null
Importance: medium
用于 SSL 连接的安全供应商名称。默认值是 JVM 的默认安全供应商。
ssl.truststore.typetype: string
Default: JKS
Importance: medium
信任存储文件的文件格式。
worker.sync.timeout.mstype: int
Default: 3000 (3 秒)
Importance: medium
当 worker 与其他 worker 保持同步且需要重新同步配置时,请等待这段时间,让组离开组,并在重新加入前等待 backoff 周期。
worker.unsync.backoff.mstype: int
Default: 300000 (5 分钟)
Importance: medium
当 worker 与其他 worker 保持同步且无法在 worker.sync.timeout.ms 中捕获,请在重新加入前让 Connect 集群保留这个时间。
access.control.allow.methodstype: string
Default: ""
Importance: low
通过设置 Access-Control-Allow-Methods 标头来设置支持跨源请求的方法。Access-Control-Allow-Methods 标头的默认值允许 GET、POST 和 HEAD 的跨源请求。
access.control.allow.origintype: string
Default: ""
Importance: low
为 REST API 请求设置 Access-Control-Allow-Origin 标头的值。要启用跨原始访问,请将其设置为允许访问 API 的应用程序的域,或 '*' 允许从任何域访问。默认值仅允许从 REST API 域进行访问。
admin.listenerstype: list
Default: null
Valid Values: comma-separated URL 列表,例如: http://localhost:8080,https://localhost:8443。
重要性: low
以逗号分隔的 URI 列表,即 Admin REST API 将侦听。支持的协议有 HTTP 和 HTTPS。空白或空白字符串将禁用此功能。默认的行为是使用常规的监听程序(通过 'listeners' 属性指定)。
client.idtype: string
Default: ""
Importance: low
在发出请求时要传递给服务器的 id 字符串。这样做的目的是通过允许逻辑应用程序名称包含在服务器端请求日志记录中,跟踪超过 ip/port 的请求源。
config.providerstype: list
Default: ""
Importance: low
ConfigProvider类的逗号分隔名称,以指定的顺序加载和使用。通过实施接口ConfigProvider,您可以替换连接器配置中的变量引用,如用于外部化的 secret。config.storage.replication.factorType: short
Default: 3
Valid Values: Positive number 不大于 Kafka 集群中的代理数量,或 -1 使用代理的默认
导入级别 : 低
创建配置存储主题时使用的复制因素。
connect.protocoltype: string
Default: sessioned
Valid Values: [eager, compatible, sessioned]
Importance: low
Kafka 连接协议的兼容性模式。
header.convertertype: class
Default: org.apache.kafka.connect.storage.SimpleHeaderConverter
Importance: low
用于在 Kafka Connect 格式和写入 Kafka 的序列化格式间转换的HeaderConverter 类。这控制从 Kafka 写入或读取的消息中标头值的格式,因为这独立于连接器,任何连接器可以使用任何序列化格式。常见格式示例包括 JSON 和 Avro。默认情况下,SimpleHeaderConverter 用来序列化标头值到字符串,并通过推断 schema 来反序列化它们。
inter.worker.key.generation.algorithmtype: string
Default: HmacSHA256
Valid Values: worker JVM
Importance: low 支持的任何 KeyGenerator 算法
用于生成内部请求密钥的算法。
inter.worker.key.sizetype: int
Default: null
Importance: low
用于签名内部请求的密钥大小(以位为单位)。如果 null,将使用密钥生成算法的默认密钥大小。
inter.worker.key.ttl.mstype: int
Default: 3600000(1 hour)
Valid Values: [0,…,2147483647]
Importance: low
所生成的会话键的 TTL,用于内部请求验证(以毫秒为单位)。
inter.worker.signature.algorithmtype: string
Default: HmacSHA256
Valid Values: worker JVM
Importance: low 支持的所有 MAC 算法: low
用于签署内部请求的算法。
inter.worker.verification.algorithmstype: list
Default: HmacSHA256
Valid Values: 一个由 worker JVM
Importance 支持的一个或多个 MAC 算法的列表 : low
用于验证内部请求的允许算法列表。
监听程序type: list
Default: http://:8083
Valid Values: comma-separated URL 列表,例如: http://localhost:8080,https://localhost:8443。
重要性: low
REST API 将侦听的以逗号分隔的 URI 列表。支持的协议有 HTTP 和 HTTPS。将 hostname 指定为 0.0.0.0 以绑定到所有接口。将 hostname 留空,以绑定到默认接口。法律监听器列表示例: HTTP://myhost:8083,HTTPS://myhost:8084。
metadata.max.age.mstype: long
Default: 300000 (5 分钟)
Valid Values: [0,…]
Importance: low
毫秒内的时间(以毫秒为单位),即使在我们未看到任何分区领导更改的情况下,也会强制更新元数据,以便主动发现任何新的代理或分区。
metric.reporterstype: list
Default: ""
Importance: low
用作指标报告器的类列表。实施
org.apache.kafka.common.metrics.MetricsReporter接口允许在新指标创建通知的类中插入。JmxReporter 始终包含在内以注册 JMX 统计。metrics.num.samplestype: int
Default: 2
Valid Values: [1,…]
Importance: low
为计算指标维护的示例数量。
metrics.recording.leveltype: string
Default: INFO
Valid Values: [INFO, DEBUG]
Importance: low
指标的最高记录级别。
metrics.sample.window.mstype: long
Default: 30000 (30 秒)
Valid Values: [0,…]
Importance: low
计算指标示例的时间窗口。
offset.flush.interval.mstype: long
Default: 60000 (1 分钟)
Importance: low
尝试为任务提交偏移的时间间隔。
offset.flush.timeout.mstype: long
Default: 5000(5 秒)
Importance: low
在取消进程前,需要等待记录刷新和分区偏移数据提交的最大毫秒数,并恢复偏移数据以在以后尝试提交。
offset.storage.partitionstype: int
Default: 25
Valid Values: Positive number 或 -1 使用代理的默认
导入: 低
创建偏移存储主题时使用的分区数量。
offset.storage.replication.factorType: short
Default: 3
Valid Values: Positive number 不大于 Kafka 集群中的代理数量,或 -1 使用代理的默认
导入级别 : 低
创建偏移存储主题时使用的复制因素。
plugin.pathtype: list
Default: null
Importance: low
由逗号(,)分隔的路径列表,其中包括插件(连接器、转换器、转换)。该列表应当由包括任意组合的顶级目录组成:a)目录会立即包含插件及其依赖软件包的 jars 以及其依赖项 c)uber-jars,并立即包含各类插件及其依赖关系的软件包目录结构,注意:符号链接将附带发现依赖项或插件。示例: plugin.path=/usr/local/share/java、/usr/local/share/kafka/plugins、/opt/connectors Do 不使用此属性中的配置提供程序变量,因为 worker 的扫描程序使用原始路径,然后用于替换变量。
reconnect.backoff.max.mstype: long
Default: 1000(1秒)
Valid Values: [0,…]
Importance: low
重新连接到重复连接失败的代理时要等待的最大时间(毫秒)。如果提供,每个主机的 backoff 将为每个连续的连接失败指数增加,最高最高。在计算了 backoff 增长后,会添加 20% 的随机 jitter 来避免连接停滞。
reconnect.backoff.mstype: long
Default: 50
Valid Values: [0,…]
Importance: low
在尝试重新连接给定主机前要等待的基本时间。这可避免在紧张循环中重复连接到主机。这个 backoff 适用于客户端到代理的所有连接尝试。
response.http.headers.configtype: string
Default: ""
Valid Values: Comma-separated 标头规则,其中每个标头规则是 '[action] [header name] [header value]',并在标题规则中的任何部分包含逗号
Importance: low,并通过双引号括起来(可选)
REST API HTTP 响应标头规则。
rest.advertised.host.nametype: string
Default: null
Importance: low
如果设置此项,这是将提供给其他 worker 的主机名。
rest.advertised.listenertype: string
Default: null
Importance: low
设置公告的监听程序(HTTP 或 HTTPS),它将被提供给其他 worker。
rest.advertised.porttype: int
Default: null
Importance: low
如果设置此项,这是将提供给其他 worker 的端口。
rest.extension.classestype: list
Default: ""
Importance: low
用逗号分开的
ConnectRestExtension类的名称,以指定的顺序加载和调用。通过实施接口ConnectRestExtension,您可以注入到 Connect 的 REST API 用户(如过滤器)中。通常用于添加自定义功能,如日志记录、安全性等。retry.backoff.mstype: long
Default: 100
Valid Values: [0,…]
Importance: low
尝试重试失败的请求到给定主题分区前等待的时间。这可避免在某些故障情况下在紧密循环中重复发送请求。
sasl.kerberos.kinit.cmdtype: string
Default: /usr/bin/kinit
Importance: low
Kerberos kinit 命令路径.
sasl.kerberos.min.time.before.relogintype: long
Default: 60000
Importance: low
刷新尝试之间的登录线程睡眠时间。
sasl.kerberos.ticket.renew.jittertype: double
Default: 0.05
Importance: low
添加至续订时间的随机jitter 的百分比。
sasl.kerberos.ticket.renew.window.factortype: double
Default: 0.8
Importance: low
登录线程将休眠,直到达到从最后刷新到 ticket 的过期时间,此时它将尝试续订票据。
sasl.login.connect.timeout.mstype: int
Default: null
Importance: low
(可选)外部身份验证供应商连接超时的值(以毫秒为单位)。目前仅适用于 OAUTHBEARER。
sasl.login.read.timeout.mstype: int
Default: null
Importance: low
(可选)外部身份验证提供程序读取超时的值(以毫秒为单位)。目前仅适用于 OAUTHBEARER。
sasl.login.refresh.buffer.secondstype: short
Default: 300
Valid Values: [0,…,3600]
Importance: low
在刷新凭证时要维护的凭证前的缓冲时间(以秒为单位)。如果刷新将超过缓冲区秒数的过期时间,则刷新将移动至可维护尽可能多的缓冲区时间。如果未指定值,则使用法定值在 0 到 3600(1 小时)之间;如果没有指定值,则使用默认值 300(5 分钟)。如果值和 sasl.login.refresh.min.period.seconds,如果它们的总和超过凭证的剩余生命周期,则都会被忽略。目前仅适用于 OAUTHBEARER。
sasl.login.refresh.min.period.secondstype: short
Default: 60
Valid Values: [0,…,900]
Importance: low
在刷新凭证前等待登录刷新线程所需的最小时间(以秒为单位)。合法值介于 0 到 900(15 分钟)之间;如果没有指定值,则使用默认值 60(1 分钟)。如果值和 sasl.login.refresh.buffer.seconds 都会被忽略,如果它们的总和超过凭证的剩余生命周期。目前仅适用于 OAUTHBEARER。
sasl.login.refresh.window.factortype: double
Default: 0.8
Valid Values: [0.5,…,1.0]
Importance: low
登录刷新线程将休眠,直到达到指定的窗口因素为止(在达到凭证时),它将尝试刷新凭证。法律值介于 0.5(50%)到 1.0(100%)之间,如果未指定值,则使用默认值 0.8(80%)。目前仅适用于 OAUTHBEARER。
sasl.login.refresh.window.jittertype: double
Default: 0.05
Valid Values: [0.0,…,0.25]
Importance: low
相对于凭证的生命周期的最大随机 jitter 量,它们被添加到登录刷新线程睡眠时间。法律值介于 0 到 0.25(25%)之间(25%),如果没有指定值,则使用默认值 0.05(5%)。目前仅适用于 OAUTHBEARER。
sasl.login.retry.backoff.max.mstype: long
Default: 10000 (10 秒)
Importance: low
(可选)登录尝试外部身份验证提供程序之间等待的最长这个值(可选)值(以毫秒为单位)。登录使用 sasl.login.retry.backoff.ms 设置的初始等待算法,并在尝试为 sasl.login.retry.backoff.max.ms 设置指定的最大等待长度之间加倍长度。目前仅适用于 OAUTHBEARER。
sasl.login.retry.backoff.mstype: long
Default: 100
Importance: low
(可选)在登录尝试外部身份验证提供程序之间初始等待的值(可选)值(以毫秒为单位)。登录使用 sasl.login.retry.backoff.ms 设置的初始等待算法,并在尝试为 sasl.login.retry.backoff.max.ms 设置指定的最大等待长度之间加倍长度。目前仅适用于 OAUTHBEARER。
sasl.oauthbearer.clock.skew.secondstype: int
Default: 30
Importance: low
(可选)值,允许 OAuth/OIDC 身份提供程序和代理的时间不同。
sasl.oauthbearer.expected.audiencetype: list
Default: null
Importance: low
(可选)代理的逗号分隔设置,用于验证已经为其中一个预期对象发布 JWT。为标准的 OAuth "aud" 声明将检查 JWT,如果设置了这个值,代理将匹配 JWT 的"aud"声明的值,以查看是否存在准确的匹配项。如果没有匹配项,代理将拒绝 JWT 和身份验证。
sasl.oauthbearer.expected.issuertype: string
Default: null
Importance: low
(可选)用于验证 JWT 是由预期签发者创建的代理的设置。将检查标准的 OAuth "iss" 声明,如果设置了此值,代理就与 JWT 的"iss"声明中的内容完全匹配。如果没有匹配项,代理将拒绝 JWT 和身份验证。
sasl.oauthbearer.jwks.endpoint.refresh.mstype: long
Default: 3600000(1 小时)
Importance: low
(可选)代理在刷新其 JWKS(JSON Web Key Set)缓存时要等待的值,其中包含用于验证 JWT 签名的密钥。
sasl.oauthbearer.jwks.endpoint.retry.backoff.max.mstype: long
Default: 10000 (10 秒)
Importance: low
(可选)尝试从外部身份验证提供程序检索 JWKS(JSON Web Key Set)之间的最大等待的值(以毫秒为单位)。JWKS 检索使用基于 sasl.oauthbearer.jwks.endpoint.retry.max.ms 设置的初始等待长度的指数级 backoff 算法,并在 sasl.oauthbearer.jwks.max.ms 设置指定的最大等待时间。
sasl.oauthbearer.jwks.endpoint.retry.backoff.mstype: long
Default: 100
Importance: low
(可选)初始等待的值(JSON Web Key Set)从外部身份验证提供程序检索尝试。JWKS 检索使用基于 sasl.oauthbearer.jwks.endpoint.retry.max.ms 设置的初始等待长度的指数级 backoff 算法,并在 sasl.oauthbearer.jwks.max.ms 设置指定的最大等待时间。
sasl.oauthbearer.scope.claim.nametype: string
Default: scope
Importance: low
范围的 OAuth 声明通常命名为"scope",但此(可选)设置可以提供用于 JWT 有效负载声明中包含的范围的不同名称,如果 OAuth/OIDC 供应商将该声明使用不同的名称。
sasl.oauthbearer.sub.claim.nametype: string
Default: sub
Importance: low
主体的 OAuth 声明通常命名为"sub",但此(可选)设置可以为 JWT 有效负载声明中包含的主题提供不同的名称,如果 OAuth/OIDC 供应商将该声明使用不同的名称。
scheduled.rebalance.max.delay.mstype: int
Default: 300000 (5 分钟)
Valid Values: [0,…,2147483647]
Importance: low
调度的最大延迟,以便等待一个或多个 departed worker 的返回,然后再重新平衡并将连接器和任务重新分配给组。在此期间,分散工作者的连接器和任务仍然没有被分配。
socket.connection.setup.timeout.max.mstype: long
Default: 30000 (30 秒)
Valid Values: [0,…]
Importance: low
客户端等待套接字连接建立的最大时间。对于每个连续的连接失败,连接设置超时将按这个最大值增加。为避免连接 storms,则 0.2 的随机化工厂将应用到超时,从而导致计算值上面的 20% 到 20% 的随机范围。
socket.connection.setup.timeout.mstype: long
Default: 10000 (10 秒)
Valid Values: [0,…]
Importance: low
客户端等待套接字连接建立的时间。如果在超时前没有构建连接,客户端将关闭套接字频道。
ssl.cipher.suitestype: list
Default: null
Importance: low
密码套件列表。这是验证、加密、MAC 和密钥交换算法的命名组合,用于通过 TLS 或 SSL 网络协议协商网络连接的安全设置。默认情况下,支持所有可用的密码套件。
ssl.client.authtype: string
Default: none
Importance: low
配置 kafka 代理以请求客户端身份验证。以下设置是通用的:
-
需要
SSL.client.auth=requiredIf 设为所需的客户端身份验证。 -
SSL.client.auth=requested这意味着客户端身份验证是可选的。如果设置了这个选项,则客户端可以选择不提供对其验证信息的验证信息 -
SSL.client.auth=none意味着不需要客户端身份验证。
-
需要
ssl.endpoint.identification.algorithmtype: string
Default: https
Importance: low
使用服务器证书验证服务器主机名的端点标识算法。
ssl.engine.factory.classtype: class
Default: null
Importance: low
类型为 org.apache.kafka.common.security.auth.SslEngineFactory 的类来提供 SSLEngine 对象。默认值为 org.apache.kafka.common.ssl.DefaultSslEngineFactory。
ssl.keymanager.algorithmtype: string
Default: SunX509
Importance: low
密钥管理器工厂用于 SSL 连接的算法。默认值为 Java 虚拟机配置的主要管理器工厂算法。
ssl.secure.random.implementationtype: string
Default: null
Importance: low
用于 SSL 加密操作的 SecureRandom PRNG 实施。
ssl.trustmanager.algorithmtype: string
Default: PKIX
Importance: low
信任管理器工厂用于 SSL 连接的算法。默认值为 Java 虚拟机配置的信任管理器工厂算法。
status.storage.partitionstype: int
Default: 5
Valid Values: Positive number 或 -1 使用代理的默认
导入: 低
创建状态存储主题时使用的分区数量。
status.storage.replication.factorType: short
Default: 3
Valid Values: Positive number 不大于 Kafka 集群中的代理数量,或 -1 使用代理的默认
导入级别 : 低
创建状态存储主题时使用的复制因素。
task.shutdown.graceful.timeout.mstype: long
Default: 5000(5 秒)
Importance: low
正常关闭任务所需的时间。这是时间总量,而不是每个任务。所有任务都触发关闭,然后按顺序等待。
topic.creation.enabletype: boolean
Default: true
Importance: low
当源连接器配置了
topic.creation.属性时,是否允许自动创建主题连接器所使用的主题。每个任务都将使用管理员客户端创建其主题,且不依赖于 Kafka 代理来创建主题。topic.tracking.allow.resettype: boolean
Default: true
Importance: low
如果设为 true,则用户请求可以为每个连接器重置一组活跃的主题。
topic.tracking.enabletype: boolean
Default: true
Importance: low
启用跟踪每个连接器中的活动主题集合。