Jump To Close Expand all Collapse all Table of contents 在 RHEL 中使用 AMQ Streams 使开源包含更多 1. AMQ 流概述 Expand section "1. AMQ 流概述" Collapse section "1. AMQ 流概述" 1.1. Kafka 功能 1.2. Kafka 用例 1.3. 支持的配置 1.4. 文档惯例 2. 入门 Expand section "2. 入门" Collapse section "2. 入门" 2.1. AMQ 流分布 2.2. 下载 AMQ Streams 归档 2.3. 安装 AMQ Streams 2.4. 数据存储注意事项 Expand section "2.4. 数据存储注意事项" Collapse section "2.4. 数据存储注意事项" 2.4.1. Apache Kafka 和 ZooKeeper 存储支持 2.4.2. 文件系统 2.5. 运行单个节点 AMQ Streams 集群 2.6. 使用集群 2.7. 停止 AMQ Streams 服务 2.8. 配置 AMQ 流 3. 配置 ZooKeeper Expand section "3. 配置 ZooKeeper" Collapse section "3. 配置 ZooKeeper" 3.1. 基本配置 3.2. zookeeper 集群配置 3.3. 运行多节点 ZooKeeper 集群 3.4. Authentication Expand section "3.4. Authentication" Collapse section "3.4. Authentication" 3.4.1. 使用 SASL 进行身份验证 3.4.2. 使用 DIGEST-MD5 启用服务器到服务器的身份验证 3.4.3. 使用 DIGEST-MD5 启用客户端到服务器身份验证 3.5. 授权 3.6. TLS 3.7. 其他配置选项 3.8. 日志 4. 配置 Kafka Expand section "4. 配置 Kafka" Collapse section "4. 配置 Kafka" 4.1. ZooKeeper 4.2. 监听程序 4.3. 提交日志 4.4. 代理 ID 4.5. 运行多节点 Kafka 集群 4.6. zookeeper 身份验证 Expand section "4.6. zookeeper 身份验证" Collapse section "4.6. zookeeper 身份验证" 4.6.1. JAAS Configuration 4.6.2. 启用 ZooKeeper 身份验证 4.7. 授权 Expand section "4.7. 授权" Collapse section "4.7. 授权" 4.7.1. 简单 ACL 授权器 Expand section "4.7.1. 简单 ACL 授权器" Collapse section "4.7.1. 简单 ACL 授权器" 4.7.1.1. ACL 规则 4.7.1.2. 主体 4.7.1.3. 用户验证 4.7.1.4. 超级用户 4.7.1.5. 副本代理验证 4.7.1.6. 支持的资源 4.7.1.7. 支持的操作 4.7.1.8. ACL 管理选项 4.7.2. 启用授权 4.7.3. 添加 ACL 规则 4.7.4. 列出 ACL 规则 4.7.5. 删除 ACL 规则 4.8. zookeeper 授权 Expand section "4.8. zookeeper 授权" Collapse section "4.8. zookeeper 授权" 4.8.1. ACL 配置 4.8.2. 为新 Kafka 集群启用 ZooKeeper ACL 4.8.3. 在现有 Kafka 集群中启用 ZooKeeper ACL 4.9. 加密和身份验证 Expand section "4.9. 加密和身份验证" Collapse section "4.9. 加密和身份验证" 4.9.1. 监听程序配置 4.9.2. TLS 加密 4.9.3. 启用 TLS 加密 4.9.4. Authentication Expand section "4.9.4. Authentication" Collapse section "4.9.4. Authentication" 4.9.4.1. TLS 客户端身份验证 4.9.4.2. SASL 身份验证 4.9.5. 启用 TLS 客户端身份验证 4.9.6. 启用 SASL PLAIN 身份验证 4.9.7. 启用 SASL SCRAM 身份验证 4.9.8. 添加 SASL SCRAM 用户 4.9.9. 删除 SASL SCRAM 用户 4.10. 使用基于 OAuth 2.0 令牌的身份验证 Expand section "4.10. 使用基于 OAuth 2.0 令牌的身份验证" Collapse section "4.10. 使用基于 OAuth 2.0 令牌的身份验证" 4.10.1. OAuth 2.0 身份验证机制 Expand section "4.10.1. OAuth 2.0 身份验证机制" Collapse section "4.10.1. OAuth 2.0 身份验证机制" 4.10.1.1. 使用属性或变量配置 OAuth 2.0 4.10.2. OAuth 2.0 Kafka 代理配置 Expand section "4.10.2. OAuth 2.0 Kafka 代理配置" Collapse section "4.10.2. OAuth 2.0 Kafka 代理配置" 4.10.2.1. 授权服务器上的 OAuth 2.0 客户端配置 4.10.2.2. Kafka 集群中的 OAuth 2.0 身份验证配置 4.10.2.3. 快速本地 JWT 令牌验证配置 4.10.2.4. OAuth 2.0 内省端点配置 4.10.3. Kafka 代理的会话重新身份验证 4.10.4. OAuth 2.0 Kafka 客户端配置 4.10.5. OAuth 2.0 客户端身份验证流 Expand section "4.10.5. OAuth 2.0 客户端身份验证流" Collapse section "4.10.5. OAuth 2.0 客户端身份验证流" 4.10.5.1. 客户端身份验证流示例 4.10.6. 配置 OAuth 2.0 身份验证 Expand section "4.10.6. 配置 OAuth 2.0 身份验证" Collapse section "4.10.6. 配置 OAuth 2.0 身份验证" 4.10.6.1. 将红帽单点登录配置为 OAuth 2.0 授权服务器 4.10.6.2. 配置 Kafka 代理的 OAuth 2.0 支持 4.10.6.3. 将 Kafka Java 客户端配置为使用 OAuth 2.0 4.11. 使用基于 OAuth 2.0 令牌的授权 Expand section "4.11. 使用基于 OAuth 2.0 令牌的授权" Collapse section "4.11. 使用基于 OAuth 2.0 令牌的授权" 4.11.1. OAuth 2.0 授权机制 Expand section "4.11.1. OAuth 2.0 授权机制" Collapse section "4.11.1. OAuth 2.0 授权机制" 4.11.1.1. Kafka 代理自定义授权器 4.11.2. 配置 OAuth 2.0 授权支持 4.12. 使用基于 OPA 策略的授权 Expand section "4.12. 使用基于 OPA 策略的授权" Collapse section "4.12. 使用基于 OPA 策略的授权" 4.12.1. 定义 OPA 策略 4.12.2. 连接到 OPA 4.12.3. 配置 OPA 授权支持 4.13. 日志 Expand section "4.13. 日志" Collapse section "4.13. 日志" 4.13.1. 动态更改 Kafka 代理日志记录器的日志记录级别 5. 主题 Expand section "5. 主题" Collapse section "5. 主题" 5.1. 分区和副本 5.2. 消息保留 5.3. 主题自动创建 5.4. 主题删除 5.5. 主题配置 5.6. 内部主题 5.7. 创建主题 5.8. 列出并描述主题 5.9. 修改主题配置 5.10. 删除主题 6. 管理 Kafka Expand section "6. 管理 Kafka" Collapse section "6. 管理 Kafka" 6.1. 调整 Kafka 配置 Expand section "6.1. 调整 Kafka 配置" Collapse section "6.1. 调整 Kafka 配置" 6.1.1. Kafka 代理配置调整 Expand section "6.1.1. Kafka 代理配置调整" Collapse section "6.1.1. Kafka 代理配置调整" 6.1.1.1. 基本代理配置 6.1.1.2. 复制高可用性主题 6.1.1.3. 事务和提交的内部主题设置 6.1.1.4. 通过增加 I/O 线程改进请求处理吞吐量 6.1.1.5. 为高延迟连接增加带宽 6.1.1.6. 使用数据保留策略管理日志 6.1.1.7. 使用清理策略删除日志数据 6.1.1.8. 管理磁盘使用率 6.1.1.9. 处理大消息大小 6.1.1.10. 控制消息数据的日志清除 6.1.1.11. 对可用性进行分区重新平衡 6.1.1.12. 未清理领导选举机制 6.1.1.13. 避免不必要的消费者组重新平衡 6.1.2. Kafka 生成器配置调整 Expand section "6.1.2. Kafka 生成器配置调整" Collapse section "6.1.2. Kafka 生成器配置调整" 6.1.2.1. 基本制作者配置 6.1.2.2. 数据持久性 6.1.2.3. 订购交付 6.1.2.4. 可靠性保证 6.1.2.5. 优化吞吐量和延迟 6.1.3. Kafka 使用者配置调整 Expand section "6.1.3. Kafka 使用者配置调整" Collapse section "6.1.3. Kafka 使用者配置调整" 6.1.3.1. 基本使用者配置 6.1.3.2. 使用消费者组扩展数据消耗 6.1.3.3. 消息排序保证 6.1.3.4. 优化吞吐量和延迟 6.1.3.5. 在提交偏移时避免数据丢失或重复 Expand section "6.1.3.5. 在提交偏移时避免数据丢失或重复" Collapse section "6.1.3.5. 在提交偏移时避免数据丢失或重复" 6.1.3.5.1. 控制事务性消息 6.1.3.6. 从失败中恢复,以避免数据丢失 6.1.3.7. 管理偏移策略 6.1.3.8. 最小化重新平衡的影响 6.2. 使用 Kafka Static Quota 插件设置代理的限制 6.3. 扩展集群 Expand section "6.3. 扩展集群" Collapse section "6.3. 扩展集群" 6.3.1. 扩展 Kafka 集群 Expand section "6.3.1. 扩展 Kafka 集群" Collapse section "6.3.1. 扩展 Kafka 集群" 6.3.1.1. 在集群中添加代理 6.3.1.2. 从集群中删除代理 6.3.2. 重新分配分区 Expand section "6.3.2. 重新分配分区" Collapse section "6.3.2. 重新分配分区" 6.3.2.1. 重新分配 JSON 文件 6.3.2.2. 生成重新分配 JSON 文件 6.3.2.3. 手动创建重新分配 JSON 文件 6.3.3. 重新分配节流 6.3.4. 扩展 Kafka 集群 6.3.5. 缩减 Kafka 集群 6.3.6. 扩展 ZooKeeper 集群 6.3.7. 缩减 ZooKeeper 集群 7. 使用 JMX 监控集群 Expand section "7. 使用 JMX 监控集群" Collapse section "7. 使用 JMX 监控集群" 7.1. JMX 配置选项 7.2. 禁用 JMX 代理 7.3. 从其他机器连接到 JVM 7.4. 使用 JConsole 监控 7.5. 重要的 Kafka 代理指标 Expand section "7.5. 重要的 Kafka 代理指标" Collapse section "7.5. 重要的 Kafka 代理指标" 7.5.1. Kafka 服务器指标 7.5.2. Kafka 网络指标 7.5.3. Kafka 日志指标 7.5.4. Kafka 控制器指标 7.5.5. yammer 指标 7.6. 制作人 MBeans Expand section "7.6. 制作人 MBeans" Collapse section "7.6. 制作人 MBeans" 7.6.1. Mbeans 匹配 kafka.producer:type=producer-metrics,client-id=* 7.6.2. Mbeans 匹配 kafka.producer:type=producer-metrics,client-id=*,node-id=* 7.6.3. Mbeans 匹配 kafka.producer:type=producer-topic-metrics,client-id=*,topic=* 7.7. 消费者 MBeans Expand section "7.7. 消费者 MBeans" Collapse section "7.7. 消费者 MBeans" 7.7.1. Mbeans 匹配 kafka.consumer:type=consumer-metrics,client-id=* 7.7.2. Mbeans 匹配 kafka.consumer:type=consumer-metrics,client-id=*,node-id=* 7.7.3. Mbeans 匹配 kafka.consumer:type=consumer-coordinator-metrics,client-id=* 7.7.4. Mbeans 匹配 kafka.consumer:type=consumer-fetch-manager-metrics,client-id=* 7.7.5. Mbeans 匹配 kafka.consumer:type=consumer-fetch-manager-metrics,client-id=*,topic=* 7.7.6. Mbeans 匹配 kafka.consumer:type=consumer-fetch-manager-metrics,client-id=*,topic=*,partition=* 7.8. Kafka Connect MBeans Expand section "7.8. Kafka Connect MBeans" Collapse section "7.8. Kafka Connect MBeans" 7.8.1. Mbeans 匹配 kafka.connect:type=connect-metrics,client-id=* 7.8.2. Mbeans 匹配 kafka.connect:type=connect-metrics,client-id=*,node-id=* 7.8.3. Mbeans 匹配 kafka.connect:type=connect-worker-metrics 7.8.4. Mbeans 匹配 kafka.connect:type=connect-worker-rebalance-metrics 7.8.5. Mbeans 匹配 kafka.connect:type=connector-metrics,connector=* 7.8.6. Mbeans 匹配 kafka.connect:type=connector-task-metrics,connector=*,task=* 7.8.7. Mbeans 匹配 kafka.connect:type=sink-task-metrics,connector=*,task=* 7.8.8. Mbeans 匹配 kafka.connect:type=source-task-metrics,connector=*,task=* 7.8.9. Mbeans 匹配 kafka.connect:type=task-error-metrics,connector=*,task=* 7.9. Kafka Streams MBeans Expand section "7.9. Kafka Streams MBeans" Collapse section "7.9. Kafka Streams MBeans" 7.9.1. Mbeans 匹配 kafka.streams:type=stream-metrics,client-id=* 7.9.2. Mbeans 匹配 kafka.streams:type=stream-task-metrics,client-id=*,task-id=* 7.9.3. Mbeans 匹配 kafka.streams:type=stream-processor-node-metrics,client-id=*,task-id=*,processor-node-id=* 7.9.4. Mbeans 匹配 kafka.streams:type=stream-[store-scope]-metrics,client-id=*,task-id=*,[store-scope]-id=* 7.9.5. Mbeans 匹配 kafka.streams:type=stream-record-cache-metrics,client-id=*,task-id=*,record-cache-id=* 8. Kafka Connect Expand section "8. Kafka Connect" Collapse section "8. Kafka Connect" 8.1. 以独立模式的 Kafka Connect Expand section "8.1. 以独立模式的 Kafka Connect" Collapse section "8.1. 以独立模式的 Kafka Connect" 8.1.1. 以独立模式配置 Kafka Connect 8.1.2. 以独立模式在 Kafka Connect 中配置连接器 8.1.3. 以独立模式运行 Kafka Connect 8.2. 以分布式模式进行 Kafka Connect Expand section "8.2. 以分布式模式进行 Kafka Connect" Collapse section "8.2. 以分布式模式进行 Kafka Connect" 8.2.1. 在分布式模式下配置 Kafka Connect 8.2.2. 在分布式 Kafka Connect 中配置连接器 8.2.3. 运行分布式 Kafka 连接 8.2.4. 创建连接器 8.2.5. 删除连接器 8.3. 连接器插件 8.4. 添加连接器插件 9. 使用带有 MirrorMaker 2.0 的 AMQ Streams Expand section "9. 使用带有 MirrorMaker 2.0 的 AMQ Streams" Collapse section "9. 使用带有 MirrorMaker 2.0 的 AMQ Streams" 9.1. MirrorMaker 2.0 数据复制 9.2. 集群配置 Expand section "9.2. 集群配置" Collapse section "9.2. 集群配置" 9.2.1. 双向复制(主动/主动) 9.2.2. 单向复制(主动/被动) 9.2.3. 主题配置同步 9.2.4. 数据完整性 9.2.5. 偏移跟踪 9.2.6. 同步消费者组偏移 9.2.7. 连接检查 9.3. ACL 规则同步 9.4. 使用 MirrorMaker 2.0 在 Kafka 集群间同步数据 9.5. 在旧模式下使用 MirrorMaker 2.0 10. Kafka 客户端 Expand section "10. Kafka 客户端" Collapse section "10. Kafka 客户端" 10.1. 将 Kafka 客户端作为依赖项添加到 Maven 项目中 11. Kafka Streams API 概述 Expand section "11. Kafka Streams API 概述" Collapse section "11. Kafka Streams API 概述" 11.1. 将 Kafka Streams API 添加为 Maven 项目的依赖项 12. Kafka Bridge Expand section "12. Kafka Bridge" Collapse section "12. Kafka Bridge" 12.1. Kafka 网桥概述 Expand section "12.1. Kafka 网桥概述" Collapse section "12.1. Kafka 网桥概述" 12.1.1. 身份验证和加密 12.1.2. 对 Kafka Bridge 的请求 Expand section "12.1.2. 对 Kafka Bridge 的请求" Collapse section "12.1.2. 对 Kafka Bridge 的请求" 12.1.2.1. 内容类型标头 12.1.2.2. 嵌入式数据格式 12.1.2.3. 消息格式 12.1.2.4. 接受标头 12.1.3. 为 Kafka Bridge 配置日志记录器 12.1.4. Kafka Bridge API 资源 12.1.5. 下载 Kafka 网桥存档 12.1.6. 配置 Kafka Bridge 属性 12.1.7. 安装 Kafka Bridge 12.2. Kafka Bridge quickstart Expand section "12.2. Kafka Bridge quickstart" Collapse section "12.2. Kafka Bridge quickstart" 12.2.1. 本地部署 Kafka Bridge 12.2.2. 生成到主题和分区的消息 12.2.3. 创建 Kafka 网桥消费者 12.2.4. 将 Kafka 网桥消费者订阅到主题 12.2.5. 从 Kafka Bridge 用户检索最新信息 12.2.6. 将偏移提交到日志 12.2.7. 寻找分区的偏移 12.2.8. 删除 Kafka 网桥消费者 13. 使用 Kerberos(GSSAPI)身份验证 Expand section "13. 使用 Kerberos(GSSAPI)身份验证" Collapse section "13. 使用 Kerberos(GSSAPI)身份验证" 13.1. 设置 AMQ 流以使用 Kerberos(GSSAPI)身份验证 14. 用于集群重新平衡的精简控制 Expand section "14. 用于集群重新平衡的精简控制" Collapse section "14. 用于集群重新平衡的精简控制" 14.1. 为什么使用清理控制? 14.2. 下载清理控制存档 14.3. 部署 Cruise 控制指标报告器 14.4. 配置和启动清理控制 14.5. 优化目标概述 14.6. 优化调整概述 14.7. 重新平衡性能调优概述 14.8. 精简控制配置 14.9. 生成优化分析 14.10. 启动集群重新平衡 14.11. 停止活跃的集群重新平衡 15. 分布式追踪 Expand section "15. 分布式追踪" Collapse section "15. 分布式追踪" 15.1. OpenTracing 和 Jaeger 概述 15.2. 为 Kafka 客户端设置追踪 Expand section "15.2. 为 Kafka 客户端设置追踪" Collapse section "15.2. 为 Kafka 客户端设置追踪" 15.2.1. 为 Kafka 客户端初始化 Jaeger tracer 15.2.2. 强制生产者和消费者进行追踪 15.2.3. 用于追踪的 Kafka Streams 应用程序 15.3. 为 MirrorMaker 和 Kafka Connect 设置追踪 Expand section "15.3. 为 MirrorMaker 和 Kafka Connect 设置追踪" Collapse section "15.3. 为 MirrorMaker 和 Kafka Connect 设置追踪" 15.3.1. 为 MirrorMaker 启用追踪 15.3.2. 为 MirrorMaker 2.0 启用追踪 15.3.3. 为 Kafka Connect 启用追踪 15.4. 为 Kafka 网桥启用追踪 15.5. 用于追踪的环境变量 16. Kafka Exporter Expand section "16. Kafka Exporter" Collapse section "16. Kafka Exporter" 16.1. 消费滞后 16.2. Kafka Exporter 警报规则示例 16.3. Kafka Exporter 指标 16.4. 运行 Kafka Exporter 16.5. 在 Grafana 中呈现 Kafka Exporter 指标 17. AMQ Streams 和 Kafka 升级 Expand section "17. AMQ Streams 和 Kafka 升级" Collapse section "17. AMQ Streams 和 Kafka 升级" 17.1. 升级先决条件 17.2. 升级过程 17.3. Kafka 版本 17.4. 升级到 AMQ Streams 1.8 Expand section "17.4. 升级到 AMQ Streams 1.8" Collapse section "17.4. 升级到 AMQ Streams 1.8" 17.4.1. 升级 Kafka 代理和 ZooKeeper 17.4.2. 升级 Kafka Connect 17.5. 升级 Kafka Expand section "17.5. 升级 Kafka" Collapse section "17.5. 升级 Kafka" 17.5.1. 升级 Kafka 代理以使用新的代理版本 17.5.2. 升级客户端的策略 17.5.3. 将客户端应用程序升级到新的 Kafka 版本 17.5.4. 升级 Kafka 代理以使用新的消息格式版本 17.5.5. 升级消费者和 Kafka Streams 应用程序以合作重新平衡 A. 代理配置参数 B. 主题配置参数 C. 使用者配置参数 D. 制作者配置参数 E. 管理客户端配置参数 F. Kafka Connect 配置参数 G. Kafka Streams 配置参数 H. 使用您的订阅 Settings Close Language: 简体中文 日本語 English Language: 简体中文 日本語 English Format: Multi-page Single-page Format: Multi-page Single-page Language and Page Formatting Options Language: 简体中文 日本語 English Language: 简体中文 日本語 English Format: Multi-page Single-page Format: Multi-page Single-page 在 RHEL 中使用 AMQ Streams Red Hat AMQ 2021.Q3用于 Red Hat Enterprise Linux 上的 AMQ Streams 1.8摘要 本指南描述了如何安装、配置和管理 Red Hat AMQ Streams 来构建大规模消息传递网络。 Next