Jump To Close Expand all Collapse all Table of contents AMQ Streams on RHEL の使用 多様性を受け入れるオープンソースの強化 1. AMQ Streams の概要 Expand section "1. AMQ Streams の概要" Collapse section "1. AMQ Streams の概要" 1.1. Kafka の機能 1.2. Kafka のユースケース 1.3. サポートされる構成 1.4. 本書の表記慣例 2. スタートガイド Expand section "2. スタートガイド" Collapse section "2. スタートガイド" 2.1. AMQ Streams の配布 2.2. AMQ Streams アーカイブのダウンロード 2.3. AMQ Streams のインストール 2.4. データストレージに関する留意事項 Expand section "2.4. データストレージに関する留意事項" Collapse section "2.4. データストレージに関する留意事項" 2.4.1. Apache Kafka および ZooKeeper ストレージのサポート 2.4.2. ファイルシステム 2.5. 単一ノードの AMQ Streams クラスターの実行 2.6. クラスターの使用 2.7. AMQ Streams サービスの停止 2.8. AMQ Streams の設定 3. ZooKeeper の設定 Expand section "3. ZooKeeper の設定" Collapse section "3. ZooKeeper の設定" 3.1. 基本設定 3.2. ZooKeeper クラスターの設定 3.3. マルチノードの ZooKeeper クラスターの実行 3.4. 認証 Expand section "3.4. 認証" Collapse section "3.4. 認証" 3.4.1. SASL を使用した認証 3.4.2. DIGEST-MD5 を使用したサーバー間の認証の有効化 3.4.3. DIGEST-MD5 を使用したクライアント/サーバー間の認証の有効化 3.5. 承認 3.6. TLS 3.7. その他の設定オプション 3.8. ロギング 4. Kafka の設定 Expand section "4. Kafka の設定" Collapse section "4. Kafka の設定" 4.1. ZooKeeper 4.2. リスナー 4.3. ログのコミット 4.4. ブローカー ID 4.5. マルチノードの Kafka クラスターの実行 4.6. ZooKeeper の認証 Expand section "4.6. ZooKeeper の認証" Collapse section "4.6. ZooKeeper の認証" 4.6.1. JAAS 設定 4.6.2. ZooKeeper 認証の有効化 4.7. 承認 Expand section "4.7. 承認" Collapse section "4.7. 承認" 4.7.1. シンプルな ACL オーソライザー Expand section "4.7.1. シンプルな ACL オーソライザー" Collapse section "4.7.1. シンプルな ACL オーソライザー" 4.7.1.1. ACL ルール 4.7.1.2. プリンシパル 4.7.1.3. ユーザーの認証 4.7.1.4. スーパーユーザー 4.7.1.5. レプリカブローカーの認証 4.7.1.6. サポートされるリソース 4.7.1.7. サポートされる操作 4.7.1.8. ACL 管理オプション 4.7.2. 承認の有効化 4.7.3. ACL ルールの追加 4.7.4. ACL ルールの一覧表示 4.7.5. ACL ルールの削除 4.8. ZooKeeper の承認 Expand section "4.8. ZooKeeper の承認" Collapse section "4.8. ZooKeeper の承認" 4.8.1. ACL 設定 4.8.2. 新しい Kafka クラスターでの ZooKeeper ACL の有効化 4.8.3. 既存の Kafka クラスターでの ZooKeeper ACL の有効化 4.9. 暗号化と認証 Expand section "4.9. 暗号化と認証" Collapse section "4.9. 暗号化と認証" 4.9.1. リスナーの設定 4.9.2. TLS 暗号化 4.9.3. TLS 暗号化の有効化 4.9.4. 認証 Expand section "4.9.4. 認証" Collapse section "4.9.4. 認証" 4.9.4.1. TLS クライアント認証 4.9.4.2. SASL 認証 4.9.5. TLS クライアント認証の有効化 4.9.6. SASL PLAIN 認証の有効化 4.9.7. SASL SCRAM 認証の有効化 4.9.8. SASL SCRAM ユーザーの追加 4.9.9. SASL SCRAM ユーザーの削除 4.10. OAuth 2.0 トークンベース認証の使用 Expand section "4.10. OAuth 2.0 トークンベース認証の使用" Collapse section "4.10. OAuth 2.0 トークンベース認証の使用" 4.10.1. OAuth 2.0 認証メカニズム Expand section "4.10.1. OAuth 2.0 認証メカニズム" Collapse section "4.10.1. OAuth 2.0 認証メカニズム" 4.10.1.1. プロパティーまたは変数を使用した OAuth 2.0 の設定 4.10.2. OAuth 2.0 Kafka ブローカーの設定 Expand section "4.10.2. OAuth 2.0 Kafka ブローカーの設定" Collapse section "4.10.2. OAuth 2.0 Kafka ブローカーの設定" 4.10.2.1. 承認サーバーの OAuth 2.0 クライアント設定 4.10.2.2. Kafka クラスターでの OAuth 2.0 認証設定 4.10.2.3. 高速なローカル JWT トークン検証の設定 4.10.2.4. OAuth 2.0 イントロスペクションエンドポイントの設定 4.10.3. Kafka ブローカーの再認証の設定 4.10.4. OAuth 2.0 Kafka クライアントの設定 4.10.5. OAuth 2.0 のクライアント認証フロー Expand section "4.10.5. OAuth 2.0 のクライアント認証フロー" Collapse section "4.10.5. OAuth 2.0 のクライアント認証フロー" 4.10.5.1. クライアント認証フローの例 4.10.6. OAuth 2.0 認証の設定 Expand section "4.10.6. OAuth 2.0 認証の設定" Collapse section "4.10.6. OAuth 2.0 認証の設定" 4.10.6.1. OAuth 2.0 承認サーバーとしての Red Hat Single Sign-On の設定 4.10.6.2. Kafka ブローカーの OAuth 2.0 サポートの設定 4.10.6.3. OAuth 2.0 を使用するよう Kafka Java クライアントを設定 4.11. OAuth 2.0 トークンベース承認の使用 Expand section "4.11. OAuth 2.0 トークンベース承認の使用" Collapse section "4.11. OAuth 2.0 トークンベース承認の使用" 4.11.1. OAuth 2.0 の承認メカニズム Expand section "4.11.1. OAuth 2.0 の承認メカニズム" Collapse section "4.11.1. OAuth 2.0 の承認メカニズム" 4.11.1.1. Kafka ブローカーのカスタムオーソライザー 4.11.2. OAuth 2.0 承認サポートの設定 4.12. OPA ポリシーベースの承認の使用 Expand section "4.12. OPA ポリシーベースの承認の使用" Collapse section "4.12. OPA ポリシーベースの承認の使用" 4.12.1. OPA ポリシーの定義 4.12.2. OPA への接続 4.12.3. OPA 承認サポートの設定 4.13. ロギング Expand section "4.13. ロギング" Collapse section "4.13. ロギング" 4.13.1. Kafka ブローカーロガーのロギングレベルの動的な変更 5. トピック Expand section "5. トピック" Collapse section "5. トピック" 5.1. パーティションおよびレプリカ 5.2. メッセージの保持 5.3. トピックの自動作成 5.4. トピックの削除 5.5. トピックの設定 5.6. 内部トピック 5.7. トピックの作成 5.8. トピックの一覧表示および説明 5.9. トピック設定の変更 5.10. トピックの削除 6. Kafka の管理 Expand section "6. Kafka の管理" Collapse section "6. Kafka の管理" 6.1. Kafka 設定のチューニング Expand section "6.1. Kafka 設定のチューニング" Collapse section "6.1. Kafka 設定のチューニング" 6.1.1. Kafka ブローカー設定のチューニング Expand section "6.1.1. Kafka ブローカー設定のチューニング" Collapse section "6.1.1. Kafka ブローカー設定のチューニング" 6.1.1.1. 基本的なブローカー設定 6.1.1.2. 高可用性のためのトピックの複製 6.1.1.3. トランザクションおよびコミットの内部トピック設定 6.1.1.4. I/O スレッドの増加によるリクエスト処理スループットの向上 6.1.1.5. レイテンシーの高い接続に対する帯域幅の引き上げ 6.1.1.6. データ保持ポリシーでのログの管理 6.1.1.7. クリーンアップポリシーによるログデータの削除 6.1.1.8. ディスク使用率の管理 6.1.1.9. 大きなメッセージサイズの処理 6.1.1.10. メッセージデータのログフラッシュの制御 6.1.1.11. 可用性のためのパーティションリバランス 6.1.1.12. クリーンでないリーダーの選出 (unclean leader election) 6.1.1.13. 不要なコンシューマーグループリバランスの回避 6.1.2. Kafka プロデューサー設定のチューニング Expand section "6.1.2. Kafka プロデューサー設定のチューニング" Collapse section "6.1.2. Kafka プロデューサー設定のチューニング" 6.1.2.1. 基本のプロデューサー設定 6.1.2.2. データの持続性 6.1.2.3. 順序付き配信 6.1.2.4. 信頼性の保証 6.1.2.5. スループットおよびレイテンシーの最適化 6.1.3. Kafka コンシューマー設定の調整 Expand section "6.1.3. Kafka コンシューマー設定の調整" Collapse section "6.1.3. Kafka コンシューマー設定の調整" 6.1.3.1. 基本的なコンシューマー設定 6.1.3.2. コンシューマーグループを使用したデータ消費のスケーリング 6.1.3.3. メッセージの順序の保証 6.1.3.4. スループットおよびレイテンシーの最適化 6.1.3.5. オフセットをコミットする際のデータ損失または重複の回避 Expand section "6.1.3.5. オフセットをコミットする際のデータ損失または重複の回避" Collapse section "6.1.3.5. オフセットをコミットする際のデータ損失または重複の回避" 6.1.3.5.1. トランザクションメッセージの制御 6.1.3.6. データ損失を回避するための障害からの復旧 6.1.3.7. オフセットポリシーの管理 6.1.3.8. リバランスの影響を最小限にする 6.2. Kafka Static Quota プラグインを使用したブローカーへの制限の設定 6.3. クラスターのスケーリング Expand section "6.3. クラスターのスケーリング" Collapse section "6.3. クラスターのスケーリング" 6.3.1. Kafka クラスターのスケーリング Expand section "6.3.1. Kafka クラスターのスケーリング" Collapse section "6.3.1. Kafka クラスターのスケーリング" 6.3.1.1. ブローカーのクラスターへの追加 6.3.1.2. クラスターからのブローカーの削除 6.3.2. パーティションの再割り当て Expand section "6.3.2. パーティションの再割り当て" Collapse section "6.3.2. パーティションの再割り当て" 6.3.2.1. 再割り当て JSON ファイル 6.3.2.2. 再割り当て JSON ファイルの生成 6.3.2.3. 手動による再割り当て JSON ファイルの作成 6.3.3. 再割り当てスロットル 6.3.4. Kafka クラスターのスケールアップ 6.3.5. Kafka クラスターのスケールダウン 6.3.6. ZooKeeper クラスターのスケールアップ 6.3.7. ZooKeeper クラスターのスケールダウン 7. JMX を使用したクラスターのモニタリング Expand section "7. JMX を使用したクラスターのモニタリング" Collapse section "7. JMX を使用したクラスターのモニタリング" 7.1. JMX 設定オプション 7.2. JMX エージェントの無効化 7.3. 別のマシンからの JVM への接続 7.4. JConsole を使用したモニタリング 7.5. 重要な Kafka ブローカーメトリクス Expand section "7.5. 重要な Kafka ブローカーメトリクス" Collapse section "7.5. 重要な Kafka ブローカーメトリクス" 7.5.1. Kafka サーバーメトリクス 7.5.2. Kafka ネットワークメトリクス 7.5.3. Kafka ログメトリクス 7.5.4. Kafka コントローラーメトリクス 7.5.5. Yammer メトリクス 7.6. プロデューサー MBean Expand section "7.6. プロデューサー MBean" Collapse section "7.6. プロデューサー MBean" 7.6.1. 一致する MBean kafka.producer:type=producer-metrics,client-id=* 7.6.2. 一致する MBean kafka.producer:type=producer-metrics,client-id=*,node-id=* 7.6.3. 一致する MBean kafka.producer:type=producer-topic-metrics,client-id=*,topic=* 7.7. コンシューマー MBean Expand section "7.7. コンシューマー MBean" Collapse section "7.7. コンシューマー MBean" 7.7.1. 一致する MBean kafka.consumer:type=consumer-metrics,client-id=* 7.7.2. 一致する MBean kafka.consumer:type=consumer-metrics,client-id=*,node-id=* 7.7.3. 一致する MBean kafka.consumer:type=consumer-coordinator-metrics,client-id=* 7.7.4. 一致する MBean kafka.consumer:type=consumer-fetch-manager-metrics,client-id=* 7.7.5. 一致する MBean kafka.consumer:type=consumer-fetch-manager-metrics,client-id=*,topic=* 7.7.6. 一致する MBean kafka.consumer:type=consumer-fetch-manager-metrics,client-id=*,topic=*,partition=* 7.8. Kafka Connect MBeans Expand section "7.8. Kafka Connect MBeans" Collapse section "7.8. Kafka Connect MBeans" 7.8.1. 一致する MBean kafka.connect:type=connect-metrics,client-id=* 7.8.2. 一致する MBean kafka.connect:type=connect-metrics,client-id=*,node-id=* 7.8.3. 一致する MBean kafka.connect:type=connect-worker-metrics 7.8.4. 一致する MBean kafka.connect:type=connect-worker-rebalance-metrics 7.8.5. 一致する MBean kafka.connect:type=connector-metrics,connector=* 7.8.6. 一致する MBean kafka.connect:type=connector-task-metrics,connector=*,task=* 7.8.7. 一致する MBean kafka.connect:type=sink-task-metrics,connector=*,task=* 7.8.8. 一致する MBean kafka.connect:type=source-task-metrics,connector=*,task=* 7.8.9. 一致する MBean kafka.connect:type=task-error-metrics,connector=*,task=* 7.9. Kafka Streams MBeans Expand section "7.9. Kafka Streams MBeans" Collapse section "7.9. Kafka Streams MBeans" 7.9.1. 一致する MBean kafka.streams:type=stream-metrics,client-id=* 7.9.2. 一致する MBean kafka.streams:type=stream-task-metrics,client-id=*,task-id=* 7.9.3. 一致する MBean kafka.streams:type=stream-processor-node-metrics,client-id=*,task-id=*,processor-node-id=* 7.9.4. 一致する MBean kafka.streams:type=stream-[store-scope]-metrics,client-id=*,task-id=*,[store-scope]-id=* 7.9.5. 一致する MBean kafka.streams:type=stream-record-cache-metrics,client-id=*,task-id=*,record-cache-id=* 8. Kafka Connect Expand section "8. Kafka Connect" Collapse section "8. Kafka Connect" 8.1. スタンドアロンモードでの Kafka Connect Expand section "8.1. スタンドアロンモードでの Kafka Connect" Collapse section "8.1. スタンドアロンモードでの Kafka Connect" 8.1.1. スタンドアロンモードでの Kafka Connect の設定 8.1.2. スタンドアロンモードでの Kafka Connect でのコネクターの設定 8.1.3. スタンドアロンモードでの Kafka Connect の実行 8.2. 「Kafka Connect in distributed mode」 Expand section "8.2. 「Kafka Connect in distributed mode」" Collapse section "8.2. 「Kafka Connect in distributed mode」" 8.2.1. 分散モードでの Kafka Connect の設定 8.2.2. 分散 Kafka Connect でのコネクターの設定 8.2.3. 分散 Kafka Connect の実行 8.2.4. コネクターの作成 8.2.5. コネクターの削除 8.3. コネクタープラグイン 8.4. 「Adding connector plugins」 9. AMQ Streams の MirrorMaker 2.0 との使用 Expand section "9. AMQ Streams の MirrorMaker 2.0 との使用" Collapse section "9. AMQ Streams の MirrorMaker 2.0 との使用" 9.1. MirrorMaker 2.0 データレプリケーション 9.2. クラスターの設定 Expand section "9.2. クラスターの設定" Collapse section "9.2. クラスターの設定" 9.2.1. 双方向レプリケーション (active/active) 9.2.2. 一方向レプリケーション (active/passive) 9.2.3. トピック設定の同期 9.2.4. データの整合性 9.2.5. オフセットの追跡 9.2.6. コンシューマーグループオフセットの同期 9.2.7. 接続性チェック 9.3. ACL ルールの同期 9.4. MirrorMaker 2.0 を使用した Kafka クラスター間でのデータの同期 9.5. レガシーモードでの MirrorMaker 2.0 の使用 10. Kafka クライアント Expand section "10. Kafka クライアント" Collapse section "10. Kafka クライアント" 10.1. Kafka クライアントを依存関係として Maven プロジェクトに追加 11. Kafka Streams API の概要 Expand section "11. Kafka Streams API の概要" Collapse section "11. Kafka Streams API の概要" 11.1. Kafka Streams API を依存関係として Maven プロジェクトに追加 12. Kafka Bridge Expand section "12. Kafka Bridge" Collapse section "12. Kafka Bridge" 12.1. Kafka Bridge の概要 Expand section "12.1. Kafka Bridge の概要" Collapse section "12.1. Kafka Bridge の概要" 12.1.1. 認証および暗号化 12.1.2. Kafka Bridge へのリクエスト Expand section "12.1.2. Kafka Bridge へのリクエスト" Collapse section "12.1.2. Kafka Bridge へのリクエスト" 12.1.2.1. コンテンツタイプヘッダー 12.1.2.2. 埋め込みデータ形式 12.1.2.3. メッセージの形式 12.1.2.4. Accept ヘッダー 12.1.3. Kafka Bridge のロガーの設定 12.1.4. Kafka Bridge API リソース 12.1.5. Kafka Bridge アーカイブのダウンロード 12.1.6. Kafka Bridge プロパティーの設定 12.1.7. Kafka Bridge のインストール 12.2. Kafka Bridge クイックスタート Expand section "12.2. Kafka Bridge クイックスタート" Collapse section "12.2. Kafka Bridge クイックスタート" 12.2.1. Kafka Bridge のローカルでのデプロイ 12.2.2. トピックおよびパーティションへのメッセージの作成 12.2.3. Kafka Bridge コンシューマーの作成 12.2.4. Kafka Bridge コンシューマーのトピックへのサブスクライブ 12.2.5. Kafka Bridge コンシューマーからの最新メッセージの取得 12.2.6. ログへのオフセットのコミット 12.2.7. パーティションのオフセットのシーク 12.2.8. Kafka Bridge コンシューマーの削除 13. Kerberos(GSSAPI)認証の使用 Expand section "13. Kerberos(GSSAPI)認証の使用" Collapse section "13. Kerberos(GSSAPI)認証の使用" 13.1. Kerberos(GSSAPI)認証を使用するように AMQ Streams を設定 14. Cruise Control によるクラスターのリバランス Expand section "14. Cruise Control によるクラスターのリバランス" Collapse section "14. Cruise Control によるクラスターのリバランス" 14.1. Cruise Control とは 14.2. Cruise Control アーカイブのダウンロード 14.3. Cruise Control Metrics Reporter のデプロイ 14.4. Cruise Control の設定および起動 14.5. 最適化ゴールの概要 14.6. 最適化プロポーザルの概要 14.7. リバランスパフォーマンスチューニングの概要 14.8. Cruise Control の設定 14.9. 最適化プロポーザルの生成 14.10. クラスターリバランスの開始 14.11. アクティブなクラスターリバランスの停止 15. 分散トレーシング Expand section "15. 分散トレーシング" Collapse section "15. 分散トレーシング" 15.1. OpenTracing および Jaeger の概要 15.2. Kafka クライアントのトレーシング設定 Expand section "15.2. Kafka クライアントのトレーシング設定" Collapse section "15.2. Kafka クライアントのトレーシング設定" 15.2.1. Kafka クライアント用の Jaeger トレーサーの初期化 15.2.2. トレーシングのための Kafka プロデューサーおよびコンシューマーのインストルメント化 15.2.3. Kafka Streams アプリケーションのトレーシングのインストルメント化 15.3. MirrorMaker および Kafka Connect のトレース設定 Expand section "15.3. MirrorMaker および Kafka Connect のトレース設定" Collapse section "15.3. MirrorMaker および Kafka Connect のトレース設定" 15.3.1. MirrorMaker のトレースの有効化 15.3.2. MirrorMaker 2.0 のトレースの有効化 15.3.3. Kafka Connect のトレースの有効化 15.4. Kafka Bridge のトレースの有効化 15.5. トレーシングの環境変数 16. Kafka Exporter Expand section "16. Kafka Exporter" Collapse section "16. Kafka Exporter" 16.1. コンシューマーラグ 16.2. Kafka Exporter アラートルールの例 16.3. Kafka Exporter メトリクス 16.4. Kafka Exporter の実行 16.5. Grafana での Kafka Exporter メトリクスの表示 17. AMQ Streams および Kafka のアップグレード Expand section "17. AMQ Streams および Kafka のアップグレード" Collapse section "17. AMQ Streams および Kafka のアップグレード" 17.1. アップグレードの前提条件 17.2. アップグレードプロセス 17.3. Kafka バージョン 17.4. AMQ Streams 1.8 へのアップグレード Expand section "17.4. AMQ Streams 1.8 へのアップグレード" Collapse section "17.4. AMQ Streams 1.8 へのアップグレード" 17.4.1. Kafka ブローカーおよび ZooKeeper のアップグレード 17.4.2. Kafka Connect のアップグレード 17.5. Kafka のアップグレード Expand section "17.5. Kafka のアップグレード" Collapse section "17.5. Kafka のアップグレード" 17.5.1. 新しいブローカー間プロトコルバージョンを使用するように Kafka ブローカーのアップグレード 17.5.2. クライアントをアップグレードするストラテジー 17.5.3. クライアントアプリケーションの新しい Kafka バージョンへのアップグレード 17.5.4. 新しいメッセージ形式のバージョンを使用するように Kafka ブローカーのアップグレード 17.5.5. コンシューマーおよび Kafka Streams アプリケーションの Cooperative Rebalancing へのアップグレード A. ブローカー設定パラメーター B. トピック設定パラメーター C. コンシューマー設定パラメーター D. プロデューサー設定パラメーター E. 管理クライアント設定パラメーター F. Kafka Connect 設定パラメーター G. Kafka Streams 設定パラメーター H. サブスクリプションの使用 Settings Close Language: 简体中文 日本語 English Language: 简体中文 日本語 English Format: Multi-page Single-page PDF Format: Multi-page Single-page PDF Language and Page Formatting Options Language: 简体中文 日本語 English Language: 简体中文 日本語 English Format: Multi-page Single-page PDF Format: Multi-page Single-page PDF AMQ Streams on RHEL の使用 Red Hat AMQ 2021.Q3AMQ Streams 1.8 on Red Hat Enterprise Linux 向け概要 本ガイドでは、Red Hat AMQ Streams をインストール、設定、および管理して、大規模なメッセージングネットワークを構築する方法を説明します。 Next