Jump To Close Expand all Collapse all Table of contents RHEL での AMQ Streams の使用 1. AMQ Streams の概要 Expand section "1. AMQ Streams の概要" Collapse section "1. AMQ Streams の概要" 1.1. Kafka の機能 1.2. Kafka のユースケース 1.3. サポートされる構成 1.4. 本書の表記慣例 2. はじめに Expand section "2. はじめに" Collapse section "2. はじめに" 2.1. AMQ Streams のディストリビューション 2.2. AMQ Streams アーカイブのダウンロード 2.3. AMQ Streams のインストール 2.4. データストレージに関する留意事項 Expand section "2.4. データストレージに関する留意事項" Collapse section "2.4. データストレージに関する留意事項" 2.4.1. Apache Kafka および ZooKeeper ストレージのサポート 2.4.2. ファイルシステム 2.5. 単一ノードの AMQ Streams クラスターの実行 2.6. クラスターの使用 2.7. AMQ Streams サービスの停止 2.8. AMQ Streams の設定 3. ZooKeeper の設定 Expand section "3. ZooKeeper の設定" Collapse section "3. ZooKeeper の設定" 3.1. 基本設定 3.2. ZooKeeper クラスター設定 3.3. マルチノードの ZooKeeper クラスターの実行 3.4. 認証 Expand section "3.4. 認証" Collapse section "3.4. 認証" 3.4.1. SASL を使用した認証 3.4.2. DIGEST-MD5 を使用したサーバー間の認証の有効化 3.4.3. DIGEST-MD5 を使用したクライアント/サーバー間の認証の有効化 3.5. 承認 3.6. TLS 3.7. その他の設定オプション 3.8. ロギング 4. Kafka の設定 Expand section "4. Kafka の設定" Collapse section "4. Kafka の設定" 4.1. ZooKeeper 4.2. 「リスナー」 4.3. ログのコミット 4.4. ブローカー ID 4.5. マルチノードの Kafka クラスターの実行 4.6. ZooKeeper の認証 Expand section "4.6. ZooKeeper の認証" Collapse section "4.6. ZooKeeper の認証" 4.6.1. JAAS 設定 4.6.2. ZooKeeper 認証の有効化 4.7. 承認 Expand section "4.7. 承認" Collapse section "4.7. 承認" 4.7.1. シンプルな ACL オーソライザー Expand section "4.7.1. シンプルな ACL オーソライザー" Collapse section "4.7.1. シンプルな ACL オーソライザー" 4.7.1.1. ACL ルール 4.7.1.2. プリンシパル 4.7.1.3. ユーザーの認証 4.7.1.4. スーパーユーザー 4.7.1.5. レプリカブローカーの認証 4.7.1.6. サポートされるリソース 4.7.1.7. サポートされる操作 4.7.1.8. ACL 管理オプション 4.7.2. 承認の有効化 4.7.3. ACL ルールの追加 4.7.4. ACL ルールの一覧表示 4.7.5. ACL ルールの削除 4.8. ZooKeeper の承認 Expand section "4.8. ZooKeeper の承認" Collapse section "4.8. ZooKeeper の承認" 4.8.1. ACL 設定 4.8.2. 新しい Kafka クラスターでの ZooKeeper ACL の有効化 4.8.3. 既存の Kafka クラスターでの ZooKeeper ACL の有効化 4.9. 暗号化と認証 Expand section "4.9. 暗号化と認証" Collapse section "4.9. 暗号化と認証" 4.9.1. リスナーの設定 4.9.2. TLS 暗号化 4.9.3. TLS 暗号化の有効化 4.9.4. 認証 Expand section "4.9.4. 認証" Collapse section "4.9.4. 認証" 4.9.4.1. TLS クライアント認証 4.9.4.2. SASL 認証 4.9.5. TLS クライアント認証の有効化 4.9.6. SASL PLAIN 認証の有効化 4.9.7. SASL SCRAM 認証の有効化 4.9.8. SASL SCRAM ユーザーの追加 4.9.9. SASL SCRAM ユーザーの削除 4.10. 「OAuth 2.0 トークンベース認証の使用」 Expand section "4.10. 「OAuth 2.0 トークンベース認証の使用」" Collapse section "4.10. 「OAuth 2.0 トークンベース認証の使用」" 4.10.1. OAuth 2.0 認証メカニズム Expand section "4.10.1. OAuth 2.0 認証メカニズム" Collapse section "4.10.1. OAuth 2.0 認証メカニズム" 4.10.1.1. プロパティーまたは変数を使用した OAuth 2.0 の設定 4.10.2. 「OAuth 2.0 Kafka ブローカーの設定」 Expand section "4.10.2. 「OAuth 2.0 Kafka ブローカーの設定」" Collapse section "4.10.2. 「OAuth 2.0 Kafka ブローカーの設定」" 4.10.2.1. 承認サーバーの OAuth 2.0 クライアント設定 4.10.2.2. Kafka クラスターでの OAuth 2.0 認証設定 4.10.2.3. 高速なローカル JWT トークン検証の設定 4.10.2.4. OAuth 2.0 イントロスペクションエンドポイントの設定 4.10.3. Kafka ブローカーの再認証の設定 4.10.4. OAuth 2.0 Kafka クライアントの設定 4.10.5. OAuth 2.0 のクライアント認証フロー Expand section "4.10.5. OAuth 2.0 のクライアント認証フロー" Collapse section "4.10.5. OAuth 2.0 のクライアント認証フロー" 4.10.5.1. クライアント認証フローの例 4.10.6. OAuth 2.0 認証の設定 Expand section "4.10.6. OAuth 2.0 認証の設定" Collapse section "4.10.6. OAuth 2.0 認証の設定" 4.10.6.1. OAuth 2.0 承認サーバーとしての Red Hat Single Sign-On の設定 4.10.6.2. Kafka ブローカーの OAuth 2.0 サポートの設定 4.10.6.3. OAuth 2.0 を使用するための Kafka Java クライアントの設定 4.11. OAuth 2.0 トークンベース承認の使用 Expand section "4.11. OAuth 2.0 トークンベース承認の使用" Collapse section "4.11. OAuth 2.0 トークンベース承認の使用" 4.11.1. OAuth 2.0 の承認メカニズム Expand section "4.11.1. OAuth 2.0 の承認メカニズム" Collapse section "4.11.1. OAuth 2.0 の承認メカニズム" 4.11.1.1. Kafka ブローカーのカスタムオーソライザー 4.11.2. OAuth 2.0 承認サポートの設定 4.12. OPA ポリシーベースの承認の使用 Expand section "4.12. OPA ポリシーベースの承認の使用" Collapse section "4.12. OPA ポリシーベースの承認の使用" 4.12.1. OPA ポリシーの定義 4.12.2. OPA への接続 4.12.3. OPA 承認サポートの設定 4.13. ロギング Expand section "4.13. ロギング" Collapse section "4.13. ロギング" 4.13.1. Kafka ブローカーロガーのロギングレベルの動的な変更 5. トピック Expand section "5. トピック" Collapse section "5. トピック" 5.1. パーティションおよびレプリカ 5.2. メッセージの保持 5.3. トピックの自動作成 5.4. トピックの削除 5.5. トピックの設定 5.6. 内部トピック 5.7. トピックの作成 5.8. トピックの一覧表示および説明 5.9. トピック設定の変更 5.10. トピックの削除 6. クライアント設定のチューニング Expand section "6. クライアント設定のチューニング" Collapse section "6. クライアント設定のチューニング" 6.1. Kafka プロデューサー設定のチューニング Expand section "6.1. Kafka プロデューサー設定のチューニング" Collapse section "6.1. Kafka プロデューサー設定のチューニング" 6.1.1. 基本のプロデューサー設定 6.1.2. データの持続性 6.1.3. 順序付き配信 6.1.4. 信頼性の保証 6.1.5. スループットおよびレイテンシーの最適化 6.2. Kafka コンシューマー設定の調整 Expand section "6.2. Kafka コンシューマー設定の調整" Collapse section "6.2. Kafka コンシューマー設定の調整" 6.2.1. 基本的なコンシューマー設定 6.2.2. コンシューマーグループを使用したデータ消費のスケーリング 6.2.3. メッセージの順序の保証 6.2.4. スループットおよびレイテンシーの最適化 6.2.5. オフセットをコミットする際のデータ損失または重複の回避 Expand section "6.2.5. オフセットをコミットする際のデータ損失または重複の回避" Collapse section "6.2.5. オフセットをコミットする際のデータ損失または重複の回避" 6.2.5.1. トランザクションメッセージの制御 6.2.6. データ損失を回避するための障害からの復旧 6.2.7. オフセットポリシーの管理 6.2.8. リバランスの影響の最小限化 7. クラスターのスケーリング Expand section "7. クラスターのスケーリング" Collapse section "7. クラスターのスケーリング" 7.1. Kafka クラスターのスケーリング Expand section "7.1. Kafka クラスターのスケーリング" Collapse section "7.1. Kafka クラスターのスケーリング" 7.1.1. ブローカーのクラスターへの追加 7.1.2. クラスターからのブローカーの削除 7.2. パーティションの再割り当て Expand section "7.2. パーティションの再割り当て" Collapse section "7.2. パーティションの再割り当て" 7.2.1. 再割り当て JSON ファイル 7.2.2. 再割り当て JSON ファイルの生成 7.2.3. 手動による再割り当て JSON ファイルの作成 7.3. 再割り当てスロットル 7.4. Kafka クラスターのスケールアップ 7.5. Kafka クラスターのスケールダウン 7.6. ZooKeeper クラスターのスケールアップ 7.7. ZooKeeper クラスターのスケールダウン 8. JMX を使用したクラスターの監視 Expand section "8. JMX を使用したクラスターの監視" Collapse section "8. JMX を使用したクラスターの監視" 8.1. JMX 設定オプション 8.2. JMX エージェントの無効化 8.3. 別のマシンからの JVM への接続 8.4. JConsole を使用した監視 8.5. 重要な Kafka ブローカーメトリクス Expand section "8.5. 重要な Kafka ブローカーメトリクス" Collapse section "8.5. 重要な Kafka ブローカーメトリクス" 8.5.1. Kafka サーバーメトリクス 8.5.2. Kafka ネットワークメトリクス 8.5.3. Kafka ログメトリクス 8.5.4. Kafka コントローラーメトリクス 8.5.5. Yammer メトリクス 8.6. プロデューサー MBean Expand section "8.6. プロデューサー MBean" Collapse section "8.6. プロデューサー MBean" 8.6.1. kafka.producer:type=producer-metrics,client-id=* と一致する MBean 8.6.2. kafka.producer:type=producer-metrics,client-id=*,node-id=* と一致する MBean 8.6.3. kafka.producer:type=producer-topic-metrics,client-id=*,topic=* と一致する MBean 8.7. コンシューマー MBean Expand section "8.7. コンシューマー MBean" Collapse section "8.7. コンシューマー MBean" 8.7.1. kafka.consumer:type=consumer-metrics,client-id=* と一致する MBean 8.7.2. kafka.consumer:type=consumer-metrics,client-id=*,node-id=* と一致する MBean 8.7.3. kafka.consumer:type=consumer-coordinator-metrics,client-id=* と一致する MBean 8.7.4. kafka.consumer:type=consumer-fetch-manager-metrics,client-id=* と一致する MBean 8.7.5. kafka.consumer:type=consumer-fetch-manager-metrics,client-id=*,topic=* と一致する MBean 8.7.6. kafka.consumer:type=consumer-fetch-manager-metrics,client-id=*,topic=*,partition=* と一致する MBean 8.8. Kafka Connect MBean Expand section "8.8. Kafka Connect MBean" Collapse section "8.8. Kafka Connect MBean" 8.8.1. kafka.connect:type=connect-metrics,client-id=* と一致する MBean 8.8.2. kafka.connect:type=connect-metrics,client-id=*,node-id=* と一致する MBean 8.8.3. kafka.connect:type=connect-worker-metrics と一致する MBean 8.8.4. kafka.connect:type=connect-worker-rebalance-metrics と一致する MBean 8.8.5. kafka.connect:type=connector-metrics,connector=* と一致する MBean 8.8.6. kafka.connect:type=connector-task-metrics,connector=*,task=* と一致する MBean 8.8.7. kafka.connect:type=sink-task-metrics,connector=*,task=* と一致する MBean 8.8.8. kafka.connect:type=source-task-metrics,connector=*,task=* と一致する MBean 8.8.9. kafka.connect:type=task-error-metrics,connector=*,task=* と一致する MBean 8.9. Kafka Streams MBean Expand section "8.9. Kafka Streams MBean" Collapse section "8.9. Kafka Streams MBean" 8.9.1. kafka.streams:type=stream-metrics,client-id=* と一致する MBean 8.9.2. kafka.streams:type=stream-task-metrics,client-id=*,task-id=* と一致する MBean 8.9.3. kafka.streams:type=stream-processor-node-metrics,client-id=*,task-id=*,processor-node-id=* と一致する MBean 8.9.4. kafka.streams:type=stream-[store-scope]-metrics,client-id=*,task-id=*,[store-scope]-id=* と一致する MBean 8.9.5. kafka.streams:type=stream-record-cache-metrics,client-id=*,task-id=*,record-cache-id=* と一致する MBean 9. Kafka Connect Expand section "9. Kafka Connect" Collapse section "9. Kafka Connect" 9.1. スタンドアロンモードでの Kafka Connect Expand section "9.1. スタンドアロンモードでの Kafka Connect" Collapse section "9.1. スタンドアロンモードでの Kafka Connect" 9.1.1. スタンドアロンモードでの Kafka Connect の設定 9.1.2. スタンドアロンモードでの Kafka Connect でのコネクターの設定 9.1.3. スタンドアロンモードでの Kafka Connect の実行 9.2. 分散モードでの Kafka Connect Expand section "9.2. 分散モードでの Kafka Connect" Collapse section "9.2. 分散モードでの Kafka Connect" 9.2.1. 分散モードでの Kafka Connect の設定 9.2.2. 分散 Kafka Connect でのコネクターの設定 9.2.3. 分散 Kafka Connect の実行 9.2.4. コネクターの作成 9.2.5. コネクターの削除 9.3. コネクタープラグイン 9.4. コネクタープラグインの追加 10. AMQ Streams の MirrorMaker 2.0 との使用 Expand section "10. AMQ Streams の MirrorMaker 2.0 との使用" Collapse section "10. AMQ Streams の MirrorMaker 2.0 との使用" 10.1. MirrorMaker 2.0 のデータレプリケーション 10.2. クラスターの設定 Expand section "10.2. クラスターの設定" Collapse section "10.2. クラスターの設定" 10.2.1. 双方向レプリケーション (active/active) 10.2.2. 一方向レプリケーション (active/passive) 10.2.3. トピック設定の同期 10.2.4. データの整合性 10.2.5. オフセットの追跡 10.2.6. 接続性チェック 10.3. ACL ルールの同期 10.4. MirrorMaker 2.0 を使用した Kafka クラスター間でのデータの同期 10.5. レガシーモードでの MirrorMaker 2.0 の使用 11. Kafka クライアント Expand section "11. Kafka クライアント" Collapse section "11. Kafka クライアント" 11.1. Maven プロジェクトへの依存関係としての Kafka クライアントの追加 12. Kafka Streams API の概要 Expand section "12. Kafka Streams API の概要" Collapse section "12. Kafka Streams API の概要" 12.1. Maven プロジェクトへの依存関係としての Kafka Streams API の追加 13. Kafka Bridge Expand section "13. Kafka Bridge" Collapse section "13. Kafka Bridge" 13.1. Kafka Bridge の概要 Expand section "13.1. Kafka Bridge の概要" Collapse section "13.1. Kafka Bridge の概要" 13.1.1. 認証および暗号化 13.1.2. Kafka Bridge への要求 Expand section "13.1.2. Kafka Bridge への要求" Collapse section "13.1.2. Kafka Bridge への要求" 13.1.2.1. コンテンツタイプヘッダー 13.1.2.2. 埋め込みデータ形式 13.1.2.3. メッセージの形式 13.1.2.4. Accept ヘッダー 13.1.3. Kafka Bridge のロガーの設定 13.1.4. Kafka Bridge API リソース 13.1.5. Kafka Bridge アーカイブのダウンロード 13.1.6. Kafka Bridge プロパティーの設定 13.1.7. Kafka Bridge のインストール 13.2. Kafka Bridge クイックスタート Expand section "13.2. Kafka Bridge クイックスタート" Collapse section "13.2. Kafka Bridge クイックスタート" 13.2.1. Kafka Bridge のローカルデプロイメント 13.2.2. トピックおよびパーティションへのメッセージの作成 13.2.3. Kafka Bridge コンシューマーの作成 13.2.4. Kafka Bridge コンシューマーのトピックへのサブスクライブ 13.2.5. Kafka Bridge コンシューマーからの最新メッセージの取得 13.2.6. ログへのオフセットのコミット 13.2.7. パーティションのオフセットのシーク 13.2.8. Kafka Bridge コンシューマーの削除 14. Kerberos(GSSAPI)認証の使用 Expand section "14. Kerberos(GSSAPI)認証の使用" Collapse section "14. Kerberos(GSSAPI)認証の使用" 14.1. Kerberos (GSSAPI) 認証を使用するための AMQ Streams の設定 15. Cruise Control によるクラスターのリバランス Expand section "15. Cruise Control によるクラスターのリバランス" Collapse section "15. Cruise Control によるクラスターのリバランス" 15.1. Cruise Control とは 15.2. Cruise Control アーカイブのダウンロード 15.3. Cruise Control Metrics Reporter のデプロイ 15.4. Cruise Control の設定および起動 15.5. 最適化ゴールの概要 15.6. 最適化プロポーザルの概要 15.7. リバランスパフォーマンスチューニングの概要 15.8. Cruise Control の設定 15.9. 最適化プロポーザルの生成 15.10. クラスターリバランスの開始 15.11. アクティブなクラスターリバランスの停止 16. 分散トレース Expand section "16. 分散トレース" Collapse section "16. 分散トレース" 16.1. OpenTracing および Jaeger の概要 16.2. Kafka クライアントのトレーシング設定 Expand section "16.2. Kafka クライアントのトレーシング設定" Collapse section "16.2. Kafka クライアントのトレーシング設定" 16.2.1. Kafka クライアント用の Jaeger トレーサーの初期化 16.2.2. Kafka プロデューサーおよびコンシューマーをトレース用にインストルメント化 16.2.3. Kafka Streams アプリケーションのトレース用のインストルメント化 16.3. MirrorMaker および Kafka Connect のトレース設定 Expand section "16.3. MirrorMaker および Kafka Connect のトレース設定" Collapse section "16.3. MirrorMaker および Kafka Connect のトレース設定" 16.3.1. MirrorMaker のトレースの有効化 16.3.2. MirrorMaker 2.0 のトレースの有効化 16.3.3. Kafka Connect のトレースの有効化 16.4. Kafka Bridge のトレースの有効化 16.5. トレーシングの環境変数 17. Kafka Exporter Expand section "17. Kafka Exporter" Collapse section "17. Kafka Exporter" 17.1. コンシューマーラグ 17.2. Kafka Exporter アラートルールの例 17.3. Kafka Exporter メトリクス 17.4. Kafka Exporter の実行 17.5. Grafana での Kafka Exporter メトリクスの表示 18. AMQ Streams および Kafka のアップグレード Expand section "18. AMQ Streams および Kafka のアップグレード" Collapse section "18. AMQ Streams および Kafka のアップグレード" 18.1. アップグレードの前提条件 18.2. アップグレードプロセス 18.3. Kafka バージョン 18.4. AMQ Streams 1.6 へのアップグレード Expand section "18.4. AMQ Streams 1.6 へのアップグレード" Collapse section "18.4. AMQ Streams 1.6 へのアップグレード" 18.4.1. Kafka ブローカーおよび ZooKeeper のアップグレード 18.4.2. Kafka Connect のアップグレード 18.5. Kafka のアップグレード Expand section "18.5. Kafka のアップグレード" Collapse section "18.5. Kafka のアップグレード" 18.5.1. 新しいブローカー間プロトコルバージョンを使用するための Kafka ブローカーのアップグレード 18.5.2. クライアントをアップグレードするストラテジー 18.5.3. クライアントアプリケーションの新しい Kafka バージョンへのアップグレード 18.5.4. 新しいメッセージ形式バージョンを使用するための Kafka ブローカーのアップグレード 18.5.5. コンシューマーおよび Kafka Streams アプリケーションの Cooperative Rebalancing へのアップグレード A. ブローカー設定パラメーター B. トピック設定パラメーター C. コンシューマー設定パラメーター D. プロデューサー設定パラメーター E. 管理クライアント設定パラメーター F. Kafka Connect 設定パラメーター G. Kafka Streams 設定パラメーター H. サブスクリプションの使用 Settings Close Language: 日本語 English Language: 日本語 English Format: Multi-page Single-page PDF Format: Multi-page Single-page PDF Language and Page Formatting Options Language: 日本語 English Language: 日本語 English Format: Multi-page Single-page PDF Format: Multi-page Single-page PDF RHEL での AMQ Streams の使用 Red Hat AMQ 2020.Q4AMQ Streams 1.6 on Red Hat Enterprise Linux 向け概要 本ガイドでは、Red Hat AMQ Streams をインストール、設定、および管理して、大規模なメッセージングネットワークを構築する方法を説明します。 Next