Jump To Close Expand all Collapse all Table of contents RHEL での AMQ Streams の使用 1. AMQ Streams の概要 Expand section "1. AMQ Streams の概要" Collapse section "1. AMQ Streams の概要" 1.1. Kafka の機能 1.2. Kafka のユースケース 1.3. サポート対象の設定 1.4. 本書の表記慣例 2. スタートガイド Expand section "2. スタートガイド" Collapse section "2. スタートガイド" 2.1. AMQ Streams のディストリビューション 2.2. AMQ Streams アーカイブのダウンロード 2.3. AMQ Streams のインストール 2.4. データストレージに関する留意事項 Expand section "2.4. データストレージに関する留意事項" Collapse section "2.4. データストレージに関する留意事項" 2.4.1. Apache Kafka および ZooKeeper ストレージのサポート 2.4.2. ファイルシステム 2.5. 単一ノードの AMQ Streams クラスターの実行 2.6. クラスターの使用 2.7. AMQ Streams サービスの停止 2.8. AMQ Streams の設定 3. ZooKeeper の設定 Expand section "3. ZooKeeper の設定" Collapse section "3. ZooKeeper の設定" 3.1. 基本設定 3.2. ZooKeeper クラスター設定 3.3. マルチノードの ZooKeeper クラスターの実行 3.4. 認証 Expand section "3.4. 認証" Collapse section "3.4. 認証" 3.4.1. SASL を使用した認証 3.4.2. DIGEST-MD5 を使用したサーバー間の認証の有効化 3.4.3. DIGEST-MD5 を使用したクライアント/サーバー間の認証の有効化 3.5. 承認 3.6. TLS 3.7. その他の設定オプション 3.8. ロギング 4. Kafka の設定 Expand section "4. Kafka の設定" Collapse section "4. Kafka の設定" 4.1. ZooKeeper 4.2. リスナー 4.3. ログのコミット 4.4. ブローカー ID 4.5. マルチノードの Kafka クラスターの実行 4.6. ZooKeeper の認証 Expand section "4.6. ZooKeeper の認証" Collapse section "4.6. ZooKeeper の認証" 4.6.1. JAAS 設定 4.6.2. ZooKeeper 認証の有効化 4.7. 承認 Expand section "4.7. 承認" Collapse section "4.7. 承認" 4.7.1. シンプルな ACL オーソライザー Expand section "4.7.1. シンプルな ACL オーソライザー" Collapse section "4.7.1. シンプルな ACL オーソライザー" 4.7.1.1. ACL ルール 4.7.1.2. プリンシパル 4.7.1.3. ユーザーの認証 4.7.1.4. スーパーユーザー 4.7.1.5. レプリカブローカーの認証 4.7.1.6. サポートされるリソース 4.7.1.7. サポートされる操作 4.7.1.8. ACL 管理オプション 4.7.2. 承認の有効化 4.7.3. ACL ルールの追加 4.7.4. ACL ルールの一覧表示 4.7.5. ACL ルールの削除 4.8. ZooKeeper の承認 Expand section "4.8. ZooKeeper の承認" Collapse section "4.8. ZooKeeper の承認" 4.8.1. ACL 設定 4.8.2. 新しい Kafka クラスターでの ZooKeeper ACL の有効化 4.8.3. 既存の Kafka クラスターでの ZooKeeper ACL の有効化 4.9. 暗号化と認証 Expand section "4.9. 暗号化と認証" Collapse section "4.9. 暗号化と認証" 4.9.1. リスナーの設定 4.9.2. TLS 暗号化 4.9.3. TLS 暗号化の有効化 4.9.4. 認証 Expand section "4.9.4. 認証" Collapse section "4.9.4. 認証" 4.9.4.1. TLS クライアント認証 4.9.4.2. SASL 認証 4.9.5. TLS クライアント認証の有効化 4.9.6. SASL PLAIN 認証の有効化 4.9.7. SASL SCRAM 認証の有効化 4.9.8. SASL SCRAM ユーザーの追加 4.9.9. SASL SCRAM ユーザーの削除 4.10. OAuth 2.0 トークンベース認証の使用 Expand section "4.10. OAuth 2.0 トークンベース認証の使用" Collapse section "4.10. OAuth 2.0 トークンベース認証の使用" 4.10.1. OAuth 2.0 認証メカニズム Expand section "4.10.1. OAuth 2.0 認証メカニズム" Collapse section "4.10.1. OAuth 2.0 認証メカニズム" 4.10.1.1. プロパティーまたは変数を使用した OAuth 2.0 の設定 4.10.2. OAuth 2.0 Kafka ブローカーの設定 Expand section "4.10.2. OAuth 2.0 Kafka ブローカーの設定" Collapse section "4.10.2. OAuth 2.0 Kafka ブローカーの設定" 4.10.2.1. 承認サーバーの OAuth 2.0 クライアント設定 4.10.2.2. Kafka クラスターでの OAuth 2.0 認証設定 4.10.2.3. 高速なローカル JWT トークン検証の設定 4.10.2.4. OAuth 2.0 イントロスペクションエンドポイントの設定 4.10.3. OAuth 2.0 Kafka クライアントの設定 4.10.4. OAuth 2.0 のクライアント認証フロー Expand section "4.10.4. OAuth 2.0 のクライアント認証フロー" Collapse section "4.10.4. OAuth 2.0 のクライアント認証フロー" 4.10.4.1. クライアント認証フローの例 4.10.5. OAuth 2.0 認証の設定 Expand section "4.10.5. OAuth 2.0 認証の設定" Collapse section "4.10.5. OAuth 2.0 認証の設定" 4.10.5.1. OAuth 2.0 承認サーバーとしての Red Hat Single Sign-On の設定 4.10.5.2. Kafka ブローカーの OAuth 2.0 サポートの設定 4.10.5.3. OAuth 2.0 を使用するための Kafka Java クライアントの設定 4.11. OAuth 2.0 トークンベース承認の使用 Expand section "4.11. OAuth 2.0 トークンベース承認の使用" Collapse section "4.11. OAuth 2.0 トークンベース承認の使用" 4.11.1. OAuth 2.0 の承認メカニズム Expand section "4.11.1. OAuth 2.0 の承認メカニズム" Collapse section "4.11.1. OAuth 2.0 の承認メカニズム" 4.11.1.1. Kafka ブローカーのカスタムオーソライザー 4.11.2. OAuth 2.0 承認サポートの設定 4.12. ロギング 5. トピック Expand section "5. トピック" Collapse section "5. トピック" 5.1. パーティションおよびレプリカ 5.2. メッセージの保持 5.3. トピックの自動作成 5.4. トピックの削除 5.5. トピックの設定 5.6. 内部トピック 5.7. トピックの作成 5.8. トピックの一覧表示および説明 5.9. トピック設定の変更 5.10. トピックの削除 6. クラスターのスケーリング Expand section "6. クラスターのスケーリング" Collapse section "6. クラスターのスケーリング" 6.1. Kafka クラスターのスケーリング Expand section "6.1. Kafka クラスターのスケーリング" Collapse section "6.1. Kafka クラスターのスケーリング" 6.1.1. ブローカーのクラスターへの追加 6.1.2. クラスターからのブローカーの削除 6.2. パーティションの再割り当て Expand section "6.2. パーティションの再割り当て" Collapse section "6.2. パーティションの再割り当て" 6.2.1. 再割り当て JSON ファイル 6.2.2. 再割り当て JSON ファイルの生成 6.2.3. 手動による再割り当て JSON ファイルの作成 6.3. 再割り当てスロットル 6.4. Kafka クラスターのスケールアップ 6.5. Kafka クラスターのスケールダウン 6.6. ZooKeeper クラスターのスケールアップ 6.7. ZooKeeper クラスターのスケールダウン 7. JMX を使用したクラスターの監視 Expand section "7. JMX を使用したクラスターの監視" Collapse section "7. JMX を使用したクラスターの監視" 7.1. JMX 設定オプション 7.2. JMX エージェントの無効化 7.3. 別のマシンからの JVM への接続 7.4. JConsole を使用した監視 7.5. 重要な Kafka ブローカーメトリクス Expand section "7.5. 重要な Kafka ブローカーメトリクス" Collapse section "7.5. 重要な Kafka ブローカーメトリクス" 7.5.1. Kafka サーバーメトリクス 7.5.2. Kafka ネットワークメトリクス 7.5.3. Kafka ログメトリクス 7.5.4. Kafka コントローラーメトリクス 7.5.5. Yammer メトリクス 7.6. プロデューサー MBean Expand section "7.6. プロデューサー MBean" Collapse section "7.6. プロデューサー MBean" 7.6.1. kafka.producer:type=producer-metrics,client-id=* と一致する MBean 7.6.2. kafka.producer:type=producer-metrics,client-id=*,node-id=* と一致する MBean 7.6.3. kafka.producer:type=producer-topic-metrics,client-id=*,topic=* と一致する MBean 7.7. コンシューマー MBean Expand section "7.7. コンシューマー MBean" Collapse section "7.7. コンシューマー MBean" 7.7.1. kafka.consumer:type=consumer-metrics,client-id=* と一致する MBean 7.7.2. kafka.consumer:type=consumer-metrics,client-id=*,node-id=* と一致する MBean 7.7.3. kafka.consumer:type=consumer-coordinator-metrics,client-id=* と一致する MBean 7.7.4. kafka.consumer:type=consumer-fetch-manager-metrics,client-id=* と一致する MBean 7.7.5. kafka.consumer:type=consumer-fetch-manager-metrics,client-id=*,topic=* と一致する MBean 7.7.6. kafka.consumer:type=consumer-fetch-manager-metrics,client-id=*,topic=*,partition=* と一致する MBean 7.8. Kafka Connect MBean Expand section "7.8. Kafka Connect MBean" Collapse section "7.8. Kafka Connect MBean" 7.8.1. kafka.connect:type=connect-metrics,client-id=* と一致する MBean 7.8.2. kafka.connect:type=connect-metrics,client-id=*,node-id=* と一致する MBean 7.8.3. kafka.connect:type=connect-worker-metrics と一致する MBean 7.8.4. kafka.connect:type=connect-worker-rebalance-metrics と一致する MBean 7.8.5. kafka.connect:type=connector-metrics,connector=* と一致する MBean 7.8.6. kafka.connect:type=connector-task-metrics,connector=*,task=* と一致する MBean 7.8.7. kafka.connect:type=sink-task-metrics,connector=*,task=* と一致する MBean 7.8.8. kafka.connect:type=source-task-metrics,connector=*,task=* と一致する MBean 7.8.9. kafka.connect:type=task-error-metrics,connector=*,task=* と一致する MBean 7.9. Kafka Streams MBean Expand section "7.9. Kafka Streams MBean" Collapse section "7.9. Kafka Streams MBean" 7.9.1. kafka.streams:type=stream-metrics,client-id=* と一致する MBean 7.9.2. kafka.streams:type=stream-task-metrics,client-id=*,task-id=* と一致する MBean 7.9.3. kafka.streams:type=stream-processor-node-metrics,client-id=*,task-id=*,processor-node-id=* と一致する MBean 7.9.4. kafka.streams:type=stream-[store-scope]-metrics,client-id=*,task-id=*,[store-scope]-id=* と一致する MBean 7.9.5. kafka.streams:type=stream-record-cache-metrics,client-id=*,task-id=*,record-cache-id=* と一致する MBean 8. Kafka Connect Expand section "8. Kafka Connect" Collapse section "8. Kafka Connect" 8.1. スタンドアロンモードでの Kafka Connect Expand section "8.1. スタンドアロンモードでの Kafka Connect" Collapse section "8.1. スタンドアロンモードでの Kafka Connect" 8.1.1. スタンドアロンモードでの Kafka Connect の設定 8.1.2. スタンドアロンモードでの Kafka Connect でのコネクターの設定 8.1.3. スタンドアロンモードでの Kafka Connect の実行 8.2. 分散モードでの Kafka Connect Expand section "8.2. 分散モードでの Kafka Connect" Collapse section "8.2. 分散モードでの Kafka Connect" 8.2.1. 分散モードでの Kafka Connect の設定 8.2.2. 分散 Kafka Connect でのコネクターの設定 8.2.3. 分散 Kafka Connect の実行 8.2.4. コネクターの作成 8.2.5. コネクターの削除 8.3. コネクタープラグイン 8.4. コネクタープラグインの追加 9. AMQ Streams の MirrorMaker 2.0 との使用 Expand section "9. AMQ Streams の MirrorMaker 2.0 との使用" Collapse section "9. AMQ Streams の MirrorMaker 2.0 との使用" 9.1. MirrorMaker 2.0 データレプリケーション 9.2. クラスターの設定 Expand section "9.2. クラスターの設定" Collapse section "9.2. クラスターの設定" 9.2.1. 双方向レプリケーション 9.2.2. トピック設定の同期 9.2.3. データの整合性 9.2.4. オフセットの追跡 9.2.5. 接続性チェック 9.3. ACL ルールの同期 9.4. MirrorMaker 2.0 を使用した Kafka クラスター間でのデータの同期 9.5. レガシーモードでの MirrorMaker 2.0 の使用 10. Kafka クライアント Expand section "10. Kafka クライアント" Collapse section "10. Kafka クライアント" 10.1. Maven プロジェクトへの依存関係としての Kafka クライアントの追加 11. Kafka Streams API の概要 Expand section "11. Kafka Streams API の概要" Collapse section "11. Kafka Streams API の概要" 11.1. Maven プロジェクトへの依存関係としての Kafka Streams API の追加 12. Kafka Bridge Expand section "12. Kafka Bridge" Collapse section "12. Kafka Bridge" 12.1. Kafka Bridge の概要 Expand section "12.1. Kafka Bridge の概要" Collapse section "12.1. Kafka Bridge の概要" 12.1.1. 認証および暗号化 12.1.2. Kafka Bridge への要求 Expand section "12.1.2. Kafka Bridge への要求" Collapse section "12.1.2. Kafka Bridge への要求" 12.1.2.1. コンテンツタイプヘッダー 12.1.2.2. 埋め込みデータ形式 12.1.2.3. Accept ヘッダー 12.1.3. Kafka Bridge のロガーの設定 12.1.4. Kafka Bridge API リソース 12.1.5. Kafka Bridge アーカイブのダウンロード 12.1.6. Kafka Bridge プロパティーの設定 12.1.7. Kafka Bridge のインストール 12.2. Kafka Bridge クイックスタート Expand section "12.2. Kafka Bridge クイックスタート" Collapse section "12.2. Kafka Bridge クイックスタート" 12.2.1. Kafka Bridge のローカルデプロイメント 12.2.2. トピックおよびパーティションへのメッセージの作成 12.2.3. Kafka Bridge コンシューマーの作成 12.2.4. Kafka Bridge コンシューマーのトピックへのサブスクライブ 12.2.5. Kafka Bridge コンシューマーからの最新メッセージの取得 12.2.6. ログへのオフセットのコミット 12.2.7. パーティションのオフセットのシーク 12.2.8. Kafka Bridge コンシューマーの削除 13. Cruise Control によるクラスターのリバランス Expand section "13. Cruise Control によるクラスターのリバランス" Collapse section "13. Cruise Control によるクラスターのリバランス" 13.1. Cruise Control とは 13.2. Cruise Control アーカイブのダウンロード 13.3. Cruise Control Metrics Reporter のデプロイ 13.4. Cruise Control の設定および起動 13.5. 最適化ゴールの概要 13.6. 最適化プロポーザルの概要 13.7. Cruise Control の設定 13.8. 最適化プロポーザルの生成 13.9. クラスターリバランスの開始 13.10. アクティブなクラスターリバランスの停止 14. 分散トレース Expand section "14. 分散トレース" Collapse section "14. 分散トレース" 14.1. 分散トレースの概要 Expand section "14.1. 分散トレースの概要" Collapse section "14.1. 分散トレースの概要" 14.1.1. OpenTracing と Jaeger 14.2. トレース用の Kafka クライアントの設定 Expand section "14.2. トレース用の Kafka クライアントの設定" Collapse section "14.2. トレース用の Kafka クライアントの設定" 14.2.1. Kafka クライアントの Jaeger トレーサを有効にする 14.2.2. トレーシングのための Kafka Producer および Consumer のインストルメント化 Expand section "14.2.2. トレーシングのための Kafka Producer および Consumer のインストルメント化" Collapse section "14.2.2. トレーシングのための Kafka Producer および Consumer のインストルメント化" 14.2.2.1. Decorator パターンのカスタムスパン名 14.2.2.2. ビルトインスパン名 14.2.3. Kafka Streams アプリケーションのトレース用のインストルメント化 14.3. MirrorMaker と Kafka Connect をトレース用に設定する Expand section "14.3. MirrorMaker と Kafka Connect をトレース用に設定する" Collapse section "14.3. MirrorMaker と Kafka Connect をトレース用に設定する" 14.3.1. MirrorMaker のトレースの有効化 14.3.2. Kafka Connect のトレースの有効化 14.4. Kafka Bridge のトレースの有効化 14.5. トレーシング環境変数 15. Kafka Exporter Expand section "15. Kafka Exporter" Collapse section "15. Kafka Exporter" 15.1. コンシューマーラグ 15.2. Kafka Exporter アラートルールの例 15.3. Kafka Exporter メトリクス 15.4. Kafka Exporter の実行 15.5. Grafana での Kafka Exporter メトリクスの表示 16. AMQ Streams および Kafka のアップグレード Expand section "16. AMQ Streams および Kafka のアップグレード" Collapse section "16. AMQ Streams および Kafka のアップグレード" 16.1. アップグレードの前提条件 16.2. アップグレードプロセス 16.3. Kafka バージョン 16.4. AMQ Streams 1.5 へのアップグレード Expand section "16.4. AMQ Streams 1.5 へのアップグレード" Collapse section "16.4. AMQ Streams 1.5 へのアップグレード" 16.4.1. ZooKeeper のアップグレード 16.4.2. Kafka ブローカーのアップグレード 16.4.3. Kafka Connect のアップグレード 16.5. Kafka のアップグレード Expand section "16.5. Kafka のアップグレード" Collapse section "16.5. Kafka のアップグレード" 16.5.1. 新しいブローカー間プロトコルバージョンを使用するための Kafka ブローカーのアップグレード 16.5.2. クライアントをアップグレードするストラテジー 16.5.3. クライアントアプリケーションを新しい Kafka バージョンにアップグレードする 16.5.4. コンシューマーおよび Kafka Streams アプリケーションの Cooperative Rebalancing へのアップグレード 16.5.5. 新しいメッセージ形式バージョンを使用するための Kafka ブローカーのアップグレード A. ブローカー設定パラメーター B. トピック設定パラメーター C. コンシューマー設定パラメーター D. プロデューサー設定パラメーター E. 管理クライアント設定パラメーター F. Kafka Connect 設定パラメーター G. Kafka Streams 設定パラメーター H. サブスクリプションの使用 Settings Close Language: 日本語 English Language: 日本語 English Format: Multi-page Single-page PDF Format: Multi-page Single-page PDF Language and Page Formatting Options Language: 日本語 English Language: 日本語 English Format: Multi-page Single-page PDF Format: Multi-page Single-page PDF 16.2. アップグレードプロセス AMQ Streams のアップグレードは 2 段階のプロセスで行います。ダウンタイムなしでブローカーとクライアントをアップグレードするには、以下の順序でアップグレード手順を 必ず 完了してください。 最新の AMQ Streams バージョンにアップグレードします。 AMQ Streams 1.5 へのアップグレード すべての Kafka ブローカーとクライアントアプリケーションを、最新の Kafka バージョンにアップグレードします。 Kafka のアップグレード Previous Next