Jump To Close Expand all Collapse all Table of contents 『Using AMQ Streams on RHEL』 多様性を受け入れるオープンソースの強化 1. AMQ Streams の概要 Expand section "1. AMQ Streams の概要" Collapse section "1. AMQ Streams の概要" 1.1. Kafka の機能 1.2. Kafka のユースケース 1.3. サポートされる構成 1.4. ドキュメントの規則 2. スタートガイド Expand section "2. スタートガイド" Collapse section "2. スタートガイド" 2.1. AMQ Streams ディストリビューション 2.2. AMQ Streams アーカイブのダウンロード 2.3. AMQ Streams のインストール 2.4. データストレージに関する留意事項 Expand section "2.4. データストレージに関する留意事項" Collapse section "2.4. データストレージに関する留意事項" 2.4.1. Apache Kafka および ZooKeeper ストレージのサポート 2.4.2. ファイルシステム 2.5. 単一ノードの AMQ Streams クラスターの実行 2.6. クラスターの使用 2.7. AMQ Streams サービスの停止 2.8. AMQ Streams の設定 3. ZooKeeper の設定 Expand section "3. ZooKeeper の設定" Collapse section "3. ZooKeeper の設定" 3.1. 基本設定 3.2. ZooKeeper クラスターの設定 3.3. マルチノードの ZooKeeper クラスターの実行 3.4. 認証 Expand section "3.4. 認証" Collapse section "3.4. 認証" 3.4.1. SASL での認証 3.4.2. DIGEST-MD5 を使用したサーバー間の認証の有効化 3.4.3. DIGEST-MD5 を使用したクライアント間の認証の有効化 3.5. 承認 3.6. TLS 3.7. 追加の設定オプション 3.8. ログ 4. Kafka の設定 Expand section "4. Kafka の設定" Collapse section "4. Kafka の設定" 4.1. ZooKeeper 4.2. リスナー 4.3. ログのコミット 4.4. Broker ID 4.5. マルチノードの Kafka クラスターの実行 4.6. ZooKeeper の認証 Expand section "4.6. ZooKeeper の認証" Collapse section "4.6. ZooKeeper の認証" 4.6.1. JAAS 設定 4.6.2. ZooKeeper 認証の有効化 4.7. 承認 Expand section "4.7. 承認" Collapse section "4.7. 承認" 4.7.1. シンプル ACL オーソライザー Expand section "4.7.1. シンプル ACL オーソライザー" Collapse section "4.7.1. シンプル ACL オーソライザー" 4.7.1.1. ACL ルール 4.7.1.2. principals 4.7.1.3. ユーザーの認証 4.7.1.4. スーパーユーザー 4.7.1.5. レプリカブローカーの認証 4.7.1.6. サポートされるリソース 4.7.1.7. サポートされる演算 4.7.1.8. ACL 管理オプション 4.7.2. 承認の有効化 4.7.3. ACL ルールの追加 4.7.4. ACL ルールの一覧表示 4.7.5. ACL ルールの削除 4.8. ZooKeeper の承認 Expand section "4.8. ZooKeeper の承認" Collapse section "4.8. ZooKeeper の承認" 4.8.1. ACL 設定 4.8.2. 新しい Kafka クラスターの ZooKeeper ACL の有効化 4.8.3. 既存の Kafka クラスターでの ZooKeeper ACL の有効化 4.9. 暗号化および認証 Expand section "4.9. 暗号化および認証" Collapse section "4.9. 暗号化および認証" 4.9.1. リスナーの設定 4.9.2. TLS 暗号化 4.9.3. TLS 暗号化の有効化 4.9.4. 認証 Expand section "4.9.4. 認証" Collapse section "4.9.4. 認証" 4.9.4.1. TLS クライアント認証 4.9.4.2. SASL 認証 4.9.5. TLS クライアント認証の有効化 4.9.6. SASL PLAIN 認証の有効化 4.9.7. SASL SCRAM 認証の有効化 4.9.8. SASL SCRAM ユーザーの追加 4.9.9. SASL SCRAM ユーザーの削除 4.10. OAuth 2.0 トークンベース認証の使用 Expand section "4.10. OAuth 2.0 トークンベース認証の使用" Collapse section "4.10. OAuth 2.0 トークンベース認証の使用" 4.10.1. OAuth 2.0 認証メカニズム Expand section "4.10.1. OAuth 2.0 認証メカニズム" Collapse section "4.10.1. OAuth 2.0 認証メカニズム" 4.10.1.1. プロパティーまたは変数での OAuth 2.0 の設定 4.10.2. OAuth 2.0 Kafka ブローカーの設定 Expand section "4.10.2. OAuth 2.0 Kafka ブローカーの設定" Collapse section "4.10.2. OAuth 2.0 Kafka ブローカーの設定" 4.10.2.1. 承認サーバーの OAuth 2.0 クライアント設定 4.10.2.2. Kafka クラスターでの OAuth 2.0 認証設定 4.10.2.3. 高速なローカル JWT トークン検証の設定 4.10.2.4. OAuth 2.0 イントロスペクションエンドポイントの設定 4.10.3. Kafka ブローカーの再認証の設定 4.10.4. OAuth 2.0 Kafka クライアントの設定 4.10.5. OAuth 2.0 のクライアント認証フロー Expand section "4.10.5. OAuth 2.0 のクライアント認証フロー" Collapse section "4.10.5. OAuth 2.0 のクライアント認証フロー" 4.10.5.1. クライアント認証フローの例 4.10.6. OAuth 2.0 認証の設定 Expand section "4.10.6. OAuth 2.0 認証の設定" Collapse section "4.10.6. OAuth 2.0 認証の設定" 4.10.6.1. OAuth 2.0 承認サーバーとしての Red Hat Single Sign-On の設定 4.10.6.2. Kafka ブローカーの OAuth 2.0 サポートの設定 4.10.6.3. OAuth 2.0 を使用するよう Kafka Java クライアントを設定 4.11. OAuth 2.0 トークンベース承認の使用 Expand section "4.11. OAuth 2.0 トークンベース承認の使用" Collapse section "4.11. OAuth 2.0 トークンベース承認の使用" 4.11.1. OAuth 2.0 の承認メカニズム Expand section "4.11.1. OAuth 2.0 の承認メカニズム" Collapse section "4.11.1. OAuth 2.0 の承認メカニズム" 4.11.1.1. Kafka ブローカーのカスタムオーソライザー 4.11.2. OAuth 2.0 承認サポートの設定 4.12. OPA ポリシーベースの承認の使用 Expand section "4.12. OPA ポリシーベースの承認の使用" Collapse section "4.12. OPA ポリシーベースの承認の使用" 4.12.1. OPA ポリシーの定義 4.12.2. OPA への接続 4.12.3. OPA 承認サポートの設定 4.13. ログ Expand section "4.13. ログ" Collapse section "4.13. ログ" 4.13.1. Kafka ブローカーロガーのロギングレベルを動的に変更 5. トピック Expand section "5. トピック" Collapse section "5. トピック" 5.1. パーティションおよびレプリカ 5.2. メッセージの保持 5.3. トピックの自動作成 5.4. トピックの削除 5.5. トピックの設定 5.6. 内部トピック 5.7. トピックの作成 5.8. トピックの一覧表示と説明 5.9. トピック設定の変更 5.10. トピックの削除 6. クライアント設定のチューニング Expand section "6. クライアント設定のチューニング" Collapse section "6. クライアント設定のチューニング" 6.1. Kafka プロデューサー設定のチューニング Expand section "6.1. Kafka プロデューサー設定のチューニング" Collapse section "6.1. Kafka プロデューサー設定のチューニング" 6.1.1. 基本のプロデューサー設定 6.1.2. データの持続性 6.1.3. 順序付き配信 6.1.4. 信頼性の保証 6.1.5. スループットおよびレイテンシーの最適化 6.2. Kafka コンシューマー設定の調整 Expand section "6.2. Kafka コンシューマー設定の調整" Collapse section "6.2. Kafka コンシューマー設定の調整" 6.2.1. 基本的なコンシューマー設定 6.2.2. コンシューマーグループを使用したデータ消費のスケーリング 6.2.3. メッセージの順序の保証 6.2.4. スループットおよびレイテンシーの最適化 6.2.5. オフセットをコミットする際のデータ損失または重複の回避 Expand section "6.2.5. オフセットをコミットする際のデータ損失または重複の回避" Collapse section "6.2.5. オフセットをコミットする際のデータ損失または重複の回避" 6.2.5.1. トランザクションメッセージの制御 6.2.6. データ損失を回避するための障害からの復旧 6.2.7. オフセットポリシーの管理 6.2.8. リバランスの影響を最小限にする 7. クラスターのスケーリング Expand section "7. クラスターのスケーリング" Collapse section "7. クラスターのスケーリング" 7.1. Kafka クラスターのスケーリング Expand section "7.1. Kafka クラスターのスケーリング" Collapse section "7.1. Kafka クラスターのスケーリング" 7.1.1. ブローカーのクラスターへの追加 7.1.2. クラスターからのブローカーの削除 7.2. パーティションの再割り当て Expand section "7.2. パーティションの再割り当て" Collapse section "7.2. パーティションの再割り当て" 7.2.1. 再割り当て JSON ファイル 7.2.2. 再割り当て JSON ファイルの生成 7.2.3. 手動による再割り当て JSON ファイルの作成 7.3. 再割り当てスロットル 7.4. Kafka クラスターのスケールアップ 7.5. Kafka クラスターのスケールダウン 7.6. ZooKeeper クラスターのスケールアップ 7.7. ZooKeeper クラスターのスケールダウン 8. JMX を使用したクラスターの監視 Expand section "8. JMX を使用したクラスターの監視" Collapse section "8. JMX を使用したクラスターの監視" 8.1. JMX 設定オプション 8.2. JMX エージェントの無効化 8.3. 別のマシンからの JVM への接続 8.4. JConsole を使用した監視 8.5. 重要な Kafka ブローカーメトリクス Expand section "8.5. 重要な Kafka ブローカーメトリクス" Collapse section "8.5. 重要な Kafka ブローカーメトリクス" 8.5.1. Kafka サーバーメトリクス 8.5.2. Kafka ネットワークメトリクス 8.5.3. Kafka ログメトリクス 8.5.4. Kafka コントローラーメトリクス 8.5.5. Yammer メトリクス 8.6. プロデューサー MBean Expand section "8.6. プロデューサー MBean" Collapse section "8.6. プロデューサー MBean" 8.6.1. mbean matching kafka.producer:type=producer-metrics,client-id=* 8.6.2. mbean matching kafka.producer:type=producer-metrics,client-id=*,node-id=* 8.6.3. mbean matching kafka.producer:type=producer-topic-metrics,client-id=*,topic=* 8.7. コンシューマー MBean Expand section "8.7. コンシューマー MBean" Collapse section "8.7. コンシューマー MBean" 8.7.1. mbean matching kafka.consumer:type=consumer-metrics,client-id=* 8.7.2. mbean matching kafka.consumer:type=consumer-metrics,client-id=*,node-id=* 8.7.3. mbean matching kafka.consumer:type=consumer-coordinator-metrics,client-id=* 8.7.4. mbean matching kafka.consumer:type=consumer-fetch-manager-metrics,client-id=* 8.7.5. mbean matching kafka.consumer:type=consumer-fetch-manager-metrics,client-id=*,topic=* 8.7.6. mbean matching kafka.consumer:type=consumer-fetch-manager-metrics,client-id=*,topic=*,partition=* 8.8. Kafka Connect MBean Expand section "8.8. Kafka Connect MBean" Collapse section "8.8. Kafka Connect MBean" 8.8.1. mbean matching kafka.connect:type=connect-metrics,client-id=* 8.8.2. mbean matching kafka.connect:type=connect-metrics,client-id=*,node-id=* 8.8.3. mbean matching kafka.connect:type=connect-worker-metrics 8.8.4. mbean matching kafka.connect:type=connect-worker-rebalance-metrics 8.8.5. mbean matching kafka.connect:type=connector-metrics,connector=* 8.8.6. mbean matching kafka.connect:type=connector-task-metrics,connector=*,task=* 8.8.7. mbean matching kafka.connect:type=sink-task-metrics,connector=*,task=* 8.8.8. mbean matching kafka.connect:type=source-task-metrics,connector=*,task=* 8.8.9. mbean matching kafka.connect:type=task-error-metrics,connector=*,task=* 8.9. Kafka Streams MBean Expand section "8.9. Kafka Streams MBean" Collapse section "8.9. Kafka Streams MBean" 8.9.1. mbean matching kafka.streams:type=stream-metrics,client-id=* 8.9.2. mbean matching kafka.streams:type=stream-task-metrics,client-id=*,task-id=* 8.9.3. mbean matching kafka.streams:type=stream-processor-node-metrics,client-id=*,task-id=*,processor-node-id=* 8.9.4. mbean matching kafka.streams:type=stream-[store-scope]-metrics,client-id=*,task-id=*,[store-scope]-id=* 8.9.5. mbean matching kafka.streams:type=stream-record-cache-metrics,client-id=*,task-id=*,record-cache-id=* 9. Kafka Connect Expand section "9. Kafka Connect" Collapse section "9. Kafka Connect" 9.1. スタンドアロンモードでの Kafka Connect Expand section "9.1. スタンドアロンモードでの Kafka Connect" Collapse section "9.1. スタンドアロンモードでの Kafka Connect" 9.1.1. スタンドアロンモードでの Kafka Connect の設定 9.1.2. スタンドアロンモードでの Kafka Connect でのコネクターの設定 9.1.3. スタンドアロンモードでの Kafka Connect の実行 9.2. 「Kafka Connect in distributed mode」 Expand section "9.2. 「Kafka Connect in distributed mode」" Collapse section "9.2. 「Kafka Connect in distributed mode」" 9.2.1. 分散モードでの Kafka Connect の設定 9.2.2. 分散 Kafka Connect でのコネクターの設定 9.2.3. 分散 Kafka Connect の実行 9.2.4. コネクターの作成 9.2.5. コネクターの削除 9.3. コネクタープラグイン 9.4. 「Adding connector plugins」 10. AMQ Streams の MirrorMaker 2.0 との使用 Expand section "10. AMQ Streams の MirrorMaker 2.0 との使用" Collapse section "10. AMQ Streams の MirrorMaker 2.0 との使用" 10.1. MirrorMaker 2.0 データレプリケーション 10.2. クラスターの設定 Expand section "10.2. クラスターの設定" Collapse section "10.2. クラスターの設定" 10.2.1. 双方向レプリケーション (active/active) 10.2.2. 一方向レプリケーション (active/passive) 10.2.3. トピック設定の同期 10.2.4. データの整合性 10.2.5. オフセットの追跡 10.2.6. コンシューマーグループオフセットの同期 10.2.7. 接続性チェック 10.3. ACL ルールの同期 10.4. MirrorMaker 2.0 を使用した Kafka クラスター間でのデータの同期 10.5. レガシーモードでの MirrorMaker 2.0 の使用 11. Kafka クライアント Expand section "11. Kafka クライアント" Collapse section "11. Kafka クライアント" 11.1. Kafka クライアントを依存関係として Maven プロジェクトに追加 12. Kafka Streams API の概要 Expand section "12. Kafka Streams API の概要" Collapse section "12. Kafka Streams API の概要" 12.1. Kafka Streams API を依存関係として Maven プロジェクトに追加 13. Kafka Bridge Expand section "13. Kafka Bridge" Collapse section "13. Kafka Bridge" 13.1. Kafka Bridge の概要 Expand section "13.1. Kafka Bridge の概要" Collapse section "13.1. Kafka Bridge の概要" 13.1.1. 認証および暗号化 13.1.2. Kafka Bridge へのリクエスト Expand section "13.1.2. Kafka Bridge へのリクエスト" Collapse section "13.1.2. Kafka Bridge へのリクエスト" 13.1.2.1. コンテンツタイプヘッダー 13.1.2.2. 埋め込みデータ形式 13.1.2.3. メッセージの形式 13.1.2.4. Accept ヘッダー 13.1.3. Kafka Bridge のロガーの設定 13.1.4. Kafka Bridge API リソース 13.1.5. Kafka Bridge アーカイブのダウンロード 13.1.6. Kafka Bridge プロパティーの設定 13.1.7. Kafka Bridge のインストール 13.2. Kafka Bridge クイックスタート Expand section "13.2. Kafka Bridge クイックスタート" Collapse section "13.2. Kafka Bridge クイックスタート" 13.2.1. Kafka Bridge のローカルでのデプロイメント 13.2.2. トピックおよびパーティションへのメッセージの作成 13.2.3. Kafka Bridge コンシューマーの作成 13.2.4. Kafka Bridge コンシューマーのトピックへのサブスクライブ 13.2.5. Kafka Bridge コンシューマーからの最新メッセージの取得 13.2.6. ログへのオフセットのコミット 13.2.7. パーティションのオフセットのシーク 13.2.8. Kafka Bridge コンシューマーの削除 14. Kerberos(GSSAPI)認証の使用 Expand section "14. Kerberos(GSSAPI)認証の使用" Collapse section "14. Kerberos(GSSAPI)認証の使用" 14.1. Kerberos(GSSAPI)認証を使用するように AMQ Streams を設定する 15. Cruise Control によるクラスターのリバランス Expand section "15. Cruise Control によるクラスターのリバランス" Collapse section "15. Cruise Control によるクラスターのリバランス" 15.1. Cruise Control とは 15.2. Cruise Control アーカイブのダウンロード 15.3. Cruise Control の Metrics Reporter のデプロイ 15.4. Cruise Control の設定および起動 15.5. 最適化ゴールの概要 15.6. 最適化プロポーザルの概要 15.7. リバランスパフォーマンスチューニングの概要 15.8. Cruise Control の設定 15.9. 最適化プロポーザルの生成 15.10. クラスターリバランスの開始 15.11. アクティブなクラスターリバランスの停止 16. 分散トレーシング Expand section "16. 分散トレーシング" Collapse section "16. 分散トレーシング" 16.1. OpenTracing および Jaeger の概要 16.2. Kafka クライアントのトレーシング設定 Expand section "16.2. Kafka クライアントのトレーシング設定" Collapse section "16.2. Kafka クライアントのトレーシング設定" 16.2.1. Kafka クライアント用の Jaeger トレーサーの初期化 16.2.2. トレーシングのための Kafka プロデューサーおよびコンシューマーのインストルメント化 16.2.3. Kafka Streams アプリケーションのトレーシングのインストルメント化 16.3. MirrorMaker および Kafka Connect のトレース設定 Expand section "16.3. MirrorMaker および Kafka Connect のトレース設定" Collapse section "16.3. MirrorMaker および Kafka Connect のトレース設定" 16.3.1. MirrorMaker のトレースの有効化 16.3.2. MirrorMaker 2.0 のトレースの有効化 16.3.3. Kafka Connect のトレースの有効化 16.4. Kafka Bridge のトレースの有効化 16.5. トレーシングの環境変数 17. Kafka Exporter Expand section "17. Kafka Exporter" Collapse section "17. Kafka Exporter" 17.1. コンシューマーラグ 17.2. Kafka Exporter アラートルールの例 17.3. Kafka Exporter メトリクス 17.4. Kafka Exporter の実行 17.5. Grafana での Kafka Exporter メトリクスの表示 18. AMQ Streams および Kafka のアップグレード Expand section "18. AMQ Streams および Kafka のアップグレード" Collapse section "18. AMQ Streams および Kafka のアップグレード" 18.1. アップグレードの前提条件 18.2. アップグレードプロセス 18.3. Kafka バージョン 18.4. AMQ Streams 1.7 へのアップグレード Expand section "18.4. AMQ Streams 1.7 へのアップグレード" Collapse section "18.4. AMQ Streams 1.7 へのアップグレード" 18.4.1. Kafka ブローカーおよび ZooKeeper のアップグレード 18.4.2. Kafka Connect のアップグレード 18.5. Kafka のアップグレード Expand section "18.5. Kafka のアップグレード" Collapse section "18.5. Kafka のアップグレード" 18.5.1. 新しいブローカー間プロトコルバージョンを使用するように Kafka ブローカーのアップグレード 18.5.2. クライアントをアップグレードするストラテジー 18.5.3. クライアントアプリケーションの新しい Kafka バージョンへのアップグレード 18.5.4. 新しいメッセージ形式バージョンを使用するように Kafka ブローカーのアップグレード 18.5.5. コンシューマーおよび Kafka Streams アプリケーションの Cooperative Rebalancing へのアップグレード A. ブローカー設定パラメーター B. トピック設定パラメーター C. コンシューマー設定パラメーター D. プロデューサー設定パラメーター E. 管理クライアント設定パラメーター F. Kafka Connect 設定パラメーター G. Kafka Streams の設定パラメーター H. サブスクリプションの使用 Settings Close Language: 日本語 English Language: 日本語 English Format: Multi-page Single-page PDF Format: Multi-page Single-page PDF Language and Page Formatting Options Language: 日本語 English Language: 日本語 English Format: Multi-page Single-page PDF Format: Multi-page Single-page PDF 3.6. TLS ZooKeeper は暗号化または認証に対して TLS をサポートします。 Previous Next