Jump To Close Expand all Collapse all Table of contents Debezium ユーザーガイド はじめに 1. Debezium の概要 Expand section "1. Debezium の概要" Collapse section "1. Debezium の概要" 1.1. Debezium の機能 1.2. Debezium アーキテクチャーの説明 2. MySQL の Debezium コネクター Expand section "2. MySQL の Debezium コネクター" Collapse section "2. MySQL の Debezium コネクター" 2.1. Debezium MySQL コネクターの仕組み Expand section "2.1. Debezium MySQL コネクターの仕組み" Collapse section "2.1. Debezium MySQL コネクターの仕組み" 2.1.1. Debezium コネクターでサポートされる MySQL トポロジー 2.1.2. Debezium MySQL コネクターによるデータベーススキーマの変更の処理方法 2.1.3. Debezium MySQL コネクターによるデータベーススキーマの変更の公開方法 2.1.4. Debezium MySQL コネクターによるデータベーススナップショットの実行方法 2.1.5. Debezium MySQL 変更イベントレコードを受信する Kafka トピックのデフォルト名 2.2. Debezium MySQL コネクターのデータ変更イベントの説明 Expand section "2.2. Debezium MySQL コネクターのデータ変更イベントの説明" Collapse section "2.2. Debezium MySQL コネクターのデータ変更イベントの説明" 2.2.1. Debezium MySQL 変更イベントのキー 2.2.2. Debezium MySQL 変更イベントの値 2.3. Debezium MySQL コネクターによるデータ型のマッピング方法 2.4. Debezium コネクターを実行するための MySQL の設定 Expand section "2.4. Debezium コネクターを実行するための MySQL の設定" Collapse section "2.4. Debezium コネクターを実行するための MySQL の設定" 2.4.1. Debezium コネクターの MySQL ユーザーの作成 2.4.2. Debezium の MySQL binlog の有効化 2.4.3. Debezium の MySQL グローバルトランザクション識別子の有効化 2.4.4. Debezium の MySQL セッションタイムアウトの設定 2.4.5. Debezium MySQL コネクターのクエリーログイベントの有効化 2.5. Debezium MySQL コネクターのデプロイメント Expand section "2.5. Debezium MySQL コネクターのデプロイメント" Collapse section "2.5. Debezium MySQL コネクターのデプロイメント" 2.5.1. Debezium MySQL コネクターのデプロイ 2.5.2. Debezium MySQL コネクター設定プロパティーの説明 2.6. Debezium MySQL コネクターのパフォーマンスの監視 Expand section "2.6. Debezium MySQL コネクターのパフォーマンスの監視" Collapse section "2.6. Debezium MySQL コネクターのパフォーマンスの監視" 2.6.1. MySQL データベースのスナップショット作成時の Debezium の監視 2.6.2. Debezium MySQL コネクターの binlog 読み取りの監視 2.6.3. Debezium MySQL コネクターのスキーマ履歴の監視 2.7. Debezium MySQL コネクターによる障害および問題の処理方法 3. PostgreSQL の Debezium コネクター Expand section "3. PostgreSQL の Debezium コネクター" Collapse section "3. PostgreSQL の Debezium コネクター" 3.1. Debezium PostgreSQL コネクターの概要 3.2. Debezium PostgreSQL コネクターの仕組み Expand section "3.2. Debezium PostgreSQL コネクターの仕組み" Collapse section "3.2. Debezium PostgreSQL コネクターの仕組み" 3.2.1. PostgreSQL コネクターのセキュリティー 3.2.2. Debezium PostgreSQL コネクターによるデータベーススナップショットの実行方法 3.2.3. Debezium PostgreSQL コネクターによる変更イベントレコードのストリーミング方法 3.2.4. Debezium PostgreSQL の変更イベントレコードを受信する Kafka トピックのデフォルト名 3.2.5. Debezium PostgreSQL 変更イベントレコードのメタデータ 3.2.6. トランザクション境界を表す Debezium PostgreSQL コネクターによって生成されたイベント 3.3. Debezium PostgreSQL コネクターのデータ変更イベントの説明 Expand section "3.3. Debezium PostgreSQL コネクターのデータ変更イベントの説明" Collapse section "3.3. Debezium PostgreSQL コネクターのデータ変更イベントの説明" 3.3.1. Debezium PostgreSQL の変更イベントのキー 3.3.2. Debezium PostgreSQL 変更イベントの値 3.4. Debezium PostgreSQL コネクターによるデータ型のマッピング方法 3.5. Debezium コネクターを実行するための PostgreSQL の設定 Expand section "3.5. Debezium コネクターを実行するための PostgreSQL の設定" Collapse section "3.5. Debezium コネクターを実行するための PostgreSQL の設定" 3.5.1. Debezium pgoutput プラグインのレプリケーションスロットの設定 3.5.2. Debezium コネクターの PostgreSQL パーミッションの設定 3.5.3. Debezium が PostgreSQL パブリケーションを作成できるように権限を設定 3.5.4. Debezium コネクターホストでのレプリケーションを許可するように PostgreSQL を設定 3.5.5. Debezium WAL ディスク領域の消費を管理するための PostgreSQL の設定 3.6. Debezium PostgreSQL コネクターのデプロイメント Expand section "3.6. Debezium PostgreSQL コネクターのデプロイメント" Collapse section "3.6. Debezium PostgreSQL コネクターのデプロイメント" 3.6.1. Debezium PostgreSQL コネクターのデプロイ 3.6.2. Debezium PostgreSQL コネクター設定プロパティーの説明 3.7. Debezium PostgreSQL コネクターのパフォーマンスの監視 Expand section "3.7. Debezium PostgreSQL コネクターのパフォーマンスの監視" Collapse section "3.7. Debezium PostgreSQL コネクターのパフォーマンスの監視" 3.7.1. PostgreSQL データベースのスナップショット作成時の Debezium の監視 3.7.2. Debezium PostgreSQL コネクターレコードストリーミングの監視 3.8. Debezium PostgreSQL コネクターによる障害および問題の処理方法 4. MongoDB の Debezium コネクター Expand section "4. MongoDB の Debezium コネクター" Collapse section "4. MongoDB の Debezium コネクター" 4.1. 概要 4.2. MongoDB の設定 4.3. サポートされる MongoDB トポロジー Expand section "4.3. サポートされる MongoDB トポロジー" Collapse section "4.3. サポートされる MongoDB トポロジー" 4.3.1. MongoDB レプリカセット 4.3.2. MongoDB のシャードクラスター 4.3.3. MongoDB スタンドアロンサーバー 4.4. MongoDB コネクターの仕組み Expand section "4.4. MongoDB コネクターの仕組み" Collapse section "4.4. MongoDB コネクターの仕組み" 4.4.1. 論理コネクター名 4.4.2. スナップショットの実行 4.4.3. 変更のストリーミング 4.4.4. トピック名 4.4.5. パーティション 4.4.6. データ変更イベント Expand section "4.4.6. データ変更イベント" Collapse section "4.4.6. データ変更イベント" 4.4.6.1. 変更イベントキー 4.4.6.2. 変更イベントの値 4.4.6.3. 作成 イベント 4.4.6.4. 更新イベント 4.4.6.5. 削除 イベント 4.4.7. トランザクションメタデータ Expand section "4.4.7. トランザクションメタデータ" Collapse section "4.4.7. トランザクションメタデータ" 4.4.7.1. トランザクション境界 4.4.7.2. データイベントのエンリッチメント 4.5. Deploying the MongoDB connector Expand section "4.5. Deploying the MongoDB connector" Collapse section "4.5. Deploying the MongoDB connector" 4.5.1. 設定例 4.5.2. コネクター設定の追加 4.5.3. 監視 Expand section "4.5.3. 監視" Collapse section "4.5.3. 監視" 4.5.3.1. スナップショットメトリクス 4.5.3.2. ストリーミングメトリクス 4.5.4. コネクタープロパティー 4.6. MongoDB コネクターの一般的な問題 Expand section "4.6. MongoDB コネクターの一般的な問題" Collapse section "4.6. MongoDB コネクターの一般的な問題" 4.6.1. 設定および起動エラー 4.6.2. MongoDB が使用不可能になる 4.6.3. Kafka Connect のプロセスは正常に停止する 4.6.4. Kafka Connect プロセスのクラッシュ 4.6.5. Kafka が使用不可能になる 4.6.6. コネクターの一定期間の停止 4.6.7. MongoDB による書き込みの損失 5. SQL Server の Debezium コネクター Expand section "5. SQL Server の Debezium コネクター" Collapse section "5. SQL Server の Debezium コネクター" 5.1. Debezium SQL Server コネクターの概要 5.2. Debezium SQL Server コネクターの仕組み Expand section "5.2. Debezium SQL Server コネクターの仕組み" Collapse section "5.2. Debezium SQL Server コネクターの仕組み" 5.2.1. Debezium SQL Sever コネクターによるデータベーススナップショットの実行方法 5.2.2. Debezium SQL Server コネクターによる変更データテーブルの読み取り方法 5.2.3. Debezium SQL Server 変更イベントレコードを受信する Kafka トピックのデフォルト名 5.2.4. Debezium SQL Server コネクターによるスキーマ変更トピックの使用方法 5.2.5. Debezium SQL Server コネクターのデータ変更イベントの説明 Expand section "5.2.5. Debezium SQL Server コネクターのデータ変更イベントの説明" Collapse section "5.2.5. Debezium SQL Server コネクターのデータ変更イベントの説明" 5.2.5.1. Debezium SQL Server 変更イベントのキー 5.2.5.2. Debezium SQL Server 変更イベントの値 5.2.6. トランザクション境界を表す Debezium SQL Server コネクターによって生成されたイベント Expand section "5.2.6. トランザクション境界を表す Debezium SQL Server コネクターによって生成されたイベント" Collapse section "5.2.6. トランザクション境界を表す Debezium SQL Server コネクターによって生成されたイベント" 5.2.6.1. 変更データイベントのエンリッチメント 5.2.7. Debezium SQL Server コネクターによるデータ型のマッピング方法 5.3. Debezium コネクターを実行するための SQL Server のセットアップ Expand section "5.3. Debezium コネクターを実行するための SQL Server のセットアップ" Collapse section "5.3. Debezium コネクターを実行するための SQL Server のセットアップ" 5.3.1. SQL Server データベースでの CDC の有効化 5.3.2. SQL Server テーブルでの CDC の有効化 5.3.3. ユーザーが CDC テーブルにアクセスできることの確認 5.3.4. Azure 上の SQL Server 5.3.5. SQL Server キャプチャージョブエージェント設定のサーバー負荷およびレイテンシーへの影響 5.3.6. SQL Server のキャプチャージョブエージェントの設定パラメーター 5.4. Debezium SQL Server コネクターのデプロイ Expand section "5.4. Debezium SQL Server コネクターのデプロイ" Collapse section "5.4. Debezium SQL Server コネクターのデプロイ" 5.4.1. Debezium SQL Server コネクターのデプロイ 5.4.2. Debezium SQL Server コネクター設定プロパティーの説明 5.5. スキーマ変更後のキャプチャーテーブルの更新 Expand section "5.5. スキーマ変更後のキャプチャーテーブルの更新" Collapse section "5.5. スキーマ変更後のキャプチャーテーブルの更新" 5.5.1. スキーマの変更後のオフライン更新の実行 5.5.2. スキーマの変更後のオンライン更新の実行 5.6. Debezium SQL Server コネクターのパフォーマンスの監視 Expand section "5.6. Debezium SQL Server コネクターのパフォーマンスの監視" Collapse section "5.6. Debezium SQL Server コネクターのパフォーマンスの監視" 5.6.1. Debezium SQL Server コネクターのスナップショットメトリクス 5.6.2. Debezium SQL Server コネクターのストリーミングメトリクス 5.6.3. Debezium SQL Server コネクターのスキーマ履歴メトリクス 6. Db2 の Debezium コネクター Expand section "6. Db2 の Debezium コネクター" Collapse section "6. Db2 の Debezium コネクター" 6.1. Debezium Db2 コネクターの概要 6.2. Debezium Db2 コネクターの仕組み Expand section "6.2. Debezium Db2 コネクターの仕組み" Collapse section "6.2. Debezium Db2 コネクターの仕組み" 6.2.1. Debezium Db2 コネクターによるデータベーススナップショットの実行方法 6.2.2. Debezium Db2 コネクターによる変更データテーブルの読み取り方法 6.2.3. Debezium Db2 変更イベントレコードを受信する Kafka トピックのデフォルト名 6.2.4. Debezium Db2 コネクターのスキーマ変更トピック 6.2.5. トランザクション境界を表す Debezium Db2 コネクターによって生成されたイベント 6.3. Debezium Db2 コネクターのデータ変更イベントの説明 Expand section "6.3. Debezium Db2 コネクターのデータ変更イベントの説明" Collapse section "6.3. Debezium Db2 コネクターのデータ変更イベントの説明" 6.3.1. Debezium db2 変更イベントのキー 6.3.2. Debezium Db2 変更イベントの値 6.4. Debezium Db2 コネクターによるデータ型のマッピング方法 6.5. Debezium コネクターを実行するための Db2 の設定 Expand section "6.5. Debezium コネクターを実行するための Db2 の設定" Collapse section "6.5. Debezium コネクターを実行するための Db2 の設定" 6.5.1. 変更データキャプチャーの Db2 テーブルの設定 6.5.2. Db2 キャプチャーエージェント設定のサーバー負荷およびレイテンシーへの影響 6.5.3. DB2 キャプチャーエージェントの設定パラメーター 6.6. Debezium Db2 コネクターのデプロイ Expand section "6.6. Debezium Db2 コネクターのデプロイ" Collapse section "6.6. Debezium Db2 コネクターのデプロイ" 6.6.1. Debezium Db2 コネクターのデプロイ 6.6.2. Debezium Db2 コネクター設定プロパティーの説明 6.7. Debezium Db2 コネクターのパフォーマンスの監視 Expand section "6.7. Debezium Db2 コネクターのパフォーマンスの監視" Collapse section "6.7. Debezium Db2 コネクターのパフォーマンスの監視" 6.7.1. Db2 データベースのスナップショット作成時の Debezium の監視 6.7.2. Debezium Db2 コネクターレコードストリーミングの監視 6.7.3. Debezium Db2 コネクターのスキーマ履歴の監視 6.8. Debezium Db2 コネクターの管理 6.9. Debezium コネクターでのキャプチャーモードの Db2 テーブルのスキーマの更新 Expand section "6.9. Debezium コネクターでのキャプチャーモードの Db2 テーブルのスキーマの更新" Collapse section "6.9. Debezium コネクターでのキャプチャーモードの Db2 テーブルのスキーマの更新" 6.9.1. Debezium Db2 コネクターでのオフラインスキーマ更新の実行 6.9.2. Debezium Db2 コネクターでのオンラインスキーマ更新の実行 7. Debezium の監視 Expand section "7. Debezium の監視" Collapse section "7. Debezium の監視" 7.1. Debezium コネクターを監視するためのメトリクス 7.2. ローカルインストールでの JMX の有効化 Expand section "7.2. ローカルインストールでの JMX の有効化" Collapse section "7.2. ローカルインストールでの JMX の有効化" 7.2.1. Zookeeper JMX 環境変数 7.2.2. Kafka JMX 環境変数 7.2.3. Kafka Connect JMX 環境変数 7.3. OpenShift 上での Debezium の監視 8. Debezium のログ機能 Expand section "8. Debezium のログ機能" Collapse section "8. Debezium のログ機能" 8.1. Debezium ログの概念 8.2. デフォルトの Debezium ログ設定 8.3. Debezium ログの設定 Expand section "8.3. Debezium ログの設定" Collapse section "8.3. Debezium ログの設定" 8.3.1. Debezium ログのレベルの変更 8.3.2. Debezium のマッピングされた診断コンテキストの追加 8.4. OpenShift での Debezium ログ 9. アプリケーション用 Debezium コネクターの設定 Expand section "9. アプリケーション用 Debezium コネクターの設定" Collapse section "9. アプリケーション用 Debezium コネクターの設定" 9.1. 指定したトピックへの Debezium イベントレコードのルーティング Expand section "9.1. 指定したトピックへの Debezium イベントレコードのルーティング" Collapse section "9.1. 指定したトピックへの Debezium イベントレコードのルーティング" 9.1.1. 指定したトピックに Debezium レコードをルーティングするユースケース 9.1.2. 複数テーブルの Debezium レコードを 1 つのトピックにルーティングする例 9.1.3. 同一トピックにルーティングされる Debezium レコード間でのキーの一意性確保 9.1.4. Debezium トピックルーティング変換設定用のオプション 9.2. イベントの内容に応じた変更イベントレコードのトピックへのルーティング Expand section "9.2. イベントの内容に応じた変更イベントレコードのトピックへのルーティング" Collapse section "9.2. イベントの内容に応じた変更イベントレコードのトピックへのルーティング" 9.2.1. Debezium コンテンツベースのルーティング SMT の設定 9.2.2. 例: Debezium コンテンツベースルーティングの基本設定 9.2.3. Debezium コンテンツベースルーティングの式で使用される変数 9.2.4. 他のスクリプト言語によるコンテンツベースのルーティング条件の設定 9.2.5. コンテンツベースのルーティング変換設定用のオプション 9.3. Kafka Connect 自動トピック作成のカスタマイズ Expand section "9.3. Kafka Connect 自動トピック作成のカスタマイズ" Collapse section "9.3. Kafka Connect 自動トピック作成のカスタマイズ" 9.3.1. Kafka ブローカーの自動トピック作成の無効化 9.3.2. Kafka Connect の自動トピック作成の設定 9.3.3. 自動的に作成されたトピックの設定 Expand section "9.3.3. 自動的に作成されたトピックの設定" Collapse section "9.3.3. 自動的に作成されたトピックの設定" 9.3.3.1. トピック作成グループ 9.3.3.2. トピック作成グループの設定プロパティー 9.3.3.3. Debezium デフォルトトピック作成グループ設定の指定 9.3.3.4. Debezium カスタムトピック作成グループ設定の指定 9.3.3.5. Debezium カスタムトピック作成グループの登録 9.4. Debezium 変更イベントレコードの絞り込み Expand section "9.4. Debezium 変更イベントレコードの絞り込み" Collapse section "9.4. Debezium 変更イベントレコードの絞り込み" 9.4.1. Debezium フィルター SMT の設定 9.4.2. 例: Debezium フィルター SMT の基本設定 9.4.3. フィルターの式で使用される変数 9.4.4. 他のスクリプト言語によるフィルター条件の設定 9.4.5. フィルター変換設定用のオプション 9.5. Debezium の変更イベントからステート after ソースレコードを抽出する Expand section "9.5. Debezium の変更イベントからステート after ソースレコードを抽出する" Collapse section "9.5. Debezium の変更イベントからステート after ソースレコードを抽出する" 9.5.1. Debezium 変更イベントの構造について 9.5.2. Debezium イベントフラット化変換の動作 9.5.3. Debezium イベントフラット化変換の設定 9.5.4. Kafka レコードに Debezium メタデータを追加する例 9.5.5. Debezium イベントフラット化変換設定用のオプション 9.6. Avro シリアライゼーションを使用する Debezium コネクターの設定 Expand section "9.6. Avro シリアライゼーションを使用する Debezium コネクターの設定" Collapse section "9.6. Avro シリアライゼーションを使用する Debezium コネクターの設定" 9.6.1. Service Registry の概要 9.6.2. Avro シリアライゼーションを使用する Debezium コネクターのデプロイの概要 9.6.3. Debezium コンテナーで Avro を使用するコネクターのデプロイ 9.6.4. Avro の名前の要件について 9.7. 送信トレイパターンを使用する Debezium コネクターの設定 Expand section "9.7. 送信トレイパターンを使用する Debezium コネクターの設定" Collapse section "9.7. 送信トレイパターンを使用する Debezium コネクターの設定" 9.7.1. Debezium 送信トレイメッセージの例 9.7.2. Debezium 送信トレイイベントルーター SMT が要求する送信トレイテーブルの構造 9.7.3. Debezium 送信トレイイベントルーター SMT の基本設定 9.7.4. Debezium 送信トレイメッセージでのペイロードフォーマットとしての Avro の使用 9.7.5. Debezium 送信トレイメッセージへの追加フィールドの出力 9.7.6. 送信トレイイベントルーター変換設定用のオプション 9.8. CloudEvents フォーマットでの Debezium 変更イベントレコードの出力 Expand section "9.8. CloudEvents フォーマットでの Debezium 変更イベントレコードの出力" Collapse section "9.8. CloudEvents フォーマットでの Debezium 変更イベントレコードの出力" 9.8.1. CloudEvents フォーマットでの Debezium 変更イベントレコードの例 9.8.2. Debezium CloudEvents コンバーターの設定例 9.8.3. Debezium CloudEvents コンバーター設定オプション Settings Close Language: 日本語 English Language: 日本語 English Format: Multi-page Single-page PDF Format: Multi-page Single-page PDF Language and Page Formatting Options Language: 日本語 English Language: 日本語 English Format: Multi-page Single-page PDF Format: Multi-page Single-page PDF Debezium ユーザーガイド Red Hat Integration 2021.Q1Debezium 1.4 の使用概要 本ガイドでは、Debezium で提供されるコネクターを使用する方法を説明します。 Next