Jump To Close Expand all Collapse all Table of contents Debezium ユーザーガイド Preface 1. Debezium の概要 Expand section "1. Debezium の概要" Collapse section "1. Debezium の概要" 1.1. Debezium の機能 1.2. Debezium アーキテクチャー 2. MySQL 用 Debezium コネクター Expand section "2. MySQL 用 Debezium コネクター" Collapse section "2. MySQL 用 Debezium コネクター" 2.1. MySQL コネクターの仕組みの概要 Expand section "2.1. MySQL コネクターの仕組みの概要" Collapse section "2.1. MySQL コネクターの仕組みの概要" 2.1.1. MySQL コネクターがデータベーススキーマを使用する方法 2.1.2. MySQL コネクターによるデータベーススナップショットの実行方法 Expand section "2.1.2. MySQL コネクターによるデータベーススナップショットの実行方法" Collapse section "2.1.2. MySQL コネクターによるデータベーススナップショットの実行方法" 2.1.2.1. コネクターが失敗した場合、どうなりますか？ 2.1.2.2. グローバル読み取りロックが許可されていない場合は？ 2.1.3. MySQL コネクターによるスキーマ変更のトピックの処理方法 Expand section "2.1.3. MySQL コネクターによるスキーマ変更のトピックの処理方法" Collapse section "2.1.3. MySQL コネクターによるスキーマ変更のトピックの処理方法" 2.1.3.1. スキーマ変更トピック構造 Expand section "2.1.3.1. スキーマ変更トピック構造" Collapse section "2.1.3.1. スキーマ変更トピック構造" 2.1.3.1.1. スキーマ変更のトピックに関する重要なヒント 2.1.4. MySQL コネクターイベント Expand section "2.1.4. MySQL コネクターイベント" Collapse section "2.1.4. MySQL コネクターイベント" 2.1.4.1. Change イベントキー 2.1.4.2. イベント値の変更 Expand section "2.1.4.2. イベント値の変更" Collapse section "2.1.4.2. イベント値の変更" 2.1.4.2.1. イベント値の変更の作成 2.1.4.2.2. Update change event value 2.1.4.2.3. Delete change event value（変更イベント値の削除） 2.1.5. MySQL コネクターがデータタイプをマップする方法 Expand section "2.1.5. MySQL コネクターがデータタイプをマップする方法" Collapse section "2.1.5. MySQL コネクターがデータタイプをマップする方法" 2.1.5.1. 一時的な値 2.1.5.2. ブール値 2.1.5.3. 重要データタイプ 2.1.6. MySQL コネクターおよび Kafka トピック 2.1.7. MySQL がサポートするトポロジー 2.2. MySQL サーバーの設定 Expand section "2.2. MySQL サーバーの設定" Collapse section "2.2. MySQL サーバーの設定" 2.2.1. Debezium の MySQL ユーザーの作成 Expand section "2.2.1. Debezium の MySQL ユーザーの作成" Collapse section "2.2.1. Debezium の MySQL ユーザーの作成" 2.2.1.1. 権限の説明 2.2.2. Debezium の MySQL binlog の有効化 Expand section "2.2.2. Debezium の MySQL binlog の有効化" Collapse section "2.2.2. Debezium の MySQL binlog の有効化" 2.2.2.1. Binlog 設定プロパティー 2.2.3. Debezium の MySQL グローバルトランザクション識別子の有効化 Expand section "2.2.3. Debezium の MySQL グローバルトランザクション識別子の有効化" Collapse section "2.2.3. Debezium の MySQL グローバルトランザクション識別子の有効化" 2.2.3.1. 説明されているオプション 2.2.4. Debezium のセッションタイムアウトの設定 Expand section "2.2.4. Debezium のセッションタイムアウトの設定" Collapse section "2.2.4. Debezium のセッションタイムアウトの設定" 2.2.4.1. 説明されているオプション 2.2.5. Debezium のクエリーログイベントの有効化 Expand section "2.2.5. Debezium のクエリーログイベントの有効化" Collapse section "2.2.5. Debezium のクエリーログイベントの有効化" 2.2.5.1. 説明されているオプション 2.3. MySQL コネクターのデプロイ Expand section "2.3. MySQL コネクターのデプロイ" Collapse section "2.3. MySQL コネクターのデプロイ" 2.3.1. MySQL コネクターのインストール 2.3.2. MySQL コネクターの設定 2.3.3. MySQL コネクター設定プロパティー Expand section "2.3.3. MySQL コネクター設定プロパティー" Collapse section "2.3.3. MySQL コネクター設定プロパティー" 2.3.3.1. 高度な MySQL コネクタープロパティー 2.3.3.2. パススルー設定プロパティー 2.3.3.3. データベースドライバーのパススループロパティー 2.3.4. MySQL コネクターモニタリングメトリクス Expand section "2.3.4. MySQL コネクターモニタリングメトリクス" Collapse section "2.3.4. MySQL コネクターモニタリングメトリクス" 2.3.4.1. スナップショットメトリクス 2.3.4.2. Binlog メトリクス 2.3.4.3. スキーマ履歴メトリクス 2.4. MySQL コネクターの一般的な問題 Expand section "2.4. MySQL コネクターの一般的な問題" Collapse section "2.4. MySQL コネクターの一般的な問題" 2.4.1. 設定および起動エラー 2.4.2. MySQL が利用できない Expand section "2.4.2. MySQL が利用できない" Collapse section "2.4.2. MySQL が利用できない" 2.4.2.1. GTID の使用 2.4.2.2. GTID を使用しない 2.4.3. Kafka Connect の停止 Expand section "2.4.3. Kafka Connect の停止" Collapse section "2.4.3. Kafka Connect の停止" 2.4.3.1. Kafka Connect の正常な停止 2.4.3.2. Kafka Connect プロセスのクラッシュ 2.4.3.3. Kafka が利用できなくなる 2.4.4. MySQL が binlog ファイルをパージする 3. PostgreSQL 用 Debezium コネクター Expand section "3. PostgreSQL 用 Debezium コネクター" Collapse section "3. PostgreSQL 用 Debezium コネクター" 3.1. 概要 Expand section "3.1. 概要" Collapse section "3.1. 概要" 3.1.1. 論理的なデコード出力プラグイン 3.2. PostgreSQL の設定 Expand section "3.2. PostgreSQL の設定" Collapse section "3.2. PostgreSQL の設定" 3.2.1. レプリケーションスロットの設定 3.2.2. パーミッションの設定 3.2.3. WAL ディスク容量の消費 3.2.4. PostgreSQL コネクターの仕組み Expand section "3.2.4. PostgreSQL コネクターの仕組み" Collapse section "3.2.4. PostgreSQL コネクターの仕組み" 3.2.4.1. スナップショット 3.2.4.2. ストリーミングの変更 3.2.4.3. PostgreSQL 10+ 論理デコードサポート(pgoutput) 3.2.4.4. トピック名 3.2.4.5. meta Information 3.2.4.6. イベント Expand section "3.2.4.6. イベント" Collapse section "3.2.4.6. イベント" 3.2.4.6.1. Change イベントのキー 3.2.4.6.2. イベントの値の変更 3.2.4.6.3. レプリカ ID 3.2.4.6.4. イベントの作成 3.2.4.6.5. 更新イベント 3.2.4.6.6. イベントの削除 3.2.5. トランザクションメタデータ Expand section "3.2.5. トランザクションメタデータ" Collapse section "3.2.5. トランザクションメタデータ" 3.2.5.1. トランザクション境界 3.2.5.2. データイベントの強化 3.2.5.3. データタイプ Expand section "3.2.5.3. データタイプ" Collapse section "3.2.5.3. データタイプ" 3.2.5.3.1. 一時的な値 3.2.5.3.2. TIMESTAMP 値 3.2.5.3.3. 10 進数の値 3.2.5.3.4. HStore の値 3.2.5.4. PostgreSQL ドメインタイプ Expand section "3.2.5.4. PostgreSQL ドメインタイプ" Collapse section "3.2.5.4. PostgreSQL ドメインタイプ" 3.2.5.4.1. ネットワークアドレスの種別 3.2.5.4.2. PostGIS タイプ 3.2.5.4.3. 重要の値 3.3. PostgreSQL コネクターのデプロイ Expand section "3.3. PostgreSQL コネクターのデプロイ" Collapse section "3.3. PostgreSQL コネクターのデプロイ" 3.3.1. 設定例 3.3.2. モニタリング Expand section "3.3.2. モニタリング" Collapse section "3.3.2. モニタリング" 3.3.2.1. スナップショットメトリクス 3.3.2.2. ストリーミングメトリクス 3.3.3. コネクタープロパティー 3.4. PostgreSQL 典型的な問題 Expand section "3.4. PostgreSQL 典型的な問題" Collapse section "3.4. PostgreSQL 典型的な問題" 3.4.1. 設定および起動エラー 3.4.2. PostgreSQL Becomes Unavailable 3.4.3. Cluster Failures 3.4.4. Kafka Connect Process の正常な停止 3.4.5. Kafka Connect プロセスクラッシュ 3.4.6. Kafka Becomes Unavailable 3.4.7. コネクターが期間停止する 4. MongoDB の Debezium Connector Expand section "4. MongoDB の Debezium Connector" Collapse section "4. MongoDB の Debezium Connector" 4.1. 概要 4.2. MongoDB の設定 4.3. サポートされている MongoDB トポロジー Expand section "4.3. サポートされている MongoDB トポロジー" Collapse section "4.3. サポートされている MongoDB トポロジー" 4.3.1. MongoDB レプリカセット 4.3.2. MongoDB シャードクラスター 4.3.3. MongoDB スタンドアロンサーバー 4.4. MongoDB コネクターの仕組み Expand section "4.4. MongoDB コネクターの仕組み" Collapse section "4.4. MongoDB コネクターの仕組み" 4.4.1. 論理コネクター名 4.4.2. スナップショットの実行 4.4.3. ストリーミングの変更 4.4.4. トピック名 4.4.5. パーティション 4.4.6. イベント Expand section "4.4.6. イベント" Collapse section "4.4.6. イベント" 4.4.6.1. Change イベントのキー 4.4.6.2. イベントの値の変更 4.4.7. トランザクションメタデータ Expand section "4.4.7. トランザクションメタデータ" Collapse section "4.4.7. トランザクションメタデータ" 4.4.7.1. トランザクション境界 4.4.7.2. データイベントの強化 4.5. MongoDB コネクターのデプロイ Expand section "4.5. MongoDB コネクターのデプロイ" Collapse section "4.5. MongoDB コネクターのデプロイ" 4.5.1. 設定例 4.5.2. モニタリング Expand section "4.5.2. モニタリング" Collapse section "4.5.2. モニタリング" 4.5.2.1. スナップショットメトリクス 4.5.2.2. ストリーミングメトリクス 4.5.3. コネクタープロパティー 4.6. MongoDB コネクターに関する典型的な問題 Expand section "4.6. MongoDB コネクターに関する典型的な問題" Collapse section "4.6. MongoDB コネクターに関する典型的な問題" 4.6.1. 設定および起動エラー 4.6.2. MongoDB が利用不可になる 4.6.3. Kafka Connect プロセスが正常に停止する 4.6.4. Kafka Connect プロセスのクラッシュ 4.6.5. Kafka が利用できなくなる 4.6.6. コネクターが一定期間停止している。 4.6.7. MongoDB による書き込みの損失 5. SQL Server の Debezium コネクター Expand section "5. SQL Server の Debezium コネクター" Collapse section "5. SQL Server の Debezium コネクター" 5.1. 概要 5.2. SQL Server の設定 Expand section "5.2. SQL Server の設定" Collapse section "5.2. SQL Server の設定" 5.2.1. Azure 上の SQL Server 5.3. SQL Server コネクターの仕組み Expand section "5.3. SQL Server コネクターの仕組み" Collapse section "5.3. SQL Server コネクターの仕組み" 5.3.1. スナップショット 5.3.2. 変更データテーブルの読み取り 5.3.3. Topic 名 5.3.4. イベント Expand section "5.3.4. イベント" Collapse section "5.3.4. イベント" 5.3.4.1. イベントキーの変更 5.3.4.2. イベント値の変更 Expand section "5.3.4.2. イベント値の変更" Collapse section "5.3.4.2. イベント値の変更" 5.3.4.2.1. イベントの作成 5.3.4.2.2. イベントの更新 5.3.4.2.3. イベントの削除 5.3.5. トランザクションメタデータ Expand section "5.3.5. トランザクションメタデータ" Collapse section "5.3.5. トランザクションメタデータ" 5.3.5.1. トランザクション境界 5.3.5.2. データイベントの強化 5.3.6. データベーススキーマの進化 Expand section "5.3.6. データベーススキーマの進化" Collapse section "5.3.6. データベーススキーマの進化" 5.3.6.1. コールドスキーマの更新 5.3.6.2. ホットスキーマの更新 5.3.6.3. 例 5.3.7. データタイプ Expand section "5.3.7. データタイプ" Collapse section "5.3.7. データタイプ" 5.3.7.1. 一時的な値 Expand section "5.3.7.1. 一時的な値" Collapse section "5.3.7.1. 一時的な値" 5.3.7.1.1. タイムスタンプの値 5.3.7.2. 10 進数の値 5.4. SQL Server コネクターのデプロイ Expand section "5.4. SQL Server コネクターのデプロイ" Collapse section "5.4. SQL Server コネクターのデプロイ" 5.4.1. 設定例 5.4.2. モニタリング Expand section "5.4.2. モニタリング" Collapse section "5.4.2. モニタリング" 5.4.2.1. スナップショットメトリクス 5.4.2.2. ストリーミングメトリクス 5.4.2.3. スキーマ履歴のメトリクス 5.4.3. コネクタープロパティー 6. Debezium の監視 Expand section "6. Debezium の監視" Collapse section "6. Debezium の監視" 6.1. RHEL での Debezium の監視 Expand section "6.1. RHEL での Debezium の監視" Collapse section "6.1. RHEL での Debezium の監視" 6.1.1. ZooKeeper JMX 環境変数 6.1.2. Kafka JMX 環境変数 6.1.3. Kafka Connect JMX 環境変数 6.2. OpenShift での Debezium のモニタリング 7. Debezium ロギング Expand section "7. Debezium ロギング" Collapse section "7. Debezium ロギング" 7.1. ロギングの概念 7.2. デフォルトのロギング設定について 7.3. ロギングの設定 Expand section "7.3. ロギングの設定" Collapse section "7.3. ロギングの設定" 7.3.1. ログレベルの変更 7.3.2. マップされた診断コンテキストの追加 7.4. OpenShift での Debezium ロギング 8. アプリケーションの Debezium コネクターの設定 Expand section "8. アプリケーションの Debezium コネクターの設定" Collapse section "8. アプリケーションの Debezium コネクターの設定" 8.1. 指定したトピックへのルーティング変更イベントレコード Expand section "8.1. 指定したトピックへのルーティング変更イベントレコード" Collapse section "8.1. 指定したトピックへのルーティング変更イベントレコード" 8.1.1. 指定したトピックへのルーティングレコードのユースケース 8.1.2. 複数テーブルのルーティングレコードの例 8.1.3. 同じトピックにルーティングされるレコード全体で一意の鍵を確保 8.1.4. ByLogicalTableRouter 変換を設定するオプション 8.2. Debezium 変更イベントからのソースレコード after 状態の抽出 Expand section "8.2. Debezium 変更イベントからのソースレコード after 状態の抽出" Collapse section "8.2. Debezium 変更イベントからのソースレコード after 状態の抽出" 8.2.1. Debezium 変更イベント構造の説明 8.2.2. Debezium ExtractNewRecordState 変換の動作 8.2.3. ExtractNewRecordState 変換の設定 8.2.4. Kafka レコードへのメタデータの追加例 8.2.5. ExtractNewRecordState 変換を設定するオプション 8.3. Avro シリアル化 Expand section "8.3. Avro シリアル化" Collapse section "8.3. Avro シリアル化" 8.3.1. Red Hat Integration - Service Registry について 8.3.2. デプロイメントの概要 8.3.3. Debezium コンテナーの使用 8.3.4. naming 8.4. CloudEvent のエクスポート Expand section "8.4. CloudEvent のエクスポート" Collapse section "8.4. CloudEvent のエクスポート" 8.4.1. イベント形式の例 8.4.2. 設定例 8.4.3. 設定プロパティー Settings Close Language: 日本語 English Language: 日本語 English Format: Multi-page Single-page PDF Format: Multi-page Single-page PDF Language and Page Formatting Options Language: 日本語 English Language: 日本語 English Format: Multi-page Single-page PDF Format: Multi-page Single-page PDF 6.2. OpenShift での Debezium のモニタリング OpenShift で Debezium を使用している場合、で JMX ポートを開いて JMX メトリクスを取得でき 9999ます。詳細は、「 JMX オプション 」を参照してください。 さらに、Prometheus および Grafana を使用して JMX メトリクスを監視することもできます。詳細は、「 メトリクスの導入 」を参照してください。 Previous Next
