Jump To Close Expand all Collapse all Table of contents Debezium ユーザーガイド 1. MySQL の Debezium コネクター Expand section "1. MySQL の Debezium コネクター" Collapse section "1. MySQL の Debezium コネクター" 1.1. MySQL コネクターの仕組みの概要 Expand section "1.1. MySQL コネクターの仕組みの概要" Collapse section "1.1. MySQL コネクターの仕組みの概要" 1.1.1. MySQL コネクターによるデータベーススキーマの使用方法 1.1.2. MySQL コネクターによるデータベーススナップショットの実行方法 Expand section "1.1.2. MySQL コネクターによるデータベーススナップショットの実行方法" Collapse section "1.1.2. MySQL コネクターによるデータベーススナップショットの実行方法" 1.1.2.1. コネクターが失敗するとどうなりますか ? 1.1.2.2. グローバル読み取りロックが許可されていない場合はどうすればよいですか ? 1.1.3. MySQL コネクターがスキーマ変更トピックを処理する方法 Expand section "1.1.3. MySQL コネクターがスキーマ変更トピックを処理する方法" Collapse section "1.1.3. MySQL コネクターがスキーマ変更トピックを処理する方法" 1.1.3.1. スキーマ変更トピック構造 Expand section "1.1.3.1. スキーマ変更トピック構造" Collapse section "1.1.3.1. スキーマ変更トピック構造" 1.1.3.1.1. スキーマ変更トピックに関する重要なヒント 1.1.4. MySQL コネクターイベント Expand section "1.1.4. MySQL コネクターイベント" Collapse section "1.1.4. MySQL コネクターイベント" 1.1.4.1. 変更イベントキー 1.1.4.2. 変更イベント値 Expand section "1.1.4.2. 変更イベント値" Collapse section "1.1.4.2. 変更イベント値" 1.1.4.2.1. 変更イベント値の作成 1.1.4.2.2. 変更イベント値の更新 1.1.4.2.3. 変更イベント値の削除 1.1.5. MySQL コネクターによるデータ型のマッピング方法 Expand section "1.1.5. MySQL コネクターによるデータ型のマッピング方法" Collapse section "1.1.5. MySQL コネクターによるデータ型のマッピング方法" 1.1.5.1. 時間値 1.1.5.2. 10 進数値 1.1.5.3. 空間データ型 1.1.6. MySQL コネクターおよび Kafka トピック 1.1.7. MySQL がサポートするトポロジー 1.2. MySQL サーバーの設定 Expand section "1.2. MySQL サーバーの設定" Collapse section "1.2. MySQL サーバーの設定" 1.2.1. Debezium の MySQL ユーザーの作成 Expand section "1.2.1. Debezium の MySQL ユーザーの作成" Collapse section "1.2.1. Debezium の MySQL ユーザーの作成" 1.2.1.1. パーミッションの説明 1.2.2. Debezium の MySQL binlog の有効化 Expand section "1.2.2. Debezium の MySQL binlog の有効化" Collapse section "1.2.2. Debezium の MySQL binlog の有効化" 1.2.2.1. binlog 設定プロパティー 1.2.3. Debezium の MySQL グローバルトランザクション識別子の有効化 Expand section "1.2.3. Debezium の MySQL グローバルトランザクション識別子の有効化" Collapse section "1.2.3. Debezium の MySQL グローバルトランザクション識別子の有効化" 1.2.3.1. オプションの説明 1.2.4. Debezium のセッションタイムアウトの設定 Expand section "1.2.4. Debezium のセッションタイムアウトの設定" Collapse section "1.2.4. Debezium のセッションタイムアウトの設定" 1.2.4.1. オプションの説明 1.2.5. Debezium のクエリーログイベントの有効化 Expand section "1.2.5. Debezium のクエリーログイベントの有効化" Collapse section "1.2.5. Debezium のクエリーログイベントの有効化" 1.2.5.1. オプションの説明 1.3. Deploying the MySQL connector Expand section "1.3. Deploying the MySQL connector" Collapse section "1.3. Deploying the MySQL connector" 1.3.1. MySQL コネクターのインストール 1.3.2. MySQL コネクターの設定 1.3.3. MySQL コネクター設定プロパティー Expand section "1.3.3. MySQL コネクター設定プロパティー" Collapse section "1.3.3. MySQL コネクター設定プロパティー" 1.3.3.1. 高度な MySQL コネクタープロパティー 1.3.4. MySQL コネクターの監視メトリクス Expand section "1.3.4. MySQL コネクターの監視メトリクス" Collapse section "1.3.4. MySQL コネクターの監視メトリクス" 1.3.4.1. スナップショットメトリクス 1.3.4.2. binlog メトリクス 1.3.4.3. スキーマ履歴メトリクス 1.4. MySQL コネクターの一般的な問題 Expand section "1.4. MySQL コネクターの一般的な問題" Collapse section "1.4. MySQL コネクターの一般的な問題" 1.4.1. 設定および起動エラー 1.4.2. MySQL が利用できない Expand section "1.4.2. MySQL が利用できない" Collapse section "1.4.2. MySQL が利用できない" 1.4.2.1. GTID の使用 1.4.2.2. GTID を使用しない 1.4.3. Kafka Connect が停止しました。 Expand section "1.4.3. Kafka Connect が停止しました。" Collapse section "1.4.3. Kafka Connect が停止しました。" 1.4.3.1. Kafka Connect が正常に停止する 1.4.3.2. Kafka Connect プロセスのクラッシュ 1.4.3.3. Kafka が使用不可能になる 1.4.4. MySQL が binlog ファイルをパージする 2. PostgreSQL の Debezium コネクター Expand section "2. PostgreSQL の Debezium コネクター" Collapse section "2. PostgreSQL の Debezium コネクター" 2.1. 概要 Expand section "2.1. 概要" Collapse section "2.1. 概要" 2.1.1. 論理デコード出力プラグイン 2.2. PostgreSQL の設定 Expand section "2.2. PostgreSQL の設定" Collapse section "2.2. PostgreSQL の設定" 2.2.1. レプリケーションスロットの設定 2.2.2. パーミッションの設定 2.2.3. WAL ディスク領域の使用 2.2.4. PostgreSQL コネクターの仕組み Expand section "2.2.4. PostgreSQL コネクターの仕組み" Collapse section "2.2.4. PostgreSQL コネクターの仕組み" 2.2.4.1. スナップショット 2.2.4.2. 変更のストリーミング 2.2.4.3. PostgreSQL 10+ Logical Decoding Support (pgoutput) 2.2.4.4. トピック名 2.2.4.5. メタ情報 2.2.4.6. イベント Expand section "2.2.4.6. イベント" Collapse section "2.2.4.6. イベント" 2.2.4.6.1. 変更イベントのキー 2.2.4.6.2. 変更イベントの値 2.2.4.6.3. レプリカ ID 2.2.4.6.4. イベントの作成 2.2.4.6.5. 更新イベント 2.2.4.6.6. イベントの削除 2.2.4.7. データ型 Expand section "2.2.4.7. データ型" Collapse section "2.2.4.7. データ型" 2.2.4.7.1. 時間の値 2.2.4.7.2. TIMESTAMP 値 2.2.4.7.3. 10 進数値 2.2.4.7.4. hstore の値 2.2.4.8. PostgreSQL ドメインタイプ Expand section "2.2.4.8. PostgreSQL ドメインタイプ" Collapse section "2.2.4.8. PostgreSQL ドメインタイプ" 2.2.4.8.1. ネットワークアドレスタイプ 2.2.4.8.2. PostGIS タイプ 2.2.4.8.3. TOAST 化された値 2.3. PostgreSQL コネクターのデプロイ Expand section "2.3. PostgreSQL コネクターのデプロイ" Collapse section "2.3. PostgreSQL コネクターのデプロイ" 2.3.1. 設定例 2.3.2. モニタリング Expand section "2.3.2. モニタリング" Collapse section "2.3.2. モニタリング" 2.3.2.1. スナップショットメトリクス Expand section "2.3.2.1. スナップショットメトリクス" Collapse section "2.3.2.1. スナップショットメトリクス" 2.3.2.1.1. MBean: debezium.postgres:type=connector-metrics,context=snapshot,server= <database.server.name> 2.3.2.2. ストリーミングメトリクス Expand section "2.3.2.2. ストリーミングメトリクス" Collapse section "2.3.2.2. ストリーミングメトリクス" 2.3.2.2.1. MBean: debezium.postres:type=connector-metrics,context=streaming,server= <database.server.name> 2.3.3. コネクタープロパティー 2.4. PostgreSQL の一般的な問題 Expand section "2.4. PostgreSQL の一般的な問題" Collapse section "2.4. PostgreSQL の一般的な問題" 2.4.1. 設定および起動エラー 2.4.2. PostgreSQL が利用不可になる 2.4.3. Cluster Failures 2.4.4. Kafka Connect プロセスが正常な停止 2.4.5. Kafka Connect プロセスクラッシュ 2.4.6. Kafka が利用不能になる 2.4.7. コネクターの期間停止 3. MongoDB の Debezium コネクター Expand section "3. MongoDB の Debezium コネクター" Collapse section "3. MongoDB の Debezium コネクター" 3.1. 概要 3.2. MongoDB の設定 3.3. サポートされる MongoDB トポロジー Expand section "3.3. サポートされる MongoDB トポロジー" Collapse section "3.3. サポートされる MongoDB トポロジー" 3.3.1. MongoDB レプリカセット 3.3.2. MongoDB のシャードクラスター 3.3.3. MongoDB スタンドアロンサーバー 3.4. MongoDB コネクターの仕組み Expand section "3.4. MongoDB コネクターの仕組み" Collapse section "3.4. MongoDB コネクターの仕組み" 3.4.1. 論理コネクター名 3.4.2. 初期同期 3.4.3. oplog の調整 3.4.4. トピック名 3.4.5. パーティション 3.4.6. イベント Expand section "3.4.6. イベント" Collapse section "3.4.6. イベント" 3.4.6.1. 変更イベントのキー 3.4.6.2. 変更イベントの値 3.5. Deploying the MongoDB connector Expand section "3.5. Deploying the MongoDB connector" Collapse section "3.5. Deploying the MongoDB connector" 3.5.1. 設定例 3.5.2. コネクタープロパティー 3.6. MongoDB コネクターの一般的な問題 Expand section "3.6. MongoDB コネクターの一般的な問題" Collapse section "3.6. MongoDB コネクターの一般的な問題" 3.6.1. 設定および起動エラー 3.6.2. MongoDB が使用不可能になる 3.6.3. Kafka Connect のプロセスは正常に停止する 3.6.4. Kafka Connect プロセスのクラッシュ 3.6.5. Kafka が使用不可能になる 3.6.6. コネクターの一定期間の停止 3.6.7. MongoDB による書き込みの損失 4. SQL Server の Debezium コネクター Expand section "4. SQL Server の Debezium コネクター" Collapse section "4. SQL Server の Debezium コネクター" 4.1. 概要 4.2. SQL Server の設定 Expand section "4.2. SQL Server の設定" Collapse section "4.2. SQL Server の設定" 4.2.1. Azure 上の SQL Server 4.3. SQL Server コネクターの仕組み Expand section "4.3. SQL Server コネクターの仕組み" Collapse section "4.3. SQL Server コネクターの仕組み" 4.3.1. スナップショット 4.3.2. 変更データテーブルの読み取り 4.3.3. トピック名 4.3.4. スキーマ変更トピック 4.3.5. イベント Expand section "4.3.5. イベント" Collapse section "4.3.5. イベント" 4.3.5.1. イベントキーの変更 4.3.5.2. 変更イベント値 Expand section "4.3.5.2. 変更イベント値" Collapse section "4.3.5.2. 変更イベント値" 4.3.5.2.1. 作成 イベント 4.3.5.2.2. 更新イベント 4.3.5.2.3. 削除イベント 4.3.6. データベーススキーマの進化 Expand section "4.3.6. データベーススキーマの進化" Collapse section "4.3.6. データベーススキーマの進化" 4.3.6.1. コールドスキーマの更新 4.3.6.2. ホットスキーマの更新 4.3.6.3. 例 4.3.7. データタイプ Expand section "4.3.7. データタイプ" Collapse section "4.3.7. データタイプ" 4.3.7.1. 時間値 Expand section "4.3.7.1. 時間値" Collapse section "4.3.7.1. 時間値" 4.3.7.1.1. タイムスタンプ値 4.3.7.2. 10 進数値 4.4. Deploying the SQL Server connector Expand section "4.4. Deploying the SQL Server connector" Collapse section "4.4. Deploying the SQL Server connector" 4.4.1. 設定例 4.4.2. モニタリング Expand section "4.4.2. モニタリング" Collapse section "4.4.2. モニタリング" 4.4.2.1. スナップショットメトリクス Expand section "4.4.2.1. スナップショットメトリクス" Collapse section "4.4.2.1. スナップショットメトリクス" 4.4.2.1.1. MBean: debezium.sql_server:type=connector-metrics,context=snapshot,server= <database.server.name> 4.4.2.2. ストリーミングメトリクス Expand section "4.4.2.2. ストリーミングメトリクス" Collapse section "4.4.2.2. ストリーミングメトリクス" 4.4.2.2.1. MBean: debezium.sql_server:type=connector-metrics,context=streaming,server= <database.server.name> 4.4.2.3. スキーマ履歴メトリクス Expand section "4.4.2.3. スキーマ履歴メトリクス" Collapse section "4.4.2.3. スキーマ履歴メトリクス" 4.4.2.3.1. MBean: debezium.sql_server:type=connector-metrics,context=schema-history,server= <database.server.name> 4.4.3. コネクタープロパティー 5. Debezium の監視 Expand section "5. Debezium の監視" Collapse section "5. Debezium の監視" 5.1. RHEL での Debezium の監視 Expand section "5.1. RHEL での Debezium の監視" Collapse section "5.1. RHEL での Debezium の監視" 5.1.1. Zookeeper JMX 環境変数 5.1.2. Kafka JMX 環境変数 5.1.3. Kafka Connect JMX 環境変数 5.2. OpenShift 上での Debezium の監視 6. Debezium のログ機能 Expand section "6. Debezium のログ機能" Collapse section "6. Debezium のログ機能" 6.1. ロギングの概念 6.2. デフォルトのロギング設定について 6.3. ロギングの設定 Expand section "6.3. ロギングの設定" Collapse section "6.3. ロギングの設定" 6.3.1. ログレベルを変更する 6.3.2. マッピングされた診断コンテキストを追加する 6.4. OpenShift での Debezium ログ Settings Close Language: 日本語 English Language: 日本語 English Format: Multi-page Single-page PDF Format: Multi-page Single-page PDF Language and Page Formatting Options Language: 日本語 English Language: 日本語 English Format: Multi-page Single-page PDF Format: Multi-page Single-page PDF 1.4.3. Kafka Connect が停止しました。 Kafka Connect が停止すると、いくつかの問題が発生するシナリオが 3 つあります。 「Kafka Connect が正常に停止する」 「Kafka Connect プロセスのクラッシュ」 「Kafka が使用不可能になる」 1.4.3.1. Kafka Connect が正常に停止する Kafka Connect が正常に停止すると、Debezium MySQL コネクタータスクが停止され、新しい Kafka Connect プロセスで再起動される間は短い遅延のみが発生します。 Previous Next