3.5. Debezium の新機能
Debezium 2.1.4 には、以下の更新が含まれています。
3.5.1. 互換性を失わせる変更点
Debezium 2.1.4 での次の変更は、コネクターの動作に大きな違いがあることを示しており、以前の Debezium バージョンと互換性のない設定を変更する必要があります。
- 複数のコネクターに適用される変更
- データベース履歴トピック
- データベーススキーマ履歴 トピックと呼ばれます。
- メモリーキューのオブジェクトサイズの制限
- サイズはリフレクションを使用して計算されなくなりました。代わりに、キュー制限はメッセージスキーマに基づいて推定されます。(DBZ-2766) (MongodB、MySQL、Oracle、PostgreSQL、SQL Server)
- コネクターメトリクスの公開
- Debezium は以前、スナップショット、ストリーミング、および履歴ベースの Bean の単一のタプルとしてコネクターメトリクスを公開していました。今回のリリースにより、コネクターメトリクスがマルチパーティションスキームとして公開されるようになりました。その結果、メトリクス名およびそれらが公開される方法が変更になりました (DBZ-4726)。メトリクスを収集するために Grafana、Prometheus、または同様の JMX フレームワークを使用する場合は、メトリクスを収集するためのプロセスを確認してください。
database.server.nameプロパティー- コネクター設定で使用されなくなりました。詳細は、表3.1「コネクター設定プロパティーの更新」 を参照してください。
- スキーマ定義
- 命名とバージョン管理で一貫性を確保するために、Debezium スキーマが一元的に定義されるようになりました (DBZ-4365、DBZ-5044)。スキーマレジストリーを使用する場合は、スキーマの互換性の問題が発生する可能性があります。
- Debezium ストレージの変更
-
以前のリリースでは、Integration は debezium-core モジュールの一部としてオフセット、履歴、およびその他のデータの読み取りと保存をサポートしていました。このリリースには、ローカルファイルシステムまたは Kafka にデータを格納するための実装を備えた新しい
debezium-storageモジュールが含まれています (DBZ-5229)。このアプローチで実装された拡張ポイントにより、今後他のストレージ実装を導入できます。アップグレードの一環として、コードに必要なストレージモジュールの実装によっては、アプリケーションの依存関係を調整する必要がある場合があります。 - 通信例外後の再起動
- 通信に関連する例外 (SqlException、IOException) が出力された後、デフォルトで、Debezium MongoDB、MySQL、PostgreSQL、および SQL Server コネクターが自動的に再起動するようになりました (DBZ-5244)。
skipped.operations設定オプションのデフォルト値-
デフォルト値は
truncate(DBZ-5497) (MongoDB、MySQL、Oracle、PostgreSQL、SQL Server) になりました。 schema.name.adjustment.modeプロパティーのデフォルト値-
デフォルト値は
none(DBZ-5541)になりました。以前のデフォルトオプションであるavroは、Avro コンバーターを使用するお客様にとっては適切な選択でしたが、JSON コンバーターを使用する環境では混乱を招きました。今回の変更の一環として、sanitize.field.namesプロパティーが利用できなくなりました。 - * コネクター設定プロパティーの削除
Debezium 1.x バージョンで使用できたいくつかのプロパティーは有効ではなくなり、新しいプロパティーに置き換えられました。詳細は、以下の表を参照してください。
表3.1 コネクター設定プロパティーの更新
1.x プロパティー 2x で同等のプロパティー database.*(パススルーデータベースドライバーのプロパティー) (DBZ-5043)driverdatabase.dbname(SQL Server)database.namesdatabase.history.consumer.*(DBZ-5043)schema.history.internal.consumer.*database.history.kafka.bootstrap.servers(DBZ-5043)schema.history.internal.kafka.bootstrap.serversdatabase.history.kafka.topic(DBZ-5043)schema.history.internal.kafka.topicdatabase.history.producer.*(DBZ-5043)schema.history.internal.producer.*database.server.name(DBZ-5043)topic.prefixmongodb.name(MongoDB)topic.prefixschema_blacklist(DBZ-5045)schema_exclude_listschema_whitelist(DBZ-5045)schema_include_list- MySQL コネクターに適用される変更
- MySQL コネクターは、レガシー JDBC の日付/時間プロパティーをサポートしなくなりました (DBZ-4965)。
- MongoDB コネクターに適用される変更
- MongoDB コネクターは oplog から直接ストリーミングをサポートしなくなりました。変更ストリームは、MongoDB で変更データキャプチャーを実行するための優れたメカニズムです。コネクターは、oplog を直接読み取るのではなく、oplog データをキャプチャーしてデコードするタスクを MongoDB 変更ストリームに委任し、コレクション内で発生した変更をイベントストリームとして公開します。Debezium コネクターは、このストリームにサブスクライブして、ダウンストリームの変更を Kafka に配信します。変更ストリームへの移行には、非プライマリーノードからの変更をストリーミングする機能や、ダウンストリームコンシューマー向けの完全なドキュメント表現で更新イベントを発行する機能など、さまざまな利点があります。
-
設定プロパティー
mongodb.nameはtopic.prefixプロパティーに置き換えられます。
- PostgreSQL コネクターに適用される変更
- SQL Server コネクターに適用される変更
-
SQL Server データベースで SSL が有効になっていない場合、または SSL を使用せずにデータベースに接続する場合は、コネクター設定で
database.encryptプロパティーの値をfalseに設定して SSL を無効にします。 -
database.dbnameプロパティーはdatabase.namesプロパティーに置き換えられます。
-
SQL Server データベースで SSL が有効になっていない場合、または SSL を使用せずにデータベースに接続する場合は、コネクター設定で
3.5.2. 一般公開 (GA) にプロモートした機能
Debezium 2.1.4 リリースでは、次の機能がテクノロジープレビューから一般公開 (GA) にプロモートされます。
3.5.3. Debezium 機能の更新
この Debezium 2.1.4 リリースでは、次のリストの項目を含む、いくつかの機能の更新と修正が提供されます。
- MySQL コネクターは binlog 圧縮をサポートするようになりました。(DBZ-2663)
- "Streaming requested from LSN" 警告のログ出力を制限します。(DBZ-3007)
- MySQL コネクターパーサーに JSON_TABLE のサポートを実装します。(DBZ-3575)
- シグナルを送信することで、増分スナップショットを一時停止または停止できるようになりました。(DBZ-4251)
- ユーザーアカウントに必要な CDCReader パーミッションがない場合に、SQL Server コネクターが失敗するようになりました。(DBZ-4346)
- MongoDB コネクターはバイナリーペイロードをデコードできるようになりました。(DBZ-4600)
- 実行中の増分スナップショットを一時停止および再開できるようになりました。(DBZ-4727)
- 接続文字列 URI を指定することで、MongoDB 接続設定を指定できるようになりました。(DBZ-4733)
-
MongoDB コネクターの
field.exclude.listプロパティーが、同じ名前を持つ異なるコレクションのフィールドで機能するようになりました。(DBZ-4846) -
PostgresSQL コネクターは、
PSQLException: This connection has been closed.エラーの後に接続を再試行するようになりました。(DBZ-4948) - MySQL コネクターは、イベントヘッダーのタイムスタンプを履歴レコードに保存するようになりました。(DBZ-4998)
- LogMiner バッチサイズは、デフォルトのサイズではなく、現在のバッチサイズに基づいて調整されるようになりました。(DBZ-5005)
- ByLogicalTableRouter SMT の キャッシュするエントリーの最大数 を設定できるようになりました。(DBZ-5072)
- 新しい拡張 API を使用すると、Debezium のバージョンを照会できます。(DBZ-5092)
-
ts_msフィールドをスキーマ変更イベントに追加して、イベントの発生時または処理時を識別します。(DBZ-5098) -
MongoDB コネクターが oplog エントリーを変換するとき、
DocumentではなくRawBsonDocumentクラスを使用するようになりました。(DBZ-5113) - MySQL のコミットタイムスタンプ。(DBZ-5170)
- イベント SCN が Oracle イベントレコードに含まれるようになりました。(DBZ-5225)
-
UnknownTopicOrPartitionExceptionの発生を回避するために、database.history.kafka.create.timeout.msを設定して、コネクターが Kafka 履歴トピックの作成を待機する時間を指定できるようになりました。(DBZ-5249) - プライマリーキーを変更した後、LOB タイプのデータはソースとシンクの間で整合性が保たれるようになりました。(DBZ-5295)
- MySQL コネクターは、binlog を読み取ろうとしたときにエラーを受け取った後、再試行するようになりました。(DBZ-5333)
- 増分スナップショットの作成中に、Oracle コネクターは、名前にピリオドが含まれるデータベースからのイベントを正しく解析するようになりました。(DBZ-5336)
- スキーマ接頭辞を使用した PostgreSQL のデフォルト値関数呼び出しをサポートします。(DBZ-5340)
-
MySQL コネクターは、MySQL 8.x の未署名の
tinyintデータ型を変換できません。(DBZ-5343) - Oracle コネクターは、キャプチャーされたテーブルに対してサポートされていない LogMiner 操作を検出すると、警告をログに記録します。(DBZ-5351)
- Oracle コネクターは、固有のインデックスがシステム生成列と非システム生成列の両方に基づいている場合に、NullPointerException を出力します。(DBZ-5356)
- 列ハッシュ v2 が MySQL コネクターで機能しなかった問題を修正しました。(DBZ-5366)
- ネスト化された配列で、最初の配列に要素が含まれていない送信イベントペイロードにおいて JSON 拡張に失敗するという問題が修正されました。(DBZ-5367)
- MongoDB 互換の AWS DocumentDB を使用する場合に発生する MongoDB コネクター接続エラーが修正されました。(DBZ-5371)
- Oracle コネクターが CommitScn を予期しない形式で記録する問題を修正しました。(DBZ-5381)
- PostgreSQL コネクターエラー「org.postgresql.util.PSQLException: Bad value for type timestamp/date/time: CURRENT_TIMESTAMP」が修正されました。(DBZ-5384)
-
previousIDプロパティーが履歴トピックにない MySQL コネクターの問題を修正しました。(DBZ-5098) - Check 制約では、スキーマ変更イベントの制約に基づいて列が導入されました。(DBZ-5390)
- PostgreSQL コネクターが PRIMARY KEY として参照される列をキャプチャーしても、一致する列がテーブルに定義されていない場合に発生する問題が修正されました。(DBZ-5398)
-
プラグ可能なデータベースサポートで Oracle を使用する場合の
signal.data.collectionに関するドキュメントを明確化しました。(DBZ-5399) - PostgreSQL コネクターは GMT を使用してタイムスタンプを指定するようになりました。(DBZ-5403)
-
アドホックおよび増分スナップショットは、キャプチャーするデータのサブセットを指定するための
additional-conditionパラメーターをサポートするようになりました。(DBZ-5327) - ストリーミング中に Oracle コネクターがサポートされていない非リレーショナルテーブルを適切に処理できるようにするロジックを追加しました。(DBZ-5441)
- SQL Server コネクタータスクは、"Socket closed" の例外の後に再起動するようになりました。(DBZ-5478)
- 正規表現トピックの命名ストラテジーの一意性キーフィールド/値を拡張します。(DBZ-5480)
- MySqlErrorHandler が SocketException を処理するようになりました。(DBZ-5486)
- MySQL コネクターは、データベース列のコメントをコネクタースキーマに追加するようになりました。(DBZ-5489)
- スキーマ履歴メッセージにデフォルト値と列挙値を公開します。(DBZ-5511)
- BinaryHandlingMode の BASE64_URL_SAFE をサポートします。(DBZ-5544)
- ソースデータベースでオフセットをコミットするときにパーティションを提供します。(DBZ-5557)
-
従来のスナップショットプロセス設定
source.ts_msです。(DBZ-5591) - 論理名の設定をクリーンアップします。(DBZ-5594)
- MySQL コネクターは TRUNCATE イベントをキャプチャーするようになりました。(DBZ-5610)
- ドキュメントに含まれる include/exclude オプションのセマンティクスを明確にします。(DBZ-5625)
-
変更イベントを発行する際に
beforeフィールドを含めるように MongoDB コネクターを設定できるようになりました。(DBZ-5628) - PostgreSQL コネクターでの非増分スナップショットのログ機能が強化されました。(DBZ-5639)
- REGEXP_LIKE disjunctions を減らして、LogMiner クエリーのパフォーマンスを向上させます。(DBZ-5648)
- MongoDB コネクターがハートビートメッセージをサーバーに送信する頻度を設定できます。(DBZ-5736)
- トピック名をサニタイズする機能を強化しました。(DBZ-5790)
-
PostgreSQL コネクターが処理済みレコードの LSN をデータベースに自動的にコミットしないように、
flush.lsn.sourceを設定できるようになりました。(DBZ-5811) -
ComputePartitionSMT を使用して、特定のフィールドに基づいて特定のトピックパーティションにデータをルーティングできるようになりました。(DBZ-5847) -
PostgreSQL コネクターが失敗した LSN チェックをスキップできるように、
event.processing.failure.handling.modeを設定できるようになりました。(DBZ-6012) - 変更の頻度が低いプラガブルデータベースデプロイメント (CDB) で Oracle コネクターを使用する場合は、コネクターオフセットが正しく進むようになりました。(DBZ-6125)