4.6.4. Kafka Connect プロセスのクラッシュ

Kafka Connector プロセスが予期せずに停止すると、最近処理されたオフセットを記録せずに実行していたコネクタータスクは終了します。Kafka Connect を分散モードで実行している場合、他のプロセスでこれらのコネクタータスクを再起動します。しかし、MongoDB コネクターは以前のプロセスによって 記録 された最後のオフセットから再開します。つまり、新しい代替タスクにより、クラッシュの直前に処理された同じ変更イベントが生成される可能性があります。重複イベントの数は、オフセットのフラッシュ間隔と、クラッシュの直前のデータの変更により異なります。

注記

障害からの復旧中に一部のイベントが複製される可能性があるため、コンシューマーは常に一部のイベントが複製されることを予想する必要があります。Debezium の変更はべき等であるので、一連のイベントは常に同じ状態になります。

Debezium には、MongoDB イベントの一意のトランザクション ID(h)およびタイムスタンプ(sec および ord)を含む各変更イベントの発信元固有の情報も含まれます。コンシューマーは、これらの他の値を追跡し、特定のイベントをすでに確認しているかどうかを確認できます。