AMQ Streams 1.8 は OpenShift Container Platform 4.6 および 4.8 でサポートされます。

サポートされるプラットフォームバージョンの詳細については、Red Hat ナレッジベースの記事「Red Hat AMQ 7 でサポートされる構成」を参照してください。

AMQ Streams は Apache Kafka バージョン 2.8.0 に対応するようになりました。

AMQ Streams は Kafka 2.8.0 を使用します。Red Hat によってビルドされた Kafka ディストリビューションのみがサポートされます。

ブローカーおよびクライアントアプリケーションを Kafka 2.8.0 にアップグレードする前に、Cluster Operator を AMQ Streams バージョン 1.8 にアップグレードする必要があります。アップグレードの手順は、「Upgrading AMQ Streams」を参照してください。

詳細は、Kafka 2.7.0 および Kafka 2.8.0 のリリースノートを参照してください。

サポートされるバージョンの詳細は、カスタマーポータルの「Red Hat AMQ 7 コンポーネントの詳細」を参照してください。

Kafka バージョン 2.8.0 には ZooKeeper バージョン 3.5.9 が必要です。そのため、AMQ Streams 1.7 から AMQ Streams 1.8. にアップグレードするときに、Cluster Operator は ZooKeeper のアップグレードを実行します。

Kafka クラスター管理者は、Operator のデプロイメント設定で フィーチャーゲートを使用して、機能のサブセットをオンまたはオフに切り替えできるようになりました。フィーチャーゲートは現在 Cluster Operator でのみ利用可能であり、今後のリリースではフィーチャーゲートは他の operator に追加される可能性があります。

AMQ Streams 1.8 では、以下のフィーチャーゲートと関連する新機能が導入されています。

フィーチャーゲートのデフォルトの状態は enabled または disabled になります。フィーチャーゲートを有効にすると、operator の動作が変更され、AMQStreams デプロイメントの機能が有効になります。

フィーチャーゲートには Alpha、Beta、または Generally Available (GA) の成熟度レベルがあります。

「Feature gates」および「Cluster Operator configuration」を参照してください。

標準の AMQ Streams クラスターでは、コントロールプレーントラフィックおよびデータプレーントラフィックはいずれも、ポート 9091 で同じブローカー間リスナーを使用します。

今回のリリースでは、コントロールプレーントラフィックがポート 9090 で専用のコントロールプレーンリスナーを使用するようにクラスターを設定できるようになりました。データプレーントラフィックは、引き続きポート 9091 でリスナーを使用します。

コントロールプレーンリスナーを使用すると、パーティションリーダーシップの変更などの重要なコントローラーコネクションが、ブローカー全体のデータレプリケーションによって遅延されないため、パフォーマンスが向上する可能性があります。大半のデータプレーントラフィックは、このデータレプリケーションで構成されます。

「Control plane listener feature gate」を参照してください。

デフォルトで、Cluster Operator はサービスアカウントを更新しません。

今回のリリースにより、調整ごとのサービスアカウントの更新適用を有効にできます。たとえば、Cluster Operator はカスタムラベルまたはアノテーションをサービスアカウントに適用できます。カスタムラベルとアノテーションは、template.serviceAccount プロパティーを使用してカスタムリソースに対して設定されます。

# ...
template:
  serviceAccount:
    metadata:
      labels:
        label1: value1
        label2: value2
      annotations:
        annotation1: value1
        annotation2: value2
# ...

「Service Account patching feature gate」を参照してください。

Red Hat Debezium は分散型の変更データキャプチャープラットフォームです。データベースの行レベルの変更をキャプチャーして、変更イベントレコードを作成し、Kafka トピックへレコードをストリーミングします。Debezium は Apache Kafka に構築されます。AMQ Streams で Debezium をデプロイおよび統合できます。AMQ Streams のデプロイ後に、Kafka Connect で Debezium をコネクター設定としてデプロイします。Debezium は変更イベントレコードを OpenShift 上の AMQ Streams に渡します。アプリケーションは 変更イベントストリーム を読み取りでき、変更イベントが発生した順にアクセスできます。

Debezium には、以下を含む複数の用途があります。

Debezium は、以下の共通データベースのコネクター (Kafka Connect をベースとする) を提供します。

AMQ Streams で Debezium をデプロイするための詳細は、「製品ドキュメント」を参照してください。

Service Registry は、データストリーミングのサービススキーマの集中型ストアとして使用できます。Kafka では、Service Registry を使用して Apache Avro または JSON スキーマを格納できます。

Service Registry は、REST API および Java REST クライアントを提供し、サーバー側のエンドポイントを介してクライアントアプリケーションからスキーマを登録およびクエリーします。

Service Registry を使用すると、クライアントアプリケーションの設定からスキーマ管理のプロセスが分離されます。クライアントコードに URL を指定して、アプリケーションがレジストリーからスキーマを使用できるようにします。

たとえば、メッセージをシリアライズおよびデシリアライズするスキーマをレジストリーに保存できます。保存後、スキーマを使用するアプリケーションから参照され、アプリケーションが送受信するメッセージがこれらのスキーマと互換性を維持するようにします。

Kafka クライアントアプリケーションは実行時にスキーマを Service Registry からプッシュまたはプルできます。

AMQ Streams で Service Registry を使用するための詳細は、Service Registry のドキュメントを参照してください。

カスタムリソースの v1beta2 へのアップグレードをサポートするため、AMQ Streams では API 変換ツール が提供されます。これはAMQ Streams のダウンロードサイト からダウンロードできます。

カスタムリソースのアップグレードは、2 つのステップで実行します。

各カスタムリソースを、v1beta2 に適用可能な形式に手動で変換することもできます。カスタムリソースを手動で変換する手順は、ドキュメントを参照してください。

完全な手順は、「Upgrading AMQ Streams」を参照してください。

Kafka 2.8.0 に導入された改良機能の概要は『Kafka 2.8.0 Release Notes』を参照してください。

AMQ Streams がデータコネクションに必要なコネクタープラグインでコンテナーイメージを自動的にビルドするために build 設定を使用できます。

専用のサービスアカウントが Kafka Connect ビルド Pod で作成されるようになりました。サービスアカウントは Kafka Connect 自体とは異なります。これまでは、ビルドはデフォルトのサービスアカウントで実行されました。認証とアクセスを指定する場合は、独自の ID があると便利です。

標準の HTTP プロキシー (HTTP_PROXY、HTTPS_PROXY、および NO_PROXY) が AMQ Streams デプロイメントの環境変数として設定されている場合、Kafka Connect ビルドはプロキシーの背後でも機能するようになりました。

以下を参照してください。

Kubernetes Configuration Provider プラグインを使用して、外部ソースから設定データを読み込みます。OpenShift のシークレットまたは ConfigMap からデータをロードできます。

プロバイダーは AMQ Streams とは独立して動作します。新しい Secret または ConfigMap を使用している場合でも、Kafka コンポーネントを再起動することなくデータをロードします。

これを使用して、プロデューサーやコンシューマーを含む、すべての Kafka コンポーネントの設定データを読み込むことができます。たとえば、中断なしで複数のコネクターをホストする Kafka Connect インスタンスのクレデンシャルを提供する場合に使用します。

「Loading configuration values from external sources」を参照してください。

ConfigMap を使用して AMQ Streams Operator のロギングレベル (log4j2) ロギングレベルを設定する場合、ロギングフィルターを定義して、ログに返される内容を制限できるようになりました。フィルタープロパティーを ConfigMap に追加します。

フィルターはマーカーを使用して、ログに含まれる内容を指定します。マーカーの種類、namespace、および名前を指定します。たとえば、Kafka クラスターで障害が発生した場合、種類を Kafka に指定してログを分離し、障害が発生しているクラスターの namespace および名前を使用します。

以下の例は、my-kafka-cluster という名前の Kafka クラスターのマーカーフィルターを示しています。

appender.console.filter.filter1.type=MarkerFilter 1
appender.console.filter.filter1.onMatch=ACCEPT 2
appender.console.filter.filter1.onMismatch=DENY 3
appender.console.filter.filter1.marker=Kafka(my-namespace/my-kafka-cluster) 4

「Adding logging filters to Operators」を参照してください。

以下のシナリオで、このプロパティーを使用します。

これらのプロパティーは、クライアントがトークンとトークンのコンテンツを取得できるかどうかに影響します。リスナーによって課されるトークン検証ルールには影響を与えません。

# ...
  authentication:
    type: oauth
    # ...
    clientAudience: AUDIENCE
    clientScope: SCOPE

承認サーバーは、JWT アクセストークンで aud (audience) クレームを提供することがあります。オーディエンスチェックが有効な場合、Kafka ブローカーは aud クレームにブローカーの clientId が含まれていないトークンを拒否します。オーディエンスチェックを有効にするには、oauth リスナー設定で checkAudience オプションを true に設定します。オーディエンスチェックはデフォルトで無効になっています。

「Configuring OAuth 2.0 support for Kafka brokers」および「KafkaListenerAuthenticationOAuth schema reference」を参照してください。

「KafkaClientAuthenticationOAuth schema reference」を参照してください。

# ...
  authentication:
    type: oauth
    # ...
    enablePlain: true
    tokenEndpointUri: https://OAUTH-SERVER-ADDRESS/auth/realms/external/protocol/openid-connect/token

tokenEndpointUri が指定されていない場合、リスナーは以下を処理します。

OAuth 2.0 over PLAIN 認証の「long-lived access token」メソッドの動作は変更されません。このメソッドを使用する場合は The tokenEndpointUri は必要ありません。

「OAuth 2.0 authentication mechanisms」を参照してください。

User Operator を使用したユーザークォータの処理は ZooKeeper によって管理されなくなりました。その代わりに、ユーザークォータは API 経由で処理されます。

また、Kafka の mutation rate クォータにサポートが追加されました。このクォータは、1 秒あたりに許容されるパーティション変更の数を制限します。このクォータにより、Kafka クラスターが同時にトピック操作に圧倒されないようにします。

パーティションの変更数には、以下のユーザー要求の種類が含まれます。

mutation rate クォータを設定して、ユーザー要求に対して変更が許可されるレートを制御できます。レートは、作成または削除されたパーティション数から累積されます。

controllerMutationRate オプションを使用して、クォータを Kafka ユーザーに適用します。この例では、1 秒あたり 10 個のパーティションの作成および削除操作が許可されています。

apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaUser
metadata:
  name: my-user
  labels:
    strimzi.io/cluster: my-cluster
spec:
  # ...
  quotas:
    #...
    controllerMutationRate: 10 1

「User quotas」を参照してください。

AMQ Streams Operator によって管理されるカスタムリソースの調整を一時停止して、修正の実行や更新を行うことができます。作成するカスタムリソースの調整を一時停止することもできます。カスタムリソースは作成されますが、無視されます。

アノテーションをカスタムリソースに追加して一時停止します。

oc annotate KIND-OF-CUSTOM-RESOURCE NAME-OF-CUSTOM-RESOURCE strimzi.io/pause-reconciliation="true"

KafkaTopic カスタムリソースの調整を一時停止できるようになりました。

「Pausing reconciliation of custom resources」を参照してください。

AMQ Streams で提供される Kafka Exporter のカスタムバージョンがバージョン 1.3.1 に更新されました。AMQ Streamsには、提供されている例（examples/metrics/grafana-dashboards/strimzi-kafka-exporter.json）にKafka ExporterのGrafanaダッシュボードの例が含まれています。

「Add Kafka Exporter」を参照してください。

KafkaConnect リソースを設定すると、カスタム Kafka Connect コンテナーイメージを作成できます。spec.build 設定を使用すると、プロセスが自動化されます。plugins を設定して実装アーティファクトを指定し、output を設定してイメージを格納するコンテナーレジストリーを参照します。AMQ Streams は、コネクタープラグインをダウンロードして、新しいコンテナーイメージに追加します。

ビルドプロセスでは URL ハッシュを使用して、ダウンロードしたアーティファクトファイルを命名するようになりました。以前のバージョンでは、これはダウンロード URL の最後のセグメントを使用していました。プラグインアーティファクトに特定の名前が必要な場合は、新しい other アーティファクトタイプとその fileName フィールドを使用できます。

apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaConnect
metadata:
  name: my-connect-cluster
spec:
  #...
  build:
    output:
      #...
    plugins:
      - name: my-plugin
        artifacts:
          - type: other
            url: https://my-domain.tld/my-other-file.ext
            sha512sum: 589...ab4
            fileName: name-of-file.ext
  #...

「 Build スキーマ参照」を参照してください。

Kafka Static Quota プラグインを使用して、Kafka クラスターのブローカーにスループットおよびストレージの制限を設定します。Kafka リソースを設定して、プラグインを有効にし、制限を設定します。バイトレートのしきい値およびストレージクォータを設定して、ブローカーと対話するクライアントに制限を設けることができます。

apiVersion: kafka.strimzi.io/v1beta2
kind: Kafka
metadata:
  name: my-cluster
spec:
  kafka:
    # ...
    config:
      client.quota.callback.class: io.strimzi.kafka.quotas.StaticQuotaCallback
      client.quota.callback.static.produce: 1000000
      client.quota.callback.static.fetch: 1000000
      client.quota.callback.static.storage.soft: 400000000000
      client.quota.callback.static.storage.hard: 500000000000
      client.quota.callback.static.storage.check-interval: 5

Setting limits on brokers using the Kafka Static Quota pluginを参照してください。

Cruise Control をデプロイし、これを使用して 最適化ゴール (CPU、ディスク、ネットワーク負荷などに定義された制約) を使用し、Kafka をリバランスできます。バランス調整された Kafka クラスターでは、ワークロードがブローカー Pod 全体に均等に分散されます。

Cruise Control は Kafka リソースの一部として設定され、デプロイされます。デフォルトの最適化ゴールを使用するか、要件に合わせて変更できます。Cruise Control の YAML 設定ファイルのサンプルは、examples/cruise-control/ にあります。

Cruise Control がデプロイされると、KafkaRebalance カスタムリソースを作成して以下を行うことができます。

異常検出、通知、独自ゴールの作成、トピックレプリケーション係数の変更などの、その他の Cruise Control の機能は現在サポートされていません。

「Cruise Control for cluster rebalancing」を参照してください。

oc get configmap MY-REBALANCE -o json | jq '.["data"]["brokerLoad.json"]|fromjson|.'

build 設定が KafkaConnect リソースに導入されたため、AMQ Streams はデータコネクションに必要なコネクタープラグインでコンテナーイメージを自動的にビルドできるようになりました。

そのため、S2I (Source-to-Image) 対応の Kafka Connect のサポートが非推奨になりました。

この変更に備えるため、Kafka Connect S2I インスタンスを Kafka Connect インスタンスに移行できます。

「Migrating from Kafka Connect with S2I to Kafka Connect」を参照してください。

enableECDSA プロパティーは、Kafka ブローカーの oauth リスナー設定で非推奨になりました。このプロパティーの値は無視されるようになりました。

ECDSA 暗号化は、JCE (Java Cryptography Extension) で利用できます。Bouncy Castle Crypto ライブラリーは AMQ Streams でパッケージ化されなくなりました。

KafkaMirrorMaker2リソースのtopicsBlacklistPatternおよびgroupsBlacklistPatternプロパティは非推奨になりました。プロパティは削除され、topicsExcludePatternとgroupsExcludePatternに置き換えられます。

KafkaMirrorMakerリソースのwhitelistプロパティは非推奨になりました。このプロパティーは include に置き換えられます。

Kafka Connect のビルドプロセスでは URL ハッシュを使用して、ダウンロードしたアーティファクトファイルを命名するようになりました。以前のバージョンでは、これはダウンロード URL の最後のセグメントを使用していました。

「Kafka Connect build uses hash to name download files」を参照してください。

本セクションでは、Apache Kafka プロジェクトで非推奨となり、削除される重要な機能を事前に報告します。

AMQ Streams には、潜在的に脆弱なバージョンの log4j (log4j-1.2.17.redhat-3) が同梱されています。脆弱性は、デフォルト設定で AMQ Streams によって使用されない SMTP アペンダー機能にあります。

AMQ Streams Cluster Operator は、IPv6 (Internet Protocol version 6) クラスターでは起動しません。