シングルノードの OpenShift で KServe RawDeployment モードを使用して機械学習モデルをデプロイする方法

Issue

現時点では、シングルノード OpenShift で KServe RawDeployment モードを使用した機械学習モデルのデプロイ方法に関するカスタマーポータルのドキュメントがありません。手順については、この記事に従ってください。

注記: この記事の手順は、Red Hat OpenShift AI (RHOAI) Self-Managed 2.11 の新規インストールにのみ有効です。ただし、これらの手順は、切断されたセルフマネージドデプロイメントでは無効です。

重要: シングルノードの OpenShift で KServe RawDeployment モードを使用して機械学習モデルをデプロイする機能は、限定提供機能です。限定提供機能とは、Red Hat AI Business Unit からの特別な承認がある場合にのみ、機能をインストールしてサポートを受けられることを意味します。そのような承認がなければ、その機能はサポートされません。これは、この記事で説明されているすべてのコンテンツに適用されます。

Kserve は 2 種類のデプロイメントモードをサポートしています。つまり、サーバーレスと RawDeployment です。これらの各デプロイメントモードの使用には、利点と欠点の両方があります。

• サーバーレスモード

  • 利点:

    • リクエスト量に基づいて自動スケーリングを有効にします。つまり、リソースは受信リクエストに基づいて自動的にスケールアップされ、リソースの使用を最適化し、ピーク時のパフォーマンスを維持できます。

    • Knative を使用してゼロへのスケールダウンとゼロからのスケールダウンをサポートします。この機能により、受信リクエストがないときにリソースを完全にスケールダウンできるため、アイドル状態のリソースを実行せずにコストを節約できます。

  • 欠点:

    • カスタマイズに関する制限があります。複数のボリュームをマウントする場合など、Serverless は Knative に制限されます。

    • Knative に依存します。スケーリングに Knative を使用すると、従来のスケーリング方法と比較して、セットアップと管理がさらに複雑になる可能性があります。

• RawDeployment モード

  • 利点:

    • Deployment、Service、Ingress、Horizontal Pod Autoscaler などの Kubernetes リソースを使用したデプロイメントを有効にします。Kubernetes リソースを完全に制御し、デプロイメント設定の詳細なカスタマイズと設定を可能にします。

    • 複数のボリュームのマウントなど、Knative による制限を解消します。Knative 特有の制限を解消できるため、複雑な構成や複数のストレージマウントを必要とするアプリケーションにとって有益です。

  • 欠点:

    • 「ゼロへのスケールダウンおよびゼロからのスケールダウン」はサポート対象外です。Knative を使用した Serverless モードとは異なり、RawDeployment モードではアイドル時にリソースをゼロに自動的にスケールダウンすることがサポートされていないため、トラフィックの少ない期間にコストが高くなる可能性があります。

    • スケーリングを手動で管理する必要があります。

手順を実行するための前提条件として、以下の基準を満たしていることを確認します。

• OpenShift コマンドラインインターフェイス (CLI) がインストールされている。OpenShift コマンドラインインターフェイス (CLI) のインストールの詳細は、OpenShift CLI の使用開始 を参照してください。
• OpenShift Container Platform クラスターのクラスター管理者特権がある。
• 4 つの CPU と 16 GB のメモリーを備えたノードを持つ OpenShift クラスターを作成している。
• Red Hat OpenShift AI (RHOAI) Operator がインストールされている。