Red Hat OpenShift AI: サポートされる構成
この記事では、Red Hat OpenShift AI (RHOAI) 2. の製品 (Self-Managed 2.x および Cloud Service)、RHOAI 2.x のコンポーネント、現在のサポートフェーズ、および基盤となるプラットフォームとの互換性について説明します。
⚠️ 注意: Red Hat OpenShift AI 3.x については、こちら のサポート対象構成ページにアクセスしてください。
Red Hat OpenShift AI Self-Managed
OpenShift AI Self-Managed をインストールするには、Red Hat OpenShift AI Operator をインストールし、製品のスタンドアロンコンポーネントを管理するように Operator を設定します。
RHOAI Self-Managed は、x86_64、ppc64le、s390x、aarch64 アーキテクチャーで実行される OpenShift Container Platform でサポートされます。これには次のプロバイダーが含まれます。
- ベアメタル
- ベアメタル上の Hosted Control Plane
- IBM Cloud
- Red Hat OpenStack
- Amazon Web Services
- Google Cloud Platform
- Microsoft Azure
- VMware vSphere
- Oracle Cloud
- IBM Power (テクノロジープレビュー)
- IBM Z (テクノロジープレビュー)
これには、OpenShift Dedicated、Red Hat OpenShift Service on AWS (ROSA with HCP)、Red Hat OpenShift Service on AWS (クラシックアーキテクチャー)、Microsoft Azure Red Hat OpenShift、OpenShift Kubernetes Engine などのマネージド OpenShift サービスでの RHOAI Self-Managed のサポートも含まれます。現在、RHOAI Self-Managed は、MicroShift などのプラットフォームで実行されている OpenShift ではサポートされていません。
RHOAI Self-Managed ライフサイクルと現在サポート対象のリリースの全体像については、こちらの ページ を参照してください。
x86_64 アーキテクチャー
| Operator バージョン | コンポーネント | OpenShift バージョン | チップセットアーキテクチャー | |||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| CodeFlare | Dashboard | Data Science Pipelines | Distributed Inference with llm-d | Feature Store | KServe | Kubeflow Training | Kuberay | Kueue | Red Hat Build of Kueue Operator | Llama Stack | Model Mesh Serving | モデルレジストリー | TrustyAI | Workbenches | ||
| 2.25 | 非推奨 | GA | GA | TP | TP | GA | 非推奨* | GA | 非推奨 | GA | TP | 非推奨 | GA | GA | GA | 4.16, 4.17, 4.18, 4.19, 4.20 | x86_64 |
| 2.22 | GA | GA | GA | - | TP | GA | GA | GA | GA | - | - | 非推奨 | TP | GA | GA | 4.16, 4.17, 4.18, 4.19 | x86_64 |
| 2.16 | GA | GA | GA | - | - | GA | TP | GA | GA | - | - | GA | TP | GA | GA | 4.14, 4.16, 4.17, 4.18, 4.19 | x86_64 |
* 現在のバージョンに代わる Kubeflow v2 が、RHOAI 3.2 でリリースされる予定です。
ARM アーキテクチャー
| Operator バージョン | コンポーネント | OpenShift バージョン | チップセットアーキテクチャー | |||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| CodeFlare | Dashboard | Data Science Pipelines | Distributed Inference with llm-d | Feature Store | KServe | Kubeflow Training | Kuberay | Kueue | Red Hat Build of Kueue Operator | Llama Stack | Model Mesh Serving | モデルレジストリー | TrustyAI | Workbenches | ||
| 2.25 | 非推奨 | GA | GA | TP | TP* | GA | 非推奨** | GA | 非推奨 | GA | TP | 非推奨 | GA | GA | GA | 4.16, 4.17, 4.18, 4.19, 4.20 | aarch64 |
* aarch64 アーキテクチャーでは Intelligent Inference Routing のみがサポートされています。
** 現在のバージョンに代わる Kubeflow v2 が、RHOAI 3.2 でリリースされる予定です。
IBM Z (s390x) アーキテクチャー
| Operator バージョン | コンポーネント | OpenShift バージョン | チップセットアーキテクチャー | |||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| CodeFlare | Dashboard | Data Science Pipelines | Distributed Inference with llm-d | Feature Store | KServe | Kubeflow Training | Kuberay | Kueue | Red Hat Build of Kueue Operator | Llama Stack | Model Mesh Serving | モデルレジストリー | TrustyAI | Workbenches | ||
| 2.25 | 非推奨 | TP | - | - | TP | TP | 非推奨* | - | 非推奨 | - | - | - | TP | TP | TP | 4.19 | s390x |
| 2.22 | - | TP | - | - | - | TP | - | - | - | - | - | - | - | - | - | 4.18, 4.19 | s390x |
* 現在のバージョンに代わる Kubeflow v2 が、RHOAI 3.2 でリリースされる予定です。
IBM Power (ppc64le) アーキテクチャー
| Operator バージョン | コンポーネント | OpenShift バージョン | チップセットアーキテクチャー | |||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| CodeFlare | Dashboard | Data Science Pipelines | Distributed Inference with llm-d | Feature Store | KServe | Kubeflow Training | Kuberay | Kueue | Red Hat Build of Kueue Operator | Llama Stack | Model Mesh Serving | モデルレジストリー | TrustyAI | Workbenches | ||
| 2.25 | 非推奨 | TP | TP | - | TP | TP | 非推奨* | - | 非推奨 | TP | - | - | TP | TP | TP | 4.19 | ppc64le |
| 2.22 | - | TP | - | - | - | TP | - | - | - | - | - | - | - | - | - | 4.18, 4.19 | ppc64le |
* 現在のバージョンに代わる Kubeflow v2 が、RHOAI 3.2 でリリースされる予定です。
Red Hat OpenShift AI Cloud Service
OpenShift AI Cloud Service をインストールするには、Red Hat OpenShift AI アドオンをインストールし、そのアドオンを使用して製品のスタンドアロンコンポーネントを管理します。このアドオンは単一のバージョンで提供され、クラウドサービスの最新の更新が常に反映されます。
RHOAI Cloud Service は、OpenShift Dedicated (AWS および GCP) および Red Hat OpenShift Service on AWS (クラシックアーキテクチャー) でサポートされています。現在、RHOAI Cloud Service は、Microsoft Azure Red Hat OpenShift および ROSA with HCP などのプラットフォームサービスではサポートされていません。
RHOAI Cloud Service のライフサイクルと現在サポートされているリリースの全体像については、こちらの ページ を参照してください。
注記:2.25 は、Red Hat OpenShift AI Cloud Service の最後の更新となる見込みです。
| アドオンバージョン | コンポーネント | OpenShift バージョン | チップセットアーキテクチャー | |||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| CodeFlare | Dashboard | Data Science Pipelines | Distributed Inference with llm-d | Feature Store | KServe | Kubeflow Training | Kuberay | Kueue | Red Hat Build of Kueue Operator | Llama Stack | Model Mesh Serving | モデルレジストリー | TrustyAI | Workbenches | ||
| 2.25 | 非推奨 | GA | GA | TP | TP | GA | 非推奨* | GA | 非推奨 | GA | TP | 非推奨 | GA | GA | GA | 4.16, 4.17, 4.18, 4.19, 4.20 | x86_64 |
TP: テクノロジープレビュー
DP: 開発者プレビュー
開発者およびテクノロジープレビュー: 比較
LA: Limited Availability (限定提供)このフェーズでは、Red Hat からの特別な承認がある場合にのみ、機能をインストールしてサポートを受けることができます。そのような承認がなければ、その機能はサポートされません。
GA: 一般提供開始日
EUS: Extended Update Support.EUS フェーズ中、Red Hat はコンポーネント固有のサポートを提供します。
EOL: ライフサイクルの終了日このフェーズでは、コンポーネントはサポートされなくなります。
RHOAI と vLLM のバージョンの互換性
次の表は、Red Hat OpenShift AI の各バージョンに含まれている vLLM モデルサービングランタイムのバージョンを示しています。
| RHOAI バージョン | vLLM CUDA | vLLM ROCm | vLLM Power/Z | vLLM Gaudi |
|---|---|---|---|---|
| RHOAI-2.25 | v0.10.1.1 | v0.10.1.1 | v0.10.1.1.6 | v0.8.5+Gaudi-1.21.3 |
| RHOAI-2.22 | v0.9.1.0 | v0.8.4.3 | v0.9.1.0 | v0.7.2+Gaudi-1.21.0 |
| RHOAI-2.16 | v0.6.3.post1 | v0.6.3.post1 | v0.6.6.post1+Gaudi-1.20.0 |
RHOAI と Distributed Inference with llm-d の互換性
次の表は、Red Hat OpenShift AI の各バージョンに含まれている llm-d のバージョンを示しています。
| RHOAI バージョン | llm-d | ステータス |
|---|---|---|
| RHOAI-3.0 | v0.2 | テクノロジープレビュー |
| RHOAI-2.25 | v0.2 | テクノロジープレビュー |
RHOAI:Distributed Inference with llm-d のサポートされるハードウェア
NVIDIA
llm-d Well-Lit Path |
主な目標 | NVIDIA ハードウェア | ネットワーク要件 | ストレージ要件 |
|---|---|---|---|---|
| インテリジェントな推論スケジューリング | リクエストを最適な GPU にルーティングします。 | H100, H200, B200, A100 | 標準 DC イーサネット (25/100 GbE) | ローカル SSD (NVMe 推奨) |
| P/D 分離 | コンピュートのプレフィルとデコード段階を分離します。 | H100, H200, B200 | 高速イーサネット (100 GbE) | ローカル SSD (NVMe 推奨) |
| KV キャッシュ管理 (N/S オフロード) | KV キャッシュを CPU RAM にオフロードすることでスループットを向上させます。 | H100, H200, B200, A100 | 標準 DC イーサネット (25/100 GbE) | 高速 NVMe SSD |
| Wide Expert Parallelism (WEP) | MoE モデルを多数の GPU に分散します。 | H100, H200, B200 | RDMA を備えた HPC ファブリック: InfiniBand, RoCE | 高速 NVMe SSD |
AMD
llm-d Well-Lit Path |
主な目標 | AMD ハードウェア | ネットワーク要件 | ストレージ要件 |
|---|---|---|---|---|
| インテリジェントな推論スケジューリング | リクエストを最適な GPU にルーティングします。 | MI300X | 標準 DC イーサネット (25/100 GbE) | ローカル SSD (NVMe 推奨) |
| P/D 分離 | コンピュートのプレフィルとデコード段階を分離します。 | サポート対象外 | 該当なし | 該当なし |
| KV キャッシュ管理 (N/S オフロード) | KV キャッシュを CPU RAM にオフロードすることでスループットを向上させます。 | MI300X | 標準 DC イーサネット (25/100 GbE) | ローカル SSD (NVMe 推奨) |
| Wide Expert Parallelism (WEP) | MoE モデルを多数の GPU に分散します。 | サポート対象外 | 該当なし | 該当なし |
Red Hat OpenShift AI Operator の依存関係
Red Hat OpenShift AI Operator 依存関係の互換性とサポート対象のバージョンについては、次のドキュメントを参照してください。
- Red Hat OpenShift Serverless: リリースノート
- Red Hat OpenShift Service Mesh: リリースノート
- Node Feature Discovery Operator: ドキュメント
- Red Hat - Authorino Operator: ドキュメント
- NVIDIA GPU Operator: ドキュメント
- Intel Gaudi Base Operator: ドキュメント
- AMD GPU Operator: ドキュメント
- NVIDIA ネットワーク Operator: ドキュメント
- Red Hat Connectivity Link: リリースノート
- IBM Spyre Operator: ドキュメント
現在、OpenShift Service Mesh v3 はサポートされていません。
現在、Red Hat - Authorino Operator は、Red Hat OpenShift AI でサポートされている唯一の Red Hat Connectivity Link コンポーネントです。Red Hat - Authorino Operator をインストールまたはアップグレードするには、Red Hat OpenShift AI ドキュメント の手順に従います。
Red Hat OpenShift AI では、CodeFlare Operator は別個の Operator ではなく、基本製品に含まれています。Red Hat またはコミュニティーから個別にインストールされた CodeFlare Operator のインスタンスはサポートされていません。詳細は、Red Hat ナレッジベースソリューション記事 How to migrate from a separately installed CodeFlare Operator in your data science cluster を参照してください。
Red Hat OpenShift AI は特定のアクセラレーターを直接サポートしません。OpenShift AI でアクセラレーター機能を使用するには、関連するアクセラレーター Operator が必要です。OpenShift AI は、関連する Operator との統合をサポートしています。また、NVIDIA GPU、AMD GPU、Intel Gaudi AI アクセラレーター、および IBM Spyre を利用するためのライブラリーを含む多数のコンテナイメージを製品全体で提供しています。Operator でサポートされているデバイスの詳細は、その Operator のドキュメントを参照してください。
サポート要件と制限
このセクションを参照して、Red Hat サポートの要件と、Red Hat OpenShift AI の Red Hat サポートの制限事項を把握してください。
サポート対象のブラウザー
- Google Chrome
- Mozilla Firefox
- Safari
サポート対象のサービス
Red Hat OpenShift AI は次のサービスをサポートしています。
| サービス名 | 説明 |
|---|---|
| EDB Postgres AI - Pgvector を含むソリューション | Pgvector をはじめとする EDB のベクトルデータベースソリューションを使用して、AI RAG およびマルチモーダル AI レコメンダーアプリケーション向けの強力なハイブリッド検索を使用します。統合された Postgres 環境で、ネイティブベクトルインデックス検索、エンタープライズグレードのセキュリティー、スケーラビリティーを利用して、AI、トランザクション、および分析関連のワークロードを 1 つにまとめます。 |
| Elasticsearch | 革新的な RAG アプリケーションの構築、オブザーバビリティーの問題のプロアクティブな解決、複雑なセキュリティー脅威への対処を、Search AI の力によってすべて実現します。 |
| IBM Watson Studio | IBM® watsonx.ai は、IBM watsonx AI およびデータプラットフォームの構成要素の 1 つです。基盤モデルを活用した新しい生成 AI 機能と、従来の機械学習 (ML) を統合し、AI ライフサイクル全体に対応する強力なスタジオ環境を提供します。 |
| Intel® oneAPI AI Analytics Toolkit Container | AI Kit は、Intel® アーキテクチャー上でのエンドツーエンドのデータサイエンスと分析パイプラインを高速化する AI ソフトウェアツールです。 |
| NVIDIA NIM | NVIDIA AI Enterprise の一部である NVIDIA NIM は、クラウド、データセンター、ワークステーションに高性能 AI モデル推論をセキュアかつ確実にデプロイできるように設計された、使いやすいマイクロサービスのセットです。オープンソースコミュニティーや NVIDIA AI Foundation モデルを含む幅広い AI モデルをサポートしており、業界標準の API を活用して、オンプレミスでもクラウドでも、シームレスでスケーラブルな AI 推論を実現します。 |
| OpenVINO | OpenVINO は、深層学習のパフォーマンスを最適化し、推論エンジンを使用して Intel® ハードウェアにデプロイするのに役立つオープンソースツールキットです。 |
| Pachyderm | Pachyderm は機械学習のデータ基盤です。データサイエンスチームが機械学習のライフサイクルを自動化できるように、業界最高水準のパイプライン、データのバージョン管理、データリネージ機能を提供します。 |
| Starburst Enterprise | Starburst Enterprise プラットフォーム (SEP) は、オープンソースの Massively Parallel Processing (MPP) ANSI SQL クエリーエンジンである Trino の商用ディストリビューションです。 Starburst は、データがどこに保存されているかに関係なく、すべてのデータへの高速アクセスを提供することで、Red Hat OpenShift AI ワークロードのデータアクセスを簡素化します。 Starburst はこれを実現するために、各データソースに直接接続し、データを処理のためにメモリーに戻します。これにより、最初にデータを一箇所にコピーまたは移動する必要性を減らしています。 |
| Jupyter | Jupyter は、企業、教室、研究室向けに設計されたマルチユーザーバージョンの notebook です。 |
サポート対象のワークベンチイメージ
Red Hat OpenShift AI でサポートされている最新のワークベンチイメージは、デフォルトで Python とともにインストールされます。
サポート対象の Python のバージョンと互換性があるパッケージであれば、そのパッケージに必要なバイナリーが含まれるワークベンチサーバーにインストールできます。使用するワークベンチイメージに必要なバイナリーが含まれていない場合は、Red Hat サポートに連絡して、バイナリーを含めるように依頼してください。
モデル開発に一貫性のある安定したプラットフォームを提供するには、同じバージョンの Python を含むワークベンチイメージを選択します。OpenShift AI で利用可能なワークベンチイメージは、あらかじめビルドされており、OpenShift AI をインストールまたはアップグレードした後すぐに使用できます。
ワークベンチイメージは少なくとも 1 年間サポートされます。事前設定されたワークベンチイメージに対するメジャー更新は、約 6 カ月ごとに行われます。したがって通常はいつでも、サポート対象のワークベンチイメージバージョンを 2 つ利用できます。このサポート期間を活用して、利用可能な最新のワークベンチイメージのコンポーネントを使用するようにコードを更新できます。最新の 2 つのバージョン以外に、レガシーなワークベンチイメージバージョンも選択できる場合があります。レガシーイメージバージョンには、イメージが古くなっていることを示すラベルが含まれています。最新のパッケージバージョンを使用できるように、Red Hat は、最近追加されたワークベンチイメージを使用することを推奨します。サポートされなくなった場合でも、必要に応じて、レジストリーから古いワークベンチイメージにアクセスできます。そのため、プロジェクトの特定の要件に合わせて、古いワークベンチイメージをカスタムワークベンチイメージとして追加できます。
次の表で テクノロジープレビュー として示されているワークベンチイメージは、Red Hat の製品サービスレベルアグリーメント (SLA) ではサポートされておらず、機能的に完全ではない可能性があります。Red Hat は テクノロジープレビュー 機能を実稼働環境で使用することを推奨していません。これらの機能は、今後の製品機能への早期アクセスを提供することで、お客様が機能をテストし、開発プロセス中にフィードバックを提供できるようにしています。
| イメージ名 | イメージバージョン | プリインストールパッケージ |
|---|---|---|
| Code Server | Data Science | CPU | Python 3.12 | 2025.2 (推奨) | code-server 4.104、Python 3.12、Boto3: 1.40、Kafka-Python-ng: 2.2、Matplotlib: 3.10、Numpy: 2.3、Pandas: 2.3、Scikit-learn: 1.7、Scipy: 1.16、Sklearn-onnx: 1.19、ipykernel: 6.30、Kubeflow-Training: 1.9 |
| 2025.1 | code-server 4.98, Python 3.11, Boto3:1.37, Kafka-Python-ng:2.2、Matplotlib: 3.10、Numpy: 2.2、Pandas: 2.2、Scikit-learn: 1.6, Scipy:1.15, Sklearn-onnx:1.18, ipykernel:6.29, Kubeflow-Training: 1.9 | |
| Jupyter | Data Science | CPU | Python 3.12 | 2025.2 (推奨) | Python 3.12、JupyterLab: 4.4、Boto3: 1.40、Kafka-Python-ng: 2.2、Kfp: 2.14、Matplotlib: 3.10、Numpy: 2.3、Pandas: 2.3、Scikit-learn: 1.7、Scipy: 1.16、Odh-Elyra: 4.2、PyMongo: 4.14, Pyodbc:5.2、Codeflare-SDK: 0.31, Feast:0.53, Sklearn-onnx:1.19, Psycopg:3.2、MySQL Connector/Python: 9.4、Kubeflow-Training: 1.9 |
| 2025.1 | Python 3.11、JupyterLab: 4.4、Boto3: 1.37、Kafka-Python-ng: 2.2、Kfp: 2.12、Matplotlib: 3.10、Numpy: 2.2、Pandas: 2.2、Scikit-learn: 1.6、Scipy: 1.15、Odh-Elyra: 4.2、PyMongo: 4.11、Pyodbc: 5.2、Codeflare-SDK: 0.30、Sklearn-onnx: 1.18、Psycopg: 3.2、MySQL Connector/Python: 9.3、Kubeflow-Training: 1.9 | |
| Jupyter | Minimal | CPU | Python 3.12 | 2025.2 (推奨) | Python 3.12、JupyterLab: 4.4 |
| 2025.1 | Python 3.11、JupyterLab: 4.4 | |
| Jupyter | 最小限 | CUDA | Python 3.12 | 2025.2 (推奨) | CUDA 12.8、Python 3.12、JupyterLab: 4.4 |
| 2025.1 | CUDA 12.6、Python 3.11、JupyterLab: 4.4 | |
| Jupyter | 最小限 | ROCm | Python 3.12 | 2025.2 (推奨) | ROCm 6.2, Python 3.12, JupyterLab:4.4 |
| 2025.1 | ROCm 6.2、Python 3.11、JupyterLab: 4.4 | |
| Jupyter | PyTorch LLM Compressor | CUDA | Python 3.12 | 2025.2 | CUDA 12.8、Python 3.12、JupyterLab: 4.4、PyTorch: 2.7, LLM-Compressor:0.7, Tensorboard:2.20, Boto3:1.40、Kafka-Python-ng: 2.2、Kfp: 2.14、Matplotlib: 3.10、Numpy: 2.2、Pandas: 2.3、Scikit-learn: 1.7、Scipy: 1.16、Odh-Elyra: 4.2、PyMongo: 4.14, Pyodbc:5.2、Codeflare-SDK: 0.31, Feast:0.53, Sklearn-onnx:1.19, Psycopg:3.2、MySQL Connector/Python: 9.4、Kubeflow-Training: 1.9 |
| Jupyter | PyTorch | CUDA | Python 3.12 | 2025.2 (推奨) | CUDA 12.8、Python 3.12、JupyterLab: 4.4、PyTorch: 2.7、Tensorboard: 2.20、Boto3: 1.40、Kafka-Python-ng: 2.2、Kfp: 2.14、Matplotlib: 3.10、Numpy: 2.3、Pandas: 2.3、Scikit-learn: 1.7、Scipy: 1.16、Odh-Elyra: 4.2、PyMongo: 4.14, Pyodbc:5.2、Codeflare-SDK: 0.31, Feast:0.53, Sklearn-onnx:1.19, Psycopg:3.2、MySQL Connector/Python: 9.4、Kubeflow-Training: 1.9 |
| 2025.1 | CUDA 12.6、Python 3.11、JupyterLab: 4.4、PyTorch: 2.6、Tensorboard: 2.19、Boto3: 1.37、Kafka-Python-ng: 2.2、Kfp: 2.12、Matplotlib: 3.10、Numpy: 2.2、Pandas: 2.2、Scikit-learn: 1.6、Scipy: 1.15、Odh-Elyra: 4.2、PyMongo: 4.11、Pyodbc: 5.2、Codeflare-SDK: 0.30、Sklearn-onnx: 1.18、Psycopg: 3.2、MySQL Connector/Python: 9.3、Kubeflow-Training: 1.9 | |
| Jupyter | PyTorch | ROCm | Python 3.12 | 2025.2 (推奨) | ROCm 6.4, Python 3.12, JupyterLab:4.4、ROCm-PyTorch: 2.7、Tensorboard: 2.20、Kafka-Python-ng: 2.2、Matplotlib: 3.10、Numpy: 2.3、Pandas: 2.3、Scikit-learn: 1.7、Scipy: 1.16、Odh-Elyra: 4.2、PyMongo: 4.14, Pyodbc:5.2、Codeflare-SDK: 0.31, Feast:0.53, Sklearn-onnx:1.19, Psycopg:3.2、MySQL Connector/Python: 9.4、Kubeflow-Training: 1.9 |
| 2025.1 | ROCm 6.2、Python 3.11、JupyterLab: 4.4、ROCm-PyTorch: 2.6、Tensorboard: 2.18、Kafka-Python-ng: 2.2、Matplotlib: 3.10、Numpy: 2.2、Pandas: 2.2、Scikit-learn: 1.6、Scipy: 1.15、Odh-Elyra: 4.2、PyMongo: 4.11、Pyodbc: 5.2、Codeflare-SDK: 0.30、Sklearn-onnx: 1.18、Psycopg: 3.2、MySQL Connector/Python: 9.3、Kubeflow-Training: 1.9 | |
| Jupyter | TensorFlow | CUDA | Python 3.12 | 2025.2 (推奨) | CUDA 12.8、Python 3.12、JupyterLab: 4.4、TensorFlow: 2.20、Tensorboard: 2.20、Nvidia-CUDA-CU12-Bundle: 12.9、Boto3: 1.40、Kafka-Python-ng: 2.2、Kfp: 2.14、Matplotlib: 3.10、Numpy: 2.1、Pandas: 2.3、Scikit-learn: 1.7、Scipy: 1.16、Odh-Elyra: 4.2、PyMongo: 4.14, Pyodbc:5.2、Codeflare-SDK: 0.31, Feast:0.53, Sklearn-onnx:1.19, Psycopg:3.2、MySQL Connector/Python: 9.4 |
| 2025.1 | CUDA 12.6、Python 3.11、JupyterLab: 4.4、TensorFlow: 2.18、Tensorboard:2.18、Nvidia-CUDA-CU12-Bundle:12.5、Boto3:1.37、Kafka-Python-ng: 2.2、Kfp: 2.12、Matplotlib: 3.10、Numpy: 1.26、Pandas: 2.2、Scikit-learn: 1.6、Scipy: 1.15、Odh-Elyra: 4.2、PyMongo: 4.11、Pyodbc: 5.2、Codeflare-SDK: 0.30、Sklearn-onnx: 1.18、Psycopg: 3.2、MySQL Connector/Python: 9.3 | |
| Jupyter | TensorFlow | ROCm | Python 3.12 | 2025.2 (推奨) | ROCm 6.4, Python 3.12, JupyterLab:4.4, TensorFlow-ROCm:2.18、Tensorboard:2.18、Kafka-Python-ng: 2.2、Matplotlib: 3.10、Numpy: 2.0, Pandas:2.3, Scikit-learn:1.7、Scipy: 1.16、Odh-Elyra: 4.2、PyMongo: 4.14, Pyodbc:5.2、Codeflare-SDK: 0.31, Feast:0.53, Sklearn-onnx:1.19, Psycopg:3.2、MySQL Connector/Python: 9.4 |
| 2025.1 | ROCm 6.2、Python 3.11、JupyterLab: 4.4、TensorFlow-ROCm:2.14、Tensorboard: 2.14、Kafka-Python-ng: 2.2、Matplotlib: 3.10、Numpy: 1.26、Pandas: 2.2、Scikit-learn: 1.6、Scipy: 1.15、Odh-Elyra: 4.2、PyMongo: 4.11、Pyodbc: 5.2、Codeflare-SDK: 0.30、Sklearn-onnx: 1.17、Psycopg: 3.2、MySQL Connector/Python: 9.3 | |
| Jupyter | TrustyAI | CPU | Python 3.12 | 2025.2 (推奨) | Python 3.12、JupyterLab: 4.4、TrustyAI: 0.6、Transformers: 4.56、Datasets: 4.0、Accelerate:1.10、Torch: 2.7、Boto3: 1.40、Kafka-Python-ng: 2.2、Kfp: 2.14、Matplotlib: 3.10、Numpy: 1.26、Pandas: 1.5、Scikit-learn: 1.7、Scipy: 1.16、Odh-Elyra: 4.2、PyMongo: 4.14, Pyodbc:5.2、Codeflare-SDK: 0.31, Sklearn-onnx:1.19, Psycopg:3.2、MySQL Connector/Python: 9.4、Kubeflow-Training: 1.9 |
| 2025.1 | Python 3.11、JupyterLab: 4.4、TrustyAI: 0.6、Transformers: 4.55、Datasets:3.4、Accelerate:1.5、Torch:2.6、Boto3:1.37、Kafka-Python-ng: 2.2、Kfp: 2.12、Matplotlib: 3.10、Numpy: 1.26、Pandas: 1.5、Scikit-learn: 1.7、Scipy: 1.15、Odh-Elyra: 4.2、PyMongo: 4.11、Pyodbc: 5.2、Codeflare-SDK: 0.29、Sklearn-onnx:1.18、Psycopg: 3.2、MySQL Connector/Python: 9.3、Kubeflow-Training: 1.9 |
サポートされているモデルサービングランタイム
| ランタイム名 | 説明 | エクスポートされるモデル形式 |
|---|---|---|
| vLLM Spyre AI Accelerator ServingRuntime for KServe | x86 上の IBM Spyre AI アクセラレーターをサポートする、高スループットでメモリー効率の高い推論およびサービングランタイム | サポートされているモデル |
| Caikit Text Generation Inference Server (Caikit-TGIS) ServingRuntime for KServe (1) | Caikit 形式のモデルをサービングするための複合ランタイム | Caikit Text Generation |
| Caikit Standalone ServingRuntime for KServe (2) | エンベディングタスク用の Caikit エンベディング形式でモデルをサービングするためのランタイム | Caikit Embeddings |
| OpenVINO Model Server | Intel アーキテクチャー向けに最適化されたモデルをサービングするためのスケーラブルで高性能なランタイム | PyTorch、TensorFlow、OpenVINO IR、PaddlePaddle、MXNet、Caffe、Kaldi |
| [非推奨] Text Generation Inference Server (TGIS) Standalone ServingRuntime for KServe (3) | TGI 対応モデルをサービングするためのランタイム | PyTorch Model Formats |
| vLLM NVIDIA GPU ServingRuntime for KServe | NVIDIA GPU アクセラレーターをサポートする、大規模言語モデル向けの高スループットでメモリー効率の高い推論およびサービングランタイム | サポートされているモデル |
| vLLM Intel Gaudi Accelerator ServingRuntime for KServe | Intel Gaudi アクセラレーターをサポートする、高スループットでメモリー効率の高い推論およびサービングランタイム | サポートされているモデル |
| vLLM AMD GPU ServingRuntime for KServe | AMD GPU アクセラレーターをサポートする、高スループットでメモリー効率の高い推論およびサービングランタイム | サポートされているモデル |
| CPU ServingRuntime for KServe | IBM Power (ppc64le) および IBM Z (s390x) をサポートする、高スループットでメモリー効率の高い推論およびサービングランタイム | サポートされているモデル |
(1) Caikit-TGIS 複合ランタイムは、Caikit と Text Generation Inference Server (TGIS) に基づいています。このランタイムを使用するには、モデルを Caikit 形式に変換する必要があります。例については、caikit-tgis-serving リポジトリーの Converting Hugging Face Hub models to Caikit format を参照してください。
(2) Caikit Standalone ランタイムは Caikit NLP に基づいています。このランタイムを使用するには、モデルを Caikit エンベディング形式に変換する必要があります。例については、Tests for text embedding module を参照してください。
(3) Text Generation Inference Server (TGIS) Standalone ServingRuntime for KServe は非推奨です。詳細は、Red Hat OpenShift AI リリースノート を参照してください。
サポートされているモデルサービングランタイムのデプロイメント要件
| ランタイム名 | デフォルトプロトコル | 追加プロトコル | モデルメッシュのサポート | シングルノード OpenShift のサポート | デプロイメントモード |
|---|---|---|---|---|---|
| vLLM Spyre AI Accelerator ServingRuntime for KServe | REST | いいえ | いいえ | はい | Raw およびサーバーレス |
| Caikit Text Generation Inference Server (Caikit-TGIS) ServingRuntime for KServe | REST | gRPC | いいえ | はい | Raw およびサーバーレス |
| Caikit Standalone ServingRuntime for KServe | REST | gRPC | いいえ | はい | Raw およびサーバーレス |
| OpenVINO Model Server | REST | なし | はい | はい | Raw およびサーバーレス |
| [非推奨] Text Generation Inference Server (TGIS) Standalone ServingRuntime for KServe | gRPC | なし | いいえ | はい | Raw およびサーバーレス |
| vLLM NVIDIA GPU ServingRuntime for KServe | REST | なし | いいえ | はい | Raw およびサーバーレス |
| vLLM Intel Gaudi Accelerator ServingRuntime for KServe | REST | なし | いいえ | はい | Raw およびサーバーレス |
| vLLM AMD GPU ServingRuntime for KServe | REST | なし | いいえ | はい | Raw およびサーバーレス |
| vLLM CPU ServingRuntime for KServe (1) | REST | なし | いいえ | はい | Raw |
(1) vLLM CPU ServingRuntime for KServe については、IBM Z および IBM Power アーキテクチャーを使用している場合、標準デプロイメントモードでのみモデルをデプロイできます。
テストおよび検証済みのモデルサービングランタイム
| 名前 | 説明 | エクスポートされるモデル形式 |
|---|---|---|
| NVIDIA Triton Inference Server | アプリケーションで高速かつスケーラブルな AI を実現するオープンソースの推論サービスソフトウェア。 | TensorRT、TensorFlow、PyTorch、ONNX、OpenVINO、Python、RAPIDS FIL など |
| Seldon MLServer | 機械学習モデルのデプロイを簡素化するように設計されたオープンソースの推論サーバー。 | Scikit-Learn (sklearn)、XGBoost、LightGBM、CatBoost、HuggingFace、MLflow |
テストおよび検証済みのモデルサービングランタイムのデプロイメント要件
| 名前 | デフォルトプロトコル | 追加プロトコル | モデルメッシュのサポート | シングルノード OpenShift のサポート | デプロイメントモード |
|---|---|---|---|---|---|
| NVIDIA Triton Inference Server | gRPC | REST | はい | はい | 標準および詳細 |
| Seldon MLServer | gRPC | REST | いいえ | はい | 標準と上級 |
注記:Seldon の alibi-detect および alibi-explain ライブラリーは、Business Source License 1.1 (BSL 1.1) に基づいています。これらのライブラリーは、認定済みの Seldon MLServer ランタイムの一部として {org-name} によってテスト、検証、またはサポートされていません。ランタイムを使用する実稼働環境でこれらのライブラリーを使用することは推奨しません。
トレーニングイメージ
OpenShift AI で分散トレーニングジョブを実行するには、次のいずれかのタイプのトレーニングイメージを使用します。
- ドキュメントに記載されたユースケースおよび構成に対してテストおよび検証された、Ray ベースのトレーニングイメージ
- Red Hat が Kubeflow Training Operator (KFTO) で使用するためにサポートしているトレーニングイメージ
Ray ベースのトレーニングイメージ
次の表は、Red Hat OpenShift AI で利用可能な最新の Ray ベースのトレーニングイメージに関する情報を示しています。これらのイメージは AMD64 イメージであり、他のアーキテクチャーでは動作しない可能性があります。
提供されているイメージをベースイメージとして使用し、製品ドキュメントに記載されているように、追加のパッケージをインストールしてカスタムイメージを作成できます。使用するトレーニングイメージに必要なパッケージが含まれていない場合は、Red Hat サポートに連絡して、パッケージを含めるよう依頼してください。
イメージは、インストール済みパッケージの新規バージョンに定期的に更新されます。これらのイメージは、対応する製品ドキュメントに記載されているユースケースと構成に合わせてテストおよび検証されています。バグ修正と CVE 修正は、アップストリームパッケージで利用可能になり次第、これらのイメージの新しいバージョンでのみ提供されます。修正は、以前のイメージバージョンにはバックポートされません。
| イメージタイプ | RHOAI バージョン | イメージバージョン | URL | プリインストールパッケージ |
|---|---|---|---|---|
| CUDA | 2.25 | 2.47.1-py312-cu128 | quay.io/modh/ray:2.47.1-py312-cu128 | Ray 2.47.1、CUDA 12.8、Python 3.12 |
| 2.47.1-py311-cu121 | quay.io/modh/ray:2.47.1-py311-cu121 | Ray 2.47.1、CUDA 12.1、Python 3.11 | ||
| 2.22 | 2.46.0-py311-cu121 | quay.io/modh/ray:2.46.0-py311-cu121 | Ray 2.46.0, CUDA 12.1, Python 3.11 | |
| 2.16 | 2.35.0-py311-cu121 | quay.io/modh/ray:2.35.0-py311-cu121 | Ray 2.35, CUDA 12.1, Python 3.11 | |
| 2.35.0-py39-cu121 | quay.io/modh/ray:2.35.0-py39-cu121 | Ray 2.35, CUDA 12.1, Python 3.9 | ||
| Ray ROCm | 2.25 | 2.47.1-py312-rocm62 | quay.io/modh/ray:2.47.1-py312-rocm62 | Ray 2.47.1、ROCm 6.2、Python 3.12 |
| 2.22 | 2.46.0-py311-rocm62 | quay.io/modh/ray:2.46.0-py311-rocm62 | Ray 2.46.0, ROCm 6.2, Python 3.11 | |
| 2.35.0-py39-rocm62 | quay.io/modh/ray:2.35.0-py39-rocm62 | Ray 2.35、ROCm 6.2、Python 3.9 | ||
| 2.16 | 2.35.0-py311-rocm61 | quay.io/modh/ray:2.35.0-py311-rocm61 | Ray 2.35, ROCm 6.1, Python 3.11 | |
| 2.35.0-py39-rocm61 | quay.io/modh/ray:2.35.0-py39-rocm61 | Ray 2.35, ROCm 6.1, Python 3.9 |
KFTO で使用するトレーニングイメージ
次の表は、Red Hat OpenShift AI で Kubeflow Training Operator (KFTO) と共に使用できる、Red Hat がサポートするトレーニング用イメージに関する情報を示しています。これらのイメージは AMD64 イメージであり、他のアーキテクチャーでは動作しない可能性があります。
提供されているイメージをベースイメージとして使用し、製品ドキュメントに記載されているように、追加のパッケージをインストールしてカスタムイメージを作成できます。
| イメージタイプ | RHOAI バージョン | イメージバージョン | URL | プリインストールパッケージ |
|---|---|---|---|---|
| CUDA | 2.25 | py311-cuda124-torch251 | registry.redhat.io/rhoai/odh-training-py311-cuda124-torch251 | CUDA 12.4、Python 3.11、PyTorch 2.5.1 |
| py311-cuda121-torch241 | registry.redhat.io/rhoai/odh-training-py311-cuda121-torch241 | CUDA 12.1、Python 3.11、PyTorch 2.4.1 | ||
| 2.16、2.22 | py311-cuda124-torch251 | quay.io/modh/training:py311-cuda124-torch251 | CUDA 12.4、Python 3.11、PyTorch 2.5.1 | |
| py311-cuda121-torch241 | quay.io/modh/training:py311-cuda121-torch241 | CUDA 12.1、Python 3.11、PyTorch 2.4.1 | ||
| ROCm | 2.25 | py311-rocm62-torch251 | registry.redhat.io/rhoai/odh-training-py311-rocm62-torch251 | ROCm 6.2、Python 3.11、PyTorch 2.5.1 |
| py311-rocm62-torch241 | registry.redhat.io/rhoai/odh-training-py311-rocm62-torch241 | ROCm 6.2、Python 3.11、PyTorch 2.4.1 | ||
| 2.16、2.22 | py311-rocm62-torch251 | quay.io/modh/training:py311-rocm62-torch251 | ROCm 6.2、Python 3.11、PyTorch 2.5.1 | |
| py311-rocm62-torch241 | quay.io/modh/training:py311-rocm62-torch241 | ROCm 6.2、Python 3.11、PyTorch 2.4.1 | ||
| 2.16 | py311-rocm61-torch241 | quay.io/modh/training:py311-rocm61-torch241 | ROCm 6.1, Python 3.11, PyTorch 2.4.1 |
Comments