Red Hat OpenShift AI: サポートされる構成
この記事では、Red Hat OpenShift AI (RHOAI) の製品 (Self-Managed および Cloud Service)、RHOAI コンポーネント、現在のサポートフェーズ、および基盤となるプラットフォームとの互換性について説明します。
Red Hat OpenShift AI Self-Managed
OpenShift AI Self-Managed をインストールするには、Red Hat OpenShift AI Operator をインストールし、製品のスタンドアロンコンポーネントを管理するように Operator を設定します。
RHOAI Self-Managed は、x86_64、ppc64le、および s390x アーキテクチャーで実行される OpenShift Container Platform でサポートされます。これには次のプロバイダーが含まれます。
- ベアメタル
- ベアメタル上の Hosted Control Plane
- IBM Cloud
- Red Hat OpenStack
- Amazon Web Services
- Google Cloud Platform
- Microsoft Azure
- VMware vSphere
- Oracle Cloud
- IBM Power (テクノロジープレビュー)
- IBM Z (テクノロジープレビュー)
これには、OpenShift Dedicated、Red Hat OpenShift Service on AWS (ROSA with HCP)、Red Hat OpenShift Service on AWS (クラシックアーキテクチャー)、Microsoft Azure Red Hat OpenShift などのマネージド OpenShift サービスでの RHOAI Self-Managed のサポートも含まれます。現在、RHOAI Self-Managed は、ARM アーキテクチャー上で実行されている OpenShift、および OpenShift Kubernetes Engine、MicroShift などの他のプラットフォームではサポートされていません。
RHOAI Self-Managed ライフサイクルと現在サポート対象のリリースの全体像については、この ページ を参照してください。
x86_64 アーキテクチャー
| Operator バージョン | コンポーネント | OpenShift バージョン | チップセットアーキテクチャー | ||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| CodeFlare | ダッシュボード | Data Science Pipelines | Feature Store | KServe | Kubeflow Training | Kuberay | Kueue | Llama Stack | Model Mesh Serving | モデルレジストリー | TrustyAI | ワークベンチ | |||
| 2.23 | GA | GA | GA | TP | GA | GA | GA | GA | DP | 非推奨 | TP | GA | GA | 4.15、4.16、4.17、4.18、4.19 | x86_64 |
| 2.22 | GA | GA | GA | TP | GA | GA | GA | GA | - | 非推奨 | TP | GA | GA | 4.15、4.16、4.17、4.18、4.19 | x86_64 |
| 2.19 | GA | GA | GA | - | GA | GA | GA | GA | - | 非推奨 | TP | GA | GA | 4.14、4.15、4.16、4.17、4.18 | x86_64 |
| 2.16 | GA | GA | GA | - | GA | TP | GA | GA | - | GA | TP | GA | GA | 4.14、4.15、4.16、4.17 | x86_64 |
| 2.8 | TP | EUS | EOL (v1) | - | EUS | - | TP | - | - | GA | - | - | GA | 4.12、4.14、4.15 | x86_64 |
IBM Z (s390x) アーキテクチャー
| Operator バージョン | コンポーネント | OpenShift バージョン | チップセットアーキテクチャー | ||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| CodeFlare | ダッシュボード | Data Science Pipelines | Feature Store | KServe | Kubeflow Training | Kuberay | Kueue | Llama Stack | Model Mesh Serving | モデルレジストリー | TrustyAI | ワークベンチ | |||
| 2.23 | - | TP | - | - | TP | - | - | - | - | - | - | - | 4.18、4.19 | s390x | |
| 2.22 | - | TP | - | - | TP | - | - | - | - | - | - | - | 4.18、4.19 | s390x | |
| 2.19 | - | TP | - | - | TP | - | - | - | - | - | - | - | 4.18 | s390x |
IBM Power (ppc64le) アーキテクチャー
| Operator バージョン | コンポーネント | OpenShift バージョン | チップセットアーキテクチャー | ||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| CodeFlare | ダッシュボード | Data Science Pipelines | Feature Store | KServe | Kubeflow Training | Kuberay | Kueue | Llama Stack | Model Mesh Serving | モデルレジストリー | TrustyAI | ワークベンチ | |||
| 2.23 | - | TP | - | - | TP | - | - | - | - | - | - | - | - | 4.18、4.19 | ppc64le |
| 2.22 | - | TP | - | - | TP | - | - | - | - | - | - | - | - | 4.18、4.19 | ppc64le |
| 2.19 | - | TP | - | - | TP | - | - | - | - | - | - | - | - | 4.18 | ppc64le |
Red Hat OpenShift AI Cloud Service
OpenShift AI Cloud Service をインストールするには、Red Hat OpenShift AI アドオンをインストールし、そのアドオンを使用して製品のスタンドアロンコンポーネントを管理します。このアドオンは単一のバージョンで提供され、クラウドサービスの最新の更新が常に反映されます。
RHOAI Cloud Service は、OpenShift Dedicated (AWS および GCP) および Red Hat OpenShift Service on AWS (クラシックアーキテクチャー) でサポートされています。現在、RHOAI Cloud Service は、Microsoft Azure Red Hat OpenShift および ROSA with HCP などのプラットフォームサービスではサポートされていません。
RHOAI Cloud Service のライフサイクルと現在サポートされているリリースの全体像については、この ページ を参照してください。
| アドオンバージョン | コンポーネント | OpenShift バージョン | チップセットアーキテクチャー | ||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| CodeFlare | ダッシュボード | Data Science Pipelines | Feature Store | KServe | Kubeflow Training | Kuberay | Kueue | Llama Stack | Model Mesh Serving | モデルレジストリー | TrustyAI | ワークベンチ | |||
| 2.23 | GA | GA | GA | TP | GA | GA | GA | GA | DP | 非推奨 | TP | GA | GA | 4.15、4.16、4.17、4.18、4.19 | x86_64 |
TP: テクノロジープレビュー
DP: 開発者プレビュー
開発者およびテクノロジープレビュー: 比較
LA: Limited Availability (限定提供)このフェーズでは、Red Hat からの特別な承認がある場合にのみ、機能をインストールしてサポートを受けることができます。そのような承認がなければ、その機能はサポートされません。
GA: 一般提供開始日
EUS: Extended Update Support.EUS フェーズ中、Red Hat はコンポーネント固有のサポートを提供します。
EOL: ライフサイクルの終了日このフェーズでは、コンポーネントはサポートされなくなります。
RHOAI と vLLM のバージョンの互換性
次の表は、Red Hat OpenShift AI の各バージョンに含まれている vLLM モデルサービングランタイムのバージョンを示しています。
| RHOAI バージョン | vLLM CUDA | vLLM ROCm | vLLM Power/Z | vLLM Gaudi |
|---|---|---|---|---|
| RHOAI-2.24 | v0.10.0.2 | v0.10.0.2 | v0.10.0.2 | v0.8.5+Gaudi-1.21.3 |
| RHOAI-2.23 | v0.9.2.1 | v0.9.2.1 | v0.9.2.1 | v0.7.2+Gaudi-1.21.0 |
| RHOAI-2.22 | v0.9.1.0 | v0.8.4.3 | v0.9.1.0 | v0.7.2+Gaudi-1.21.0 |
| RHOAI-2.21 | v0.9.0.1 | v0.8.4.3 | v0.8.5 | v0.6.4.post2+Gaudi-1.19.0 |
| RHOAI-2.20 | v0.8.4.0 | v0.8.4.0 | v0.8.4.0 | v0.6.4.post2+Gaudi-1.19.0 |
| RHOAI-2.19 | v0.8.4.0 | v0.8.4.0 | v0.8.4.0 | v0.7.2+Gaudi-1.21.0 |
| RHOAI-2.18 | v0.7.1 | v0.7.1 | v0.6.4.post2+Gaudi-1.19.2 | |
| RHOAI-2.17 | v0.6.6.post1 | v0.6.6.post1 | v0.6.4.post2+Gaudi-1.19.0 | |
| RHOAI-2.16 | v0.6.3.post1 | v0.6.3.post1 | v0.6.6.post1+Gaudi-1.20.0 | |
| RHOAI-2.15 | v0.6.3 | |||
| RHOAI-2.14 | v0.6.2 | |||
| RHOAI-2.13 | v0.6.2 | |||
| RHOAI-2.12 | 0.5.3.post1 | |||
| RHOAI-2.11 | 0.5.0.post1 |
Red Hat OpenShift AI Operator の依存関係
Red Hat OpenShift AI Operator 依存関係の互換性とサポート対象のバージョンについては、次のドキュメントを参照してください。
- Red Hat OpenShift Serverless: リリースノート
- Red Hat OpenShift Service Mesh: リリースノート
- Node Feature Discovery Operator: ドキュメント
- Red Hat - Authorino Operator: ドキュメント
- NVIDIA GPU Operator: ドキュメント
- Intel Gaudi Base Operator: ドキュメント
- AMD GPU Operator: ドキュメント
- NVIDIA ネットワーク Operator: ドキュメント
現在、OpenShift Service Mesh v3 はサポートされていません。
現在、Red Hat - Authorino Operator は、Red Hat OpenShift AI でサポートされている唯一の Red Hat Connectivity Link コンポーネントです。Red Hat - Authorino Operator をインストールまたはアップグレードするには、Red Hat OpenShift AI ドキュメント の手順に従います。
Red Hat OpenShift AI では、CodeFlare Operator は別個の Operator ではなく、基本製品に含まれています。Red Hat またはコミュニティーから個別にインストールされた CodeFlare Operator のインスタンスはサポートされていません。詳細は、Red Hat ナレッジベースソリューション記事 How to migrate from a separately installed CodeFlare Operator in your data science cluster を参照してください。
Red Hat OpenShift AI は特定のアクセラレーターを直接サポートしません。OpenShift AI でアクセラレーター機能を使用するには、関連するアクセラレーター Operator が必要です。OpenShift AI は、関連する Operator との統合をサポートし、NVIDIA GPU、AMD GPU、Intel Gaudi AI アクセラレーターで動作するためのライブラリーを含む、製品全体にわたる多数のイメージを提供します。Operator でサポートされているデバイスの詳細は、その Operator のドキュメントを参照してください。
サポート要件と制限
このセクションを参照して、Red Hat サポートの要件と、Red Hat OpenShift AI の Red Hat サポートの制限事項を把握してください。
サポート対象のブラウザー
- Google Chrome
- Mozilla Firefox
- Safari
サポート対象のサービス
Red Hat OpenShift AI は次のサービスをサポートしています。
| サービス名 | 説明 |
|---|---|
| Elasticsearch | Elasticsearch は、分散型の RESTful 検索および分析エンジンです。データを一元化することで、検索の超高速化、関連性の緻密な調整、簡単に拡張できる強力な分析が実現できます。 |
| IBM Watson Studio | IBM Watson Studio は、AI と機械学習をビジネスに組み込み、独自のデータを使用してカスタムモデルを作成するためのプラットフォームです。 |
| Intel® oneAPI AI Analytics Toolkit Container | AI Kit は、Intel® アーキテクチャー上でのエンドツーエンドのデータサイエンスと分析パイプラインを高速化する AI ソフトウェアツールです。 |
| Jupyter | Jupyter は、企業、教室、研究室向けに設計されたマルチユーザーバージョンの notebook です。 |
| OpenVINO | OpenVINO は、深層学習のパフォーマンスを最適化し、推論エンジンを使用して Intel ハードウェアにデプロイするのに役立つオープンソースツールキットです。 |
| Pachyderm | Pachyderm のデータバージョン管理、パイプライン、系統機能を使用して、機械学習のライフサイクルを自動化し、機械学習の操作を最適化します。 |
| Starburst Enterprise | Starburst Enterprise プラットフォーム (SEP) は、オープンソースの Massively Parallel Processing (MPP) ANSI SQL クエリーエンジンである Trino の商用ディストリビューションです。 |
サポート対象のワークベンチイメージ
Red Hat OpenShift AI でサポートされている最新のワークベンチイメージは、デフォルトで Python とともにインストールされます。
サポート対象の Python のバージョンと互換性があるパッケージであれば、そのパッケージに必要なバイナリーが含まれるワークベンチサーバーにインストールできます。使用するワークベンチイメージに必要なバイナリーが含まれていない場合は、Red Hat サポートに連絡して、バイナリーを含めるように依頼してください。
モデル開発に一貫性のある安定したプラットフォームを提供するには、同じバージョンの Python を含むワークベンチイメージを選択します。OpenShift AI で利用可能なワークベンチイメージは、あらかじめビルドされており、OpenShift AI をインストールまたはアップグレードした後すぐに使用できます。
ワークベンチイメージは少なくとも 1 年間サポートされます。事前設定されたワークベンチイメージに対するメジャー更新は、約 6 カ月ごとに行われます。したがって通常はいつでも、サポート対象のワークベンチイメージバージョンを 2 つ利用できます。このサポート期間を活用して、利用可能な最新のワークベンチイメージのコンポーネントを使用するようにコードを更新できます。最新の 2 つのバージョン以外に、レガシーなワークベンチイメージバージョンも選択できる場合があります。レガシーイメージバージョンには、イメージが古くなっていることを示すラベルが含まれています。最新のパッケージバージョンを使用できるように、Red Hat は、最近追加されたワークベンチイメージを使用することを推奨します。サポートされなくなった場合でも、必要に応じて、レジストリーから古いワークベンチイメージにアクセスできます。そのため、プロジェクトの特定の要件に合わせて、古いワークベンチイメージをカスタムワークベンチイメージとして追加できます。
次の表で テクノロジープレビュー として示されているワークベンチイメージは、Red Hat の製品サービスレベルアグリーメント (SLA) ではサポートされておらず、機能的に完全ではない可能性があります。Red Hat は テクノロジープレビュー 機能を実稼働環境で使用することを推奨していません。これらの機能は、今後の製品機能への早期アクセスを提供することで、お客様が機能をテストし、開発プロセス中にフィードバックを提供できるようにしています。
| イメージ名 | イメージバージョン | プリインストールパッケージ |
|---|---|---|
| Code Server | Data Science | CPU | Python 3.11 | 2025.1(推奨) | code-server 4.98, Python 3.11, Boto3:1.37, Kafka-Python-ng:2.2, Matplotlib: 3.10, Numpy:2.2, Pandas:2.2, Scikit-learn: 1.6, Scipy:1.15, Sklearn-onnx:1.18, ipykernel:6.29, Kubeflow-Training: 1.9 |
| 2024.2 | code-server 4.92, Python 3.11, Boto3: 1.34, Kafka-Python: 2.0, Matplotlib: 3.8, Numpy: 1.26, Pandas: 2.2, Scikit-learn: 1.4, Scipy: 1.12, Sklearn-onnx: 1.16, ipykernel: 6.29, Kubeflow-Training: 1.8 | |
| Code Server | Data Science | CPU | Python 3.12 | 2025.1 | code-server 4.98, Python 3.12, Boto3:1.37, Kafka-Python-ng:2.2, Matplotlib: 3.10, Numpy:2.2, Pandas:2.2, Scikit-learn: 1.6, Scipy:1.15, Sklearn-onnx:1.18, ipykernel:6.29, Kubeflow-Training: 1.9 |
| Jupyter | Data Science | CPU | Python 3.11 | 2025.1(推奨) | Python 3.11, JupyterLab:4.4, Boto3:1.37, Kafka-Python-ng:2.2, Kfp: 2.12, Matplotlib:3.10, Numpy:2.2, Pandas:2.2, Scikit-learn: 1.6, Scipy:1.15, Odh-Elyra:4.2, PyMongo: 4.11, Pyodbc:5.2, Codeflare-SDK:0.30, Sklearn-onnx:1.18, Psycopg:3.2, MySQL Connector/Python: 9.3, Kubeflow-Training:1.9 |
| 2024.2 | Python 3.11, JupyterLab:4.2, Boto3:1.35、Kafka-Python-ng: 2.2, Kfp: 2.9, Matplotlib: 3.9, Numpy: 2.1, Pandas: 2.2, Scikit-learn: 1.5, Scipy: 1.14, Odh-Elyra: 4.2, PyMongo: 4.8, Pyodbc: 5.1, Codeflare-SDK: 0.26, Sklearn-onnx:1.17, Psycopg: 3.2, MySQL Connector/Python: 9.0, Kubeflow-Training: 1.8 | |
| Jupyter | Data Science | CPU | Python 3.12 | 2025.1 | Python 3.12, JupyterLab:4.4, Boto3:1.37, Kafka-Python-ng:2.2, Kfp: 2.12, Matplotlib:3.10, Numpy:2.2, Pandas:2.2, Scikit-learn: 1.6, Scipy:1.15, Odh-Elyra:4.2, PyMongo: 4.11, Pyodbc:5.2, Codeflare-SDK:0.29, Sklearn-onnx:1.18, Psycopg:3.2, MySQL Connector/Python: 9.3, Kubeflow-Training:1.9 |
| Jupyter | 最小限 | CPU | Python 3.11 | 2025.1(推奨) | Python 3.11, JupyterLab:4.4 |
| 2024.2 | Python 3.11, JupyterLab:4.2 | |
| Jupyter | 最小限 | CPU | Python 3.12 | 2025.1 | Python 3.12, JupyterLab:4.4 |
| Jupyter | 最小限 | CUDA | Python 3.11 | 2025.1(推奨) | CUDA 12.6、Python 3.11、JupyterLab:4.4 |
| 2024.2 | CUDA 12.4, Python 3.11, JupyterLab: 4.2 | |
| Jupyter | 最小限 | CUDA | Python 3.12 | 2025.1 | CUDA 12.6, Python 3.12, JupyterLab:4.4 |
| Jupyter | 最小限 | ROCm | Python 3.11 | 2025.1(推奨) | ROCm 6.2, Python 3.11, JupyterLab:4.4 |
| 2024.2 | ROCm 6.1, Python 3.11, JupyterLab: 4.2 | |
| Jupyter | 最小限 | ROCm | Python 3.12 | 2025.1 | ROCm 6.2, Python 3.12, JupyterLab:4.4 |
| Jupyter | PyTorch LLM Compressor | CUDA | Python 3.12 | 2025.1 | CUDA 12.6, Python 3.12, JupyterLab:4.4, PyTorch:2.6, LLM-Compressor:0.6, Tensorboard:2.19, Boto3:1.37, Kafka-Python-ng:2.2, Kfp: 2.12, Matplotlib:3.10, Numpy:1.26, Pandas: 2.2, Scikit-learn: 1.6, Scipy:1.15, Odh-Elyra:4.2, PyMongo: 4.11, Pyodbc:5.2, Codeflare-SDK:0.29, Sklearn-onnx:1.18, Psycopg:3.2, MySQL Connector/Python: 9.3, Kubeflow-Training:1.9 |
| Jupyter | PyTorch | CUDA | Python 3.11 | 2025.1(推奨) | CUDA 12.6、Python 3.11、JupyterLab:4.4, PyTorch:2.6, Tensorboard:2.19, Boto3:1.37, Kafka-Python-ng:2.2, Kfp: 2.12, Matplotlib:3.10, Numpy:2.2, Pandas:2.2, Scikit-learn: 1.6, Scipy:1.15, Odh-Elyra:4.2, PyMongo: 4.11, Pyodbc:5.2, Codeflare-SDK:0.30, Sklearn-onnx:1.18, Psycopg:3.2, MySQL Connector/Python: 9.3, Kubeflow-Training:1.9 |
| 2024.2 | CUDA 12.4, Python 3.11, JupyterLab: 4.2, PyTorch:2.4, Tensorboard:2.17, Boto3:1.35、Kafka-Python-ng: 2.2, Kfp: 2.9, Matplotlib: 3.9, Numpy: 2.1, Pandas: 2.2, Scikit-learn: 1.5, Scipy: 1.14, Odh-Elyra: 4.2, PyMongo: 4.8, Pyodbc: 5.1, Codeflare-SDK: 0.26, Sklearn-onnx:1.17, Psycopg: 3.2, MySQL Connector/Python: 9.0, Kubeflow-Training: 1.8 | |
| Jupyter | PyTorch | CUDA | Python 3.12 | 2025.1 | CUDA 12.6, Python 3.12, JupyterLab:4.4, PyTorch:2.6, Tensorboard:2.19, Boto3:1.37, Kafka-Python-ng:2.2, Kfp: 2.12, Matplotlib:3.10, Numpy:2.2, Pandas:2.2, Scikit-learn: 1.6, Scipy:1.15, Odh-Elyra:4.2, PyMongo: 4.11, Pyodbc:5.2, Codeflare-SDK:0.29, Sklearn-onnx:1.18, Psycopg:3.2, MySQL Connector/Python: 9.3, Kubeflow-Training:1.9 |
| Jupyter | PyTorch | ROCm | Python 3.11 | 2025.1(推奨) | Python 3.11, JupyterLab:4.4, ROCm-PyTorch:2.6, Tensorboard:2.18, Kafka-Python-ng:2.2, Matplotlib: 3.10, Numpy:2.2, Pandas:2.2, Scikit-learn: 1.6, Scipy:1.15, Odh-Elyra:4.2, PyMongo: 4.11, Pyodbc:5.2, Codeflare-SDK:0.30, Sklearn-onnx:1.18, Psycopg:3.2, MySQL Connector/Python: 9.3, Kubeflow-Training:1.9 |
| 2024.2 | Python 3.11, JupyterLab:4.2, ROCm-PyTorch:2.4, Tensorboard:2.16, Kafka-Python-ng: 2.2, Matplotlib: 3.9, Numpy: 2.1, Pandas: 2.2, Scikit-learn: 1.5, Scipy: 1.14, Odh-Elyra: 4.2, PyMongo: 4.8, Pyodbc: 5.1, Codeflare-SDK: 0.26, Sklearn-onnx:1.17, Psycopg: 3.2, MySQL Connector/Python: 9.0, Kubeflow-Training: 1.8 | |
| Jupyter | PyTorch | ROCm | Python 3.12 | 2025.1 | Python 3.12, JupyterLab:4.4, ROCm-PyTorch:2.6, Tensorboard:2.18, Kafka-Python-ng:2.2, Matplotlib: 3.10, Numpy:2.2, Pandas:2.2, Scikit-learn: 1.6, Scipy:1.15, Odh-Elyra:4.2, PyMongo: 4.11, Pyodbc:5.2, Codeflare-SDK:0.29, Sklearn-onnx:1.18, Psycopg:3.2, MySQL Connector/Python: 9.3, Kubeflow-Training:1.9 |
| Jupyter | TensorFlow | CUDA | Python 3.11 | 2025.1(推奨) | CUDA 12.6、Python 3.11、JupyterLab:4.4, TensorFlow:2.18, Tensorboard:2.18, Nvidia-CUDA-CU12-Bundle:12.5, Boto3:1.37, Kafka-Python-ng:2.2, Kfp: 2.12, Matplotlib:3.10, Numpy:1.26, Pandas: 2.2, Scikit-learn: 1.6, Scipy:1.15, Odh-Elyra:4.2, PyMongo: 4.11, Pyodbc:5.2, Codeflare-SDK:0.30, Sklearn-onnx:1.18, Psycopg:3.2, MySQL Connector/Python: 9.3 |
| 2024.2 | CUDA 12.4, Python 3.11, JupyterLab: 4.2, TensorFlow:2.17, Tensorboard: 2.17, Nvidia-CUDA-CU12-Bundle: 12.3, Boto3: 1.35、Kafka-Python-ng: 2.2, Kfp: 2.5, Matplotlib: 3.9, Numpy: 1.26, Pandas: 2.2, Scikit-learn: 1.5, Scipy: 1.14, Odh-Elyra: 4.2, PyMongo: 4.8, Pyodbc: 5.1, Codeflare-SDK: 0.24, Sklearn-onnx: 1.17, Psycopg: 3.2, MySQL Connector/Python: 9.0 | |
| Jupyter | TensorFlow | CUDA | Python 3.12 | 2025.1 | CUDA 12.6, Python 3.12, JupyterLab:4.4, TensorFlow:2.19, Tensorboard:2.19, Nvidia-CUDA-CU12-Bundle:12.5, Boto3:1.37, Kafka-Python-ng:2.2, Kfp: 2.12, Matplotlib:3.10, Numpy:1.26, Pandas: 2.2, Scikit-learn: 1.6, Scipy:1.15, Odh-Elyra:4.2, PyMongo: 4.11, Pyodbc:5.2, Codeflare-SDK:0.29, Sklearn-onnx:1.18, Psycopg:3.2, MySQL Connector/Python: 9.3 |
| Jupyter | TensorFlow | ROCm | Python 3.11 | 2025.1(推奨) | Python 3.11, JupyterLab:4.4, ROCm-TensorFlow:2.14, Tensorboard: 2.14, Kafka-Python-ng: 2.2, Matplotlib: 3.10, Numpy:1.26, Pandas: 2.2, Scikit-learn: 1.6, Scipy:1.15, Odh-Elyra:4.2, PyMongo: 4.11, Pyodbc:5.2, Codeflare-SDK:0.30, Sklearn-onnx:1.17, Psycopg: 3.2, MySQL Connector/Python: 9.3 |
| 2024.2 | Python 3.11, JupyterLab:4.2, ROCm-TensorFlow:2.14, Tensorboard: 2.14, Kafka-Python-ng: 2.2, Matplotlib: 3.9, Numpy: 1.26, Pandas: 2.2, Scikit-learn: 1.5, Scipy: 1.14, Odh-Elyra: 4.2, PyMongo: 4.8, Pyodbc: 5.1, Codeflare-SDK: 0.24, Sklearn-onnx: 1.17, Psycopg: 3.2, MySQL Connector/Python: 9.0 | |
| Jupyter | TrustyAI | CPU | Python 3.11 | 2025.1(推奨) | Python 3.11, JupyterLab:4.4, TrustyAI:0.6, Transformers: 4.53, Datasets:3.4, Accelerate:1.5, Torch:2.6, Boto3:1.37, Kafka-Python-ng:2.2, Kfp: 2.12, Matplotlib:3.6, Numpy: 1.24, Pandas: 1.5, Scikit-learn: 1.5, Scipy: 1.15, Odh-Elyra:4.2, PyMongo: 4.11, Pyodbc:5.2, Codeflare-SDK:0.30, Sklearn-onnx:1.18, Psycopg:3.2, MySQL Connector/Python: 9.3, Kubeflow-Training:1.9 |
| 2024.2 | Python 3.11, JupyterLab:4.2, TrustyAI:0.6, Transformers: 4.38, Datasets:2.21, Accelerate: 0.34, Torch: 2.2, Boto3: 1.35、Kafka-Python-ng: 2.2, Kfp: 2.9, Matplotlib: 3.6, Numpy: 1.24, Pandas: 1.5, Scikit-learn: 1.2, Scipy: 1.14, Odh-Elyra: 4.2, PyMongo: 4.8, Pyodbc: 5.1, Codeflare-SDK: 0.26, Sklearn-onnx:1.17, Psycopg: 3.2, MySQL Connector/Python: 9.0, Kubeflow-Training: 1.8 | |
| Jupyter | TrustyAI | CPU | Python 3.12 | 2025.1 | Python 3.12, JupyterLab:4.4, TrustyAI:0.6, Transformers: 4.55, Datasets:3.4, Accelerate:1.5, Torch:2.6, Boto3:1.37, Kafka-Python-ng:2.2, Kfp: 2.12, Matplotlib:3.10, Numpy:1.26, Pandas: 1.5, Scikit-learn: 1.7, Scipy:1.15, Odh-Elyra:4.2, PyMongo: 4.11, Pyodbc:5.2, Codeflare-SDK:0.29, Sklearn-onnx:1.18, Psycopg:3.2, MySQL Connector/Python: 9.3, Kubeflow-Training:1.9 |
サポートされているモデルサービングランタイム
| ランタイム名 | 説明 | エクスポートされるモデル形式 |
|---|---|---|
| Caikit Text Generation Inference Server (Caikit-TGIS) ServingRuntime for KServe (1) | Caikit 形式のモデルをサービングするための複合ランタイム | Caikit Text Generation |
| Caikit Standalone ServingRuntime for KServe (2) | エンベディングタスク用の Caikit エンベディング形式でモデルをサービングするためのランタイム | Caikit Embeddings |
| OpenVINO Model Server | Intel アーキテクチャー向けに最適化されたモデルをサービングするためのスケーラブルで高性能なランタイム | PyTorch、TensorFlow、OpenVINO IR、PaddlePaddle、MXNet、Caffe、Kaldi |
| [非推奨] Text Generation Inference Server (TGIS) Standalone ServingRuntime for KServe (3) | TGI 対応モデルをサービングするためのランタイム | PyTorch Model Formats |
| vLLM NVIDIA GPU ServingRuntime for KServe | NVIDIA GPU アクセラレーターをサポートする、大規模言語モデル向けの高スループットでメモリー効率の高い推論およびサービングランタイム | サポートされているモデル |
| vLLM Intel Gaudi Accelerator ServingRuntime for KServe | Intel Gaudi アクセラレーターをサポートする、高スループットでメモリー効率の高い推論およびサービングランタイム | サポートされているモデル |
| vLLM AMD GPU ServingRuntime for KServe | AMD GPU アクセラレーターをサポートする、高スループットでメモリー効率の高い推論およびサービングランタイム | サポートされているモデル |
| CPU ServingRuntime for KServe | IBM Power (ppc64le) および IBM Z (s390x) をサポートする、高スループットでメモリー効率の高い推論およびサービングランタイム | サポートされているモデル |
(1) Caikit-TGIS 複合ランタイムは、Caikit と Text Generation Inference Server (TGIS) に基づいています。このランタイムを使用するには、モデルを Caikit 形式に変換する必要があります。例については、caikit-tgis-serving リポジトリーの Converting Hugging Face Hub models to Caikit format を参照してください。
(2) Caikit Standalone ランタイムは Caikit NLP に基づいています。このランタイムを使用するには、モデルを Caikit エンベディング形式に変換する必要があります。例については、Tests for text embedding module を参照してください。
(3) Text Generation Inference Server (TGIS) Standalone ServingRuntime for KServe は非推奨です。詳細は、Red Hat OpenShift AI リリースノート を参照してください。
サポートされているモデルサービングランタイムのデプロイメント要件
| ランタイム名 | デフォルトプロトコル | 追加プロトコル | モデルメッシュのサポート | シングルノード OpenShift のサポート | デプロイメントモード |
|---|---|---|---|---|---|
| Caikit Text Generation Inference Server (Caikit-TGIS) ServingRuntime for KServe | REST | gRPC | いいえ | はい | Raw およびサーバーレス |
| Caikit Standalone ServingRuntime for KServe | REST | gRPC | いいえ | はい | Raw およびサーバーレス |
| OpenVINO Model Server | REST | なし | はい | はい | Raw およびサーバーレス |
| [非推奨] Text Generation Inference Server (TGIS) Standalone ServingRuntime for KServe | gRPC | なし | いいえ | はい | Raw およびサーバーレス |
| vLLM NVIDIA GPU ServingRuntime for KServe | REST | なし | いいえ | はい | Raw およびサーバーレス |
| vLLM Intel Gaudi Accelerator ServingRuntime for KServe | REST | なし | いいえ | はい | Raw およびサーバーレス |
| vLLM AMD GPU ServingRuntime for KServe | REST | なし | いいえ | はい | Raw およびサーバーレス |
| vLLM CPU ServingRuntime for KServe (1) | REST | なし | いいえ | はい | Raw |
(1) vLLM CPU ServingRuntime for KServe については、IBM Z および IBM Power アーキテクチャーを使用している場合、標準デプロイメントモードでのみモデルをデプロイできます。
テストおよび検証済みのモデルサービングランタイム
| 名前 | 説明 | エクスポートされるモデル形式 |
|---|---|---|
| NVIDIA Triton Inference Server | アプリケーションで高速かつスケーラブルな AI を実現するオープンソースの推論サービスソフトウェア。 | TensorRT、TensorFlow、PyTorch、ONNX、OpenVINO、Python、RAPIDS FIL など |
| Seldon MLServer | 機械学習モデルのデプロイを簡素化するように設計されたオープンソースの推論サーバー。 | Scikit-Learn (sklearn)、XGBoost、LightGBM、CatBoost、HuggingFace、MLflow |
テストおよび検証済みのモデルサービングランタイムのデプロイメント要件
| 名前 | デフォルトプロトコル | 追加プロトコル | モデルメッシュのサポート | シングルノード OpenShift のサポート | デプロイメントモード |
|---|---|---|---|---|---|
| NVIDIA Triton Inference Server | gRPC | REST | はい | はい | 標準と上級 |
| Seldon MLServer | gRPC | REST | いいえ | はい | 標準と上級 |
注記:Seldon の alibi-detect および alibi-explain ライブラリーは、Business Source License 1.1 (BSL 1.1) に基づいています。これらのライブラリーは、認定済みの Seldon MLServer ランタイムの一部として {org-name} によってテスト、検証、またはサポートされていません。ランタイムを使用する実稼働環境でこれらのライブラリーを使用することは推奨しません。
トレーニングイメージ
OpenShift AI で分散トレーニングジョブを実行するには、次のいずれかのタイプのトレーニングイメージを使用します。
- ドキュメントに記載されたユースケースおよび構成に対してテストおよび検証された、Ray ベースのトレーニングイメージ
- Red Hat が Kubeflow Training Operator (KFTO) で使用するためにサポートしているトレーニングイメージ
Ray ベースのトレーニングイメージ
次の表は、Red Hat OpenShift AI で利用可能な最新の Ray ベースのトレーニングイメージに関する情報を示しています。これらのイメージは AMD64 イメージであり、他のアーキテクチャーでは動作しない可能性があります。
提供されているイメージをベースイメージとして使用し、製品ドキュメントに記載されているように、追加のパッケージをインストールしてカスタムイメージを作成できます。使用するトレーニングイメージに必要なパッケージが含まれていない場合は、Red Hat サポートに連絡して、パッケージを含めるよう依頼してください。
イメージは、インストール済みパッケージの新規バージョンに定期的に更新されます。これらのイメージは、対応する製品ドキュメントに記載されているユースケースと構成に合わせてテストおよび検証されています。バグ修正と CVE 修正は、アップストリームパッケージで利用可能になり次第、これらのイメージの新しいバージョンでのみ提供されます。修正は、以前のイメージバージョンにはバックポートされません。
| イメージタイプ | RHOAI バージョン | イメージバージョン | URL | プリインストールパッケージ |
|---|---|---|---|---|
| CUDA | 2.23 | 2.47.1-py311-cu121 | quay.io/modh/ray:2.47.1-py311-cu121 | Ray 2.47.1, CUDA 12.1, Python 3.11 |
| 2.22 | 2.46.0-py311-cu121 | quay.io/modh/ray:2.46.0-py311-cu121 | Ray 2.46.0, CUDA 12.1, Python 3.11 | |
| 2.16、2.19 | 2.35.0-py311-cu121 | quay.io/modh/ray:2.35.0-py311-cu121 | Ray 2.35, CUDA 12.1, Python 3.11 | |
| 2.35.0-py39-cu121 | quay.io/modh/ray:2.35.0-py39-cu121 | Ray 2.35, CUDA 12.1, Python 3.9 | ||
| 2.8 | latest-py39-cu118 | quay.io/project-codeflare/ray:latest-py39-cu118 | Ray 2.7.1, CUDA 11.8, Python 3.9 | |
| Ray ROCm | 2.23 | 2.47.1-py311-rocm62 | quay.io/modh/ray:2.47.1-py311-rocm62 | Ray 2.47.1, ROCm 6.2, Python 3.11 |
| 2.22 | 2.46.0-py311-rocm62 | quay.io/modh/ray:2.46.0-py311-rocm62 | Ray 2.46.0, ROCm 6.2, Python 3.11 | |
| 2.19 | 2.35.0-py311-rocm62 | quay.io/modh/ray:2.35.0-py311-rocm62 | Ray 2.35, ROCm 6.2, Python 3.11 | |
| 2.35.0-py39-rocm62 | quay.io/modh/ray:2.35.0-py39-rocm62 | Ray 2.35、ROCm 6.2、Python 3.9 | ||
| 2.16 | 2.35.0-py311-rocm61 | quay.io/modh/ray:2.35.0-py311-rocm61 | Ray 2.35, ROCm 6.1, Python 3.11 | |
| 2.35.0-py39-rocm61 | quay.io/modh/ray:2.35.0-py39-rocm61 | Ray 2.35, ROCm 6.1, Python 3.9 |
KFTO で使用するトレーニングイメージ
次の表は、Red Hat OpenShift AI で Kubeflow Training Operator (KFTO) と共に使用できる、Red Hat がサポートするトレーニング用イメージに関する情報を示しています。これらのイメージは AMD64 イメージであり、他のアーキテクチャーでは動作しない可能性があります。
提供されているイメージをベースイメージとして使用し、製品ドキュメントに記載されているように、追加のパッケージをインストールしてカスタムイメージを作成できます。
| イメージタイプ | RHOAI バージョン | イメージバージョン | URL | プリインストールパッケージ |
|---|---|---|---|---|
| CUDA | 2.16, 2.19, 2.22 | py311-cuda124-torch251 | quay.io/modh/training:py311-cuda124-torch251 | CUDA 12.4, Python 3.11, PyTorch 2.5.1 |
| py311-cuda121-torch241 | quay.io/modh/training:py311-cuda121-torch241 | CUDA 12.1, Python 3.11, PyTorch 2.4.1 | ||
| ROCm | 2.16, 2.19, 2.22 | py311-rocm62-torch251 | quay.io/modh/training:py311-rocm62-torch251 | ROCm 6.2, Python 3.11, PyTorch 2.5.1 |
| py311-rocm62-torch241 | quay.io/modh/training:py311-rocm62-torch241 | ROCm 6.2, Python 3.11, PyTorch 2.4.1 | ||
| 2.16、2.19 | py311-rocm61-torch241 | quay.io/modh/training:py311-rocm61-torch241 | ROCm 6.1, Python 3.11, PyTorch 2.4.1 |
Comments