Red Hat OpenShift AI:3.x 支持的配置
已更新 -
目录
本文列出了 Red Hat OpenShift AI (RHOAI) 3.x 产品、RHOAI 组件、其当前支持阶段，以及它们与底层平台的兼容性。
⚠️ 注意：对于 Red Hat OpenShift AI 2.x，请访问支持的页这里。
Red Hat OpenShift AI Self-Managed
您可以通过安装 Red Hat OpenShift AI Operator 来安装 OpenShift AI Self-Managed，然后配置 Operator 来管理产品的独立组件。
在 x86_64、ppc64le、s390x 和 aarch64 架构上运行的 OpenShift Container Platform 上支持 RHOAI Self-Managed。这包括以下供应商：
- 裸机
- 在裸机上托管的 control plane
- IBM Cloud
- Red Hat OpenStack
- Amazon Web Services
- Google Cloud Platform
- Microsoft Azure
- VMware vSphere
- Oracle Cloud
- IBM Power
- IBM Z
这还包括在受管 OpenShift 产品（如 OpenShift Dedicated、Red Hat OpenShift Service on AWS (ROSA with HCP)、Red Hat OpenShift Service on AWS (classic 架构)、Microsoft Azure Red Hat OpenShift 和 OpenShift Kubernetes Engine）上的 RHOAI Self-Managed 的支持。目前，在 MicroShift 等平台上运行的 OpenShift 不支持 RHOAI Self-Managed。
有关 RHOAI Self-Managed 生命周期和当前支持的版本的完整概述，请访问此页。
架构、版本和组件
x86_64 架构
| RHOAI Operator 版本 | 3.2 | 3.3 | ||
|---|---|---|---|---|
| OpenShift 支持的版本 | 4.19.9+, 4.20 | 4.19.9+, 4.20, 4.21 | ||
| 芯片组架构 | x86_64 | x86_64 | ||
| 组件 | 状态 | 版本 | 状态 | 版本 |
| Dashboard | GA | 2.0.0 | GA | 2.0.0 |
| Data science pipelines | GA | 2.5.0 | GA | 2.5.0 |
| Argo Workflows | GA | v3.6.7 | GA | v3.6.7 |
| Distributed Inference with llm-d - (1) | GA | 0.4 | GA | 0.4 |
| Feature Store | TP | 0.58.0 | GA | 0.59.0 |
| KServe | GA | 0.15 | GA | 0.15 |
| Kubeflow v1 Training Operator | 弃用 | 1.9.0 | 弃用 | 1.9.0 |
| Kubeflow Trainer v2 | TP | 2.1.0 | GA | 2.1.0 |
| Kuberay | GA | 1.4.2 | GA | 1.4.2 |
| Red Hat build of Kueue Operator | GA | 1.1.0 | GA | 1.2.0 |
| Llama Stack Operator | TP | 0.5.0 | TP | 0.6.0 |
| LMEval | GA | 0.4.8 | GA | 0.4.8 |
| MaaS | DP | 0.0.1 | TP | 0.0.2 |
| AI Hub (2) | GA | 0.3.4 | GA | 0.3.5 |
| TrustyAI | GA | 1.37.0 | GA | 1.37.0 |
| Workbenches | GA | 1.10.0 | GA | 1.10.0 |
ARM 架构
| RHOAI Operator 版本 | 3.2 | 3.3 | ||
|---|---|---|---|---|
| OpenShift 支持的版本 | 4.19.9+, 4.20 | 4.19.9+, 4.20, 4.21 | ||
| 芯片组架构 | aarch64 | aarch64 | ||
| 组件 | 状态 | 版本 | 状态 | 版本 |
| Dashboard | GA | 2.0.0 | GA | 2.0.0 |
| Data science pipelines | GA | 2.5.0 | GA | 2.5.0 |
| Argo Workflows | GA | v3.6.7 | GA | v3.6.7 |
| Distributed Inference with llm-d - (1) | GA | 0.4 | GA | 0.4 |
| Feature Store | TP | 0.58.0 | GA | 0.59.0 |
| KServe | GA | 0.15 | GA | 0.15 |
| Kubeflow v1 Training Operator | 弃用 | 1.9.0 | 弃用 | 1.9.0 |
| Kubeflow Trainer v2 | - | - | - | - |
| Kuberay | GA | 1.4.2 | GA | 1.4.2 |
| Red Hat build of Kueue Operator | GA | 1.1.0 | GA | 1.2.0 |
| Llama Stack Operator | TP | 0.5.0 | TP | 0.6.0 |
| LMEval | GA | 0.4.8 | GA | 0.4.8 |
| MaaS | DP | 0.0.1 | TP | 0.0.2 |
| AI Hub (2) | GA | 0.3.4 | GA | 0.3.5 |
| TrustyAI | GA | 1.37.0 | GA | 1.37.0 |
| Workbenches | GA | 1.10.0 | GA | 1.10.0 |
IBM Power (ppc64le) 架构
| RHOAI Operator 版本 | 3.2 | 3.3 | ||
|---|---|---|---|---|
| OpenShift 支持的版本 | 4.19.9+, 4.20 | 4.19.9+, 4.20, 4.21 | ||
| 芯片组架构 | ppc64le | ppc64le | ||
| 组件 | 状态 | 版本 | 状态 | 版本 |
| Dashboard | GA | 2.0.0 | GA | 2.0.0 |
| Data science pipelines | GA | 2.5.0 | GA | 2.5.0 |
| Argo Workflows | GA | v3.6.7 | GA | v3.6.7 |
| 使用 llm-d 进行分布式干扰 | - | - | - | - |
| Feature Store | TP | 0.58.0 | TP | 0.59.0 |
| KServe | GA | 0.15 | GA | 0.15 |
| Kubeflow v1 Training Operator | 弃用 | 1.9.0 | 弃用 | 1.9.0 |
| Kubeflow Trainer v2 | - | - | - | - |
| Kuberay | - | - | - | - |
| Red Hat build of Kueue Operator | GA | 1.1.0 | GA | 1.2.0 |
| Llama Stack Operator | - | - | - | - |
| LMEval | GA | 0.4.8 | GA | 0.4.8 |
| MaaS | - | - | - | - |
| AI Hub (2) | GA | 0.3.4 | GA | 0.3.5 |
| TrustyAI | GA | 1.37.0 | GA | 1.37.0 |
| Workbenches | GA | 1.10.0 | GA | 1.10.0 |
IBM Z (s390x) 架构
| RHOAI Operator 版本 | 3.2 | 3.3 | ||
|---|---|---|---|---|
| OpenShift 支持的版本 | 4.19.9+, 4.20 | 4.19.9+, 4.20, 4.21 | ||
| 芯片组架构 | s390x | s390x | ||
| 组件 | 状态 | 版本 | 状态 | 版本 |
| Dashboard | GA | 2.0.0 | GA | 2.0.0 |
| Data science pipelines | GA | 2.5.0 | GA | 2.5.0 |
| Argo Workflows | GA | v3.6.7 | GA | v3.6.7 |
| 使用 llm-d 进行分布式干扰 | - | - | - | - |
| Feature Store | - | 0.58.0 | - | 0.59.0 |
| KServe | GA | 0.15 | GA | 0.15 |
| Kubeflow v1 Training Operator | 弃用 | 1.9.0 | 弃用 | 1.9.0 |
| Kubeflow Trainer v2 | - | - | - | - |
| Kuberay | - | - | - | - |
| Red Hat build of Kueue Operator | GA | 1.1.0 | GA | 1.2.0 |
| Llama Stack Operator | - | - | - | - |
| LMEval | - | - | - | - |
| MaaS | - | - | - | - |
| IBM Spyre Operator | GA | 1.1.0 | GA | 1.1.1 |
| AI Hub (2) | GA | 0.3.4 | GA | 0.3.5 |
| TrustyAI | GA | 1.37.0 | GA | 1.37.0 |
| Workbenches | GA | 1.10.0 | GA | 1.10.0 |
备注
(1) Distributed Inference with llm-d 需要 OpenShift 4.20 或更高版本
(2) AI Hub 之前模型 Registry 和模型目录
TP:技术预览
DP:开发者预览
开发者和技术预览：它们的不同
LA:有限可用。在此阶段，您只能在特定的由红帽批准的方式安装和接收对该功能的支持。如果没有被红帽批准，则不支持该功能。
GA:公开发行 (GA)。
EUS：延长更新支持 (EUS)。在 EUS 阶段，红帽会保持对特定组件的支持。
EOL:生命周期结束。在此阶段，组件将不再被支持。
RHOAI 和 vLLM 版本兼容性
下表显示了包含在每个 Red Hat OpenShift AI 版本中的 vLLM model-serving（模型服务）运行时版本。
| RHOAI 版本 | 3.2 | 3.3 |
|---|---|---|
| vLLM CUDA | v0.11.2 | v0.13.0 |
| vLLM ROCm | v0.11.2 | v0.13.0 |
| vLLM Power/Z | v0.11.2 | v0.13.0 |
| vLLM Spyre ppc64le | - | v0.11.0 |
| vLLM Gaudi | v0.9.0.1 | v0.13.0 |
| vLLM Spyre x86 | v0.11.0 | v0.12.0 |
| vLLM Spyre s390x | v0.11.0 | v0.12.0 |
| OVMS | v2025.3 | v2025.4 |
Red Hat OpenShift AI Operator 依赖项
有关 Red Hat OpenShift AI Operator 依赖项的兼容性和支持的版本的详情，请查看以下文档：
- Red Hat OpenShift Serverless: 发行注记
- Red Hat OpenShift Service Mesh: 发行注记
- Node Feature Discovery Operator: 文档
- Red Hat - Authorino Operator: 文档
- NVIDIA GPU Operator: 文档
- Intel Gaudi Base Operator: 文档
- AMD GPU Operator: 文档
- NVIDIA Network Operator: 文档
- Red Hat Connectivity Link: 发行注记
- IBM Spyre Operator : 文档
目前，Red Hat - Authorino Operator 是 Red Hat OpenShift AI 支持的唯一的 Red Hat Connectivity Link 组件。要安装或升级 Red Hat - Authorino Operator，请按照 Red Hat OpenShift AI 文档中的说明进行操作。
Red Hat OpenShift AI 并不直接支持任何特定的加速器。要在 OpenShift AI 中使用加速器功能，需要相关的加速器 Operator。OpenShift AI 支持与相关 Operator 集成，并提供许多镜像，包括用于 NVIDIA GPU、AMD GPU、Intel Gaudi AI 加速器和 IBM Spyre 的库。如需有关 Operator 支持哪些设备的更多信息，请参阅相关的 Operator 的文档。
支持要求和限制
查阅本节以了解红帽支持的要求以及 Red Hat OpenShift AI 支持的限制。
支持的浏览器
- Google Chrome
- Mozilla Firefox
- Safari
支持的服务
Red Hat OpenShift AI 支持以下服务：
| 服务名称 | 描述 |
|---|---|
| EDB Postgres AI - 包括 Pgvector 的解决方案 | 使用强大的混合搜索用于 AI RAG，以及多模态 AI 推荐应用程序，带有 EDB 的向量数据库解决方案，包括 Pgvector。在一个统一的 Postgres 环境中，将 AI、事务处理和分析工作负载与原生向量索引搜索、企业级安全性和可扩展性相结合。 |
| Elasticsearch | 构建转换型 RAG 应用程序，主动解决可观察性问题以及解决复杂安全威胁 - 所有都利用强大的搜索 AI。 |
| IBM Watson Studio | IBM® watsonx.ai 是 IBM watsonx AI 和数据平台的一部分，它将新的基于基础模块的生成型 AI 功能与传统的机器学习 (ML) 结合成一个跨 AI 生命周期的强大的平台。 |
| Intel® oneAPI AI Analytics Toolkit Container | AI Kit 是一组 AI 软件工具，可加速 Intel® 架构上的端到端数据科学操作和分析管道。 |
| NVIDIA NIM | NVIDIA NIM 是 NVIDIA AI Enterprise 的一部分，它包括一组易用的微服务，用于跨云、数据中心和工作站安全、可靠的部署高性能 AI 模型。支持大量 AI 模型，包括开源社区和 NVIDIA AI Foundation 模型，它确保无缝、可扩展的 AI 推断、内部或云中利用行业标准 API。 |
| OpenVINO | OpenVINO 是一个开源工具包，可帮助在 Intel® 硬件中优化深度学习性能和部署，使用推理引擎。 |
| Pachyderm | Pachyderm 是机器学习的数据基础。它为数据科学团队提供业界领先的管道、数据版本控制和数据血液功能，以自动化机器学习生命周期。 |
| Starburst Enterprise | Starburst Enterprise platform (SEP) 是 Trino 的一个商业版本，它是一个开源、可靠的并行处理(MPP) ANSI SQL 查询引擎。 Starburst 通过提供对所有数据的快速访问来简化 Red Hat OpenShift AI 工作负载的数据访问，无论它所处的位置。 Starburst 通过直接连接到每个数据源并将数据拉取回内存进行处理，从而减少了复制或先将数据复制到单个位置的需求。 |
| Jupyter | Jupyter 是一个多用户版本的 notebook，针对公司、课堂和研究实验室而设计。 |
支持的 workbench 镜像
Red Hat OpenShift AI 中最新支持的 workbench 镜像与 Python 一起默认安装。
您可以安装与任何 workbench 服务器上支持的 Python 版本兼容的软件包。其中包括了软件包所需的二进制代码。如果您要使用的 workbench 镜像没有包括所需的二进制代码，请联系红帽支持请求考虑纳入相关的二进制代码。
要为您的模型开发提供一个一致的、稳定平台，请选择包含相同 Python 版本的 workbench 镜像。OpenShift AI 上的 workbench 镜像已预先构建，您可以在安装或升级 OpenShift AI 后立即使用。
workbench 镜像至少支持一年。每六个月会对预配置的 workbench 镜像进行重大更新。因此，在任何给定时间点上，通常有两个受支持的 workbench 镜像版本。您可以利用这个支持周期来更新您的代码，以使用来自最新可用的 workbench 镜像中的组件。旧的 workbench 镜像版本（不是上面提到的两个最新版本）可能仍可选择。旧版镜像版本包含了一个标签，代表镜像已过时。要使用最新的软件包版本，红帽建议您使用最近添加的 workbench 镜像。如果需要，您仍然可以从 registry 获得旧的 workbench 镜像，即使它们已不再被支持。然后，您可以将旧的 workbench 镜像作为自定义 workbench 镜像添加，以满足项目的特定要求。
下表中带有 Technology Preview（技术预览） 标记的 Workbench 镜像不受红帽产品服务等级协议 (SLA) 支持，且可能无法正常工作。红帽不推荐在生产环境中使用技术预览功能。这些功能用于让您试用即将推出的产品功能，使客户有计划在开发过程中测试并提供反馈。
x86_64 支持的 Notebook
| 镜像名称 | 镜像版本 | 预安装的软件包 |
|---|---|---|
| Code Server | Data Science | CPU | Python 3.12 | 2025.2（推荐） | code-server 4.104, Python 3.12, Boto3:1.40, Kafka-Python-ng:2.2, Matplotlib:3.10, Numpy:2.3, Pandas:2.3, Scikit-learn:1.7, Scipy:1.16, Sklearn-onnx:1.19, ipykernel:6.30, Kubeflow-Training:1.9 |
| Jupyter | Data Science | CPU | Python 3.12 | 2025.2（推荐） | Python 3.12, JupyterLab:4.4, Boto3:1.40, Kafka-Python-ng:2.2, Kfp:2.14, Matplotlib:3.10, Numpy:2.3, Pandas:2.3, Scikit-learn:1.7, Scipy:1.16, Odh-Elyra:4.3, PyMongo:4.15, Pyodbc:5.2, Codeflare-SDK:0.33, Feast:0.58, Sklearn-onnx:1.19, Psycopg:3.2, MySQL Connector/Python:9.4, Kubeflow-Training:1.9 |
| 2025.1 | Python 3.11, JupyterLab:4.4, Boto3:1.37, Kafka-Python-ng:2.2, Kfp:2.12, Matplotlib:3.10, Numpy:2.2, Pandas:2.2, Scikit-learn:1.6, Scipy:1.15, Odh-Elyra:4.2, PyMongo:4.11, Pyodbc:5.2, Codeflare-SDK:0.30, Sklearn-onnx:1.18, Psycopg:3.2, MySQL Connector/Python:9.3, Kubeflow-Training:1.9 | |
| Jupyter | Minimal | CPU | Python 3.12 | 2025.2（推荐） | Python 3.12, JupyterLab:4.4 |
| 2025.1 | Python 3.11, JupyterLab:4.4 | |
| Jupyter | Minimal | CUDA | Python 3.12 | 2025.2（推荐） | CUDA 12.8, Python 3.12, JupyterLab:4.4 |
| 2025.1 | CUDA 12.6, Python 3.11, JupyterLab:4.4 | |
| Jupyter | Minimal | ROCm | Python 3.12 | 2025.2（推荐） | ROCm 6.3, Python 3.12, JupyterLab:4.4 |
| 2025.1 | ROCm 6.2, Python 3.11, JupyterLab:4.4 | |
| Jupyter | PyTorch LLM Compressor | CUDA | Python 3.12 | 2025.2 | CUDA 12.8, Python 3.12, JupyterLab:4.4, PyTorch:2.7, LLM-Compressor:0.8, TensorBoard:2.20, Boto3:1.40, Kafka-Python-ng:2.2, Kfp:2.14, Matplotlib:3.10, Numpy:2.2, Pandas:2.3, Scikit-learn:1.7, Scipy:1.16, Odh-Elyra:4.3, PyMongo:4.15, Pyodbc:5.2, Codeflare-SDK:0.33, Feast:0.58, Sklearn-onnx:1.19, Psycopg:3.2, MySQL Connector/Python:9.4, Kubeflow-Training:1.9 |
| Jupyter | PyTorch | CUDA | Python 3.12 | 2025.2（推荐） | CUDA 12.8, Python 3.12, JupyterLab:4.4, PyTorch:2.7, TensorBoard:2.20, Boto3:1.40, Kafka-Python-ng:2.2, Kfp:2.14, Matplotlib:3.10, Numpy:2.3, Pandas:2.3, Scikit-learn:1.7, Scipy:1.16, Odh-Elyra:4.3, PyMongo:4.15, Pyodbc:5.2, Codeflare-SDK:0.33, Feast:0.58, Sklearn-onnx:1.19, Psycopg:3.2, MySQL Connector/Python:9.4, Kubeflow-Training:1.9 |
| 2025.1 | CUDA 12.6, Python 3.11, JupyterLab:4.4, PyTorch:2.6, Tensorboard:2.19, Boto3:1.37, Kafka-Python-ng:2.2, Kfp:2.12, Matplotlib:3.10, Numpy:2.2, Pandas:2.2, Scikit-learn:1.6, Scipy:1.15, Odh-Elyra:4.2, PyMongo:4.11, Pyodbc:5.2, Codeflare-SDK:0.30, Sklearn-onnx:1.18, Psycopg:3.2, MySQL Connector/Python:9.3, Kubeflow-Training:1.9 | |
| Jupyter | PyTorch | ROCm | Python 3.12 | 2025.2（推荐） | ROCm 6.3, Python 3.12, JupyterLab:4.4, ROCm-PyTorch:2.7, TensorBoard:2.20, Kafka-Python-ng:2.2, Matplotlib:3.10, Numpy:2.3, Pandas:2.3, Scikit-learn:1.7, Scipy:1.16, Odh-Elyra:4.3, PyMongo:4.15, Pyodbc:5.2, Codeflare-SDK:0.33, Feast:0.58, Sklearn-onnx:1.19, Psycopg:3.2, MySQL Connector/Python:9.4, Kubeflow-Training:1.9 |
| 2025.1 | ROCm 6.2, Python 3.11, JupyterLab:4.4, ROCm-PyTorch:2.6, Tensorboard:2.18, Kafka-Python-ng:2.2, Matplotlib:3.10, Numpy:2.2, Pandas:2.2, Scikit-learn:1.6, Scipy:1.15, Odh-Elyra:4.2, PyMongo:4.11, Pyodbc:5.2, Codeflare-SDK:0.30, Sklearn-onnx:1.18, Psycopg:3.2, MySQL Connector/Python:9.3, Kubeflow-Training:1.9 | |
| Jupyter | TensorFlow | CUDA | Python 3.12 | 2025.2（推荐） | CUDA 12.8, Python 3.12, JupyterLab:4.4, TensorFlow:2.20, Tensorboard:2.20, Nvidia-CUDA-CU12-Bundle:12.9, Boto3:1.40, Kafka-Python-ng:2.2, Kfp:2.14, Matplotlib:3.10, Numpy:2.1, Pandas:2.3, Scikit-learn:1.7, Scipy:1.16, Odh-Elyra:4.3, PyMongo:4.15, Pyodbc:5.2, Codeflare-SDK:0.33, Feast:0.58, Sklearn-onnx:1.19, Psycopg:3.2, MySQL Connector/Python:9.4 |
| 2025.1 | CUDA 12.6, Python 3.11, JupyterLab:4.4, TensorFlow:2.18, Tensorboard:2.18, Nvidia-CUDA-CU12-Bundle:12.5, Boto3:1.37, Kafka-Python-ng:2.2, Kfp:2.12, Matplotlib:3.10, Numpy:1.26, Pandas:2.2, Scikit-learn:1.6, Scipy:1.15, Odh-Elyra:4.2, PyMongo:4.11, Pyodbc:5.2, Codeflare-SDK:0.30, Sklearn-onnx:1.18, Psycopg:3.2, MySQL Connector/Python:9.3 | |
| Jupyter | TensorFlow | ROCm | Python 3.12 | 2025.2（推荐） | ROCm 6.3, Python 3.12, JupyterLab:4.4, TensorFlow-ROCm:2.18, Tensorboard:2.18, Kafka-Python-ng:2.2, Matplotlib:3.10, Numpy:1.26, Pandas:2.3, Scikit-learn:1.7, Scipy:1.16, Odh-Elyra:4.3, PyMongo:4.15, Pyodbc:5.2, Codeflare-SDK:0.33, Sklearn-onnx:1.19, Psycopg:3.2, MySQL Connector/Python:9.4 |
| 2025.1 | ROCm 6.2, Python 3.11, JupyterLab:4.4, TensorFlow-ROCm:2.14, Tensorboard:2.14, Kafka-Python-ng:2.2, Matplotlib:3.10, Numpy:1.26, Pandas:2.2, Scikit-learn:1.6, Scipy:1.15, Odh-Elyra:4.2, PyMongo:4.11, Pyodbc:5.2, Codeflare-SDK:0.30, Sklearn-onnx:1.17, Psycopg:3.2, MySQL Connector/Python:9.3 | |
| Jupyter | TrustyAI | CPU | Python 3.12 | 2025.2（推荐） | Python 3.12, JupyterLab:4.4, TrustyAI:0.6, Transformers:4.56, Datasets:4.0, Accelerate:1.10, Torch:2.7, Boto3:1.40, Kafka-Python-ng:2.2, Kfp:2.14, Matplotlib:3.10, Numpy:1.26, Pandas:1.5, Scikit-learn:1.7, Scipy:1.16, Odh-Elyra:4.3, PyMongo:4.15, Pyodbc:5.2, Codeflare-SDK:0.33, Sklearn-onnx:1.19, Psycopg:3.2, MySQL Connector/Python:9.4, Kubeflow-Training:1.9 |
| 2025.1 | Python 3.11, JupyterLab:4.4, TrustyAI:0.6, Transformers:4.55, Datasets:3.4, Accelerate:1.5, Torch:2.6, Boto3:1.37, Kafka-Python-ng:2.2, Kfp:2.12, Matplotlib:3.10, Numpy:1.26, Pandas:1.5, Scikit-learn:1.7, Scipy:1.15, Odh-Elyra:4.2, PyMongo:4.11, Pyodbc:5.2, Codeflare-SDK:0.29, Sklearn-onnx:1.18, Psycopg:3.2, MySQL Connector/Python:9.3, Kubeflow-Training:1.9 |
IBM Power 上支持的笔记本
| 镜像名称 | 镜像版本 | 预安装的软件包 |
|---|---|---|
| Code Server | Data Science | CPU | Python 3.12 | 2025.2 | code-server 1.104, Python 3.12, Boto3:1.40, Kafka-Python-ng:2.2, Matplotlib:3.10, Numpy:2.3, Pandas:2.3, Scikit-learn:1.7, Scipy:1.16, Sklearn-onnx:1.19, ipykernel:6.30, Kubeflow-Training:1.9 |
| Jupyter | Data Science | CPU | Python 3.12 | 2025.2 | Python 3.12, JupyterLab:4.4, Boto3:1.40, Kafka-Python-ng:2.2, Kfp:2.14, Matplotlib:3.10, Numpy:2.3, Pandas:2.3, Scikit-learn:1.7, Scipy:1.16, Odh-Elyra:4.2, PyMongo:4.14, Pyodbc:5.2, Sklearn-onnx:1.19, Psycopg:3.2, MySQL Connector/Python:9.3, Kubeflow-Training:1.9 |
| Jupyter | Minimal | CPU | Python 3.12 | 2025.2 | Python 3.12, JupyterLab:4.4 |
| 2025.1 | Python 3.11, JupyterLab:4.4 | |
| Jupyter | TrustyAI | CPU | Python 3.12 | 2025.2 | Python 3.12, JupyterLab:4.4, TrustyAI:0.6, Transformers:4.56, Datasets:4.0, Accelerate:1.10, Torch:2.7, Boto3:1.40, Kafka-Python-ng:2.2, Kfp:2.14, Matplotlib:3.10, Numpy:1.26, Pandas:1.5, Scikit-learn:1.7, Scipy:1.16, Odh-Elyra:4.2, PyMongo:4.14, Pyodbc:5.2, Sklearn-onnx:1.19, Psycopg:3.2, Kubeflow-Training:1.9 |
| Jupyter | TrustyAI | Minimal | CPU | Python 3.12 | 2025.2 | IPython:9.8.0, ipykernel:7.1.0, ipywidgets:8.1.2, jupyter_client:8.7.0, jupyter_core:5.9.1, jupyter_server:2.17.0, jupyterlab:4.4.9, nbclient:0.10.2, nbconvert:7.16.6, nbformat:5.10.4, notebook: 未安装, qtconsole: 未安装, traitlets:5.14.3 |
IBM Z 支持的笔记本
| 镜像名称 | 镜像版本 | 预安装的软件包 |
|---|---|---|
| Code Server | Data Science | CPU | Python 3.12 | 2025.2（推荐） | code-server 1.104, Python 3.12, Boto3:1.40, Kafka-Python-ng:2.2, Matplotlib:3.10, Numpy:2.3, Pandas:2.3, Scikit-learn:1.7, Scipy:1.16, ipykernel:6.30, Kubeflow-Training:1.9, feast :0.55 |
| Jupyter | Data Science | CPU | Python 3.12 | 2025.2（推荐） | Python 3.12, JupyterLab:4.4, Boto3:1.40, Kafka-Python-ng:2.2, Kfp:2.14, Matplotlib:3.10, Numpy:2.3, Pandas:2.3, Scikit-learn:1.7, Scipy:1.16, Odh-Elyra:4.2, PyMongo:4.14, Pyodbc:5.2, Sklearn-onnx:1.19, Psycopg:3.2, MySQL Connector/Python:9.3 |
| Jupyter | Minimal | CPU | Python 3.12 | 2025.2（推荐） | Python 3.12, JupyterLab:4.4 |
| 2024.2 | Python 3.11, JupyterLab:4.4 | |
| Jupyter | TrustyAI | CPU | Python 3.12 | 2025.2（推荐） | Python 3.12, JupyterLab:4.4, TrustyAI:0.6, Transformers:4.56, Datasets:4.0, Accelerate:1.10, PyArrow 20.0, Torch:2.7, Boto3:1.40, Kafka-Python-ng:2.2, Kfp:2.14, Matplotlib:3.10, Numpy:1.26, Pandas:1.5, Scikit-learn:1.7, Scipy:1.16, Odh-Elyra:4.2, PyMongo:4.14, Pyodbc:5.2, Sklearn-onnx:1.19, Psycopg:3.2, Kubeflow-Training:1.9 |
支持的 model-serving 运行时
| 运行时名称 | 描述 | 导出的模型格式 |
|---|---|---|
| vLLM Spyre AI Accelerator ServingRuntime for KServe | 支持 x86 上的 IBM Spyre AI Accelerators 的高吞吐量和内存效率推测和服务运行时 | 支持的模型 |
| Caikit Text Generation Inference Server (Caikit-TGIS) ServingRuntime for KServe (1) | Caikit 格式的服务模型的复合运行时 | Caikit Text Generation |
| Caikit Standalone ServingRuntime for KServe (2) | 用于服务模型的运行时，使用 Caikit 嵌入格式用于嵌入任务 | Caikit Embeddings |
| OpenVINO Model Server | 用于服务模型的可扩展的、高性能运行时，针对 Intel 架构优化 | PyTorch, TensorFlow, OpenVINO IR, PaddlePaddle, MXNet, Caffe, Kaldi |
| [已弃用] Text Generation Inference Server (TGIS) Standalone ServingRuntime for KServe (3) | 用于服务支持 TGI 的模型的运行时 | PyTorch Model Formats |
| vLLM NVIDIA GPU ServingRuntime for KServe | 用于大型语言模型的高吞吐量和高内存效率推理和服务的运行时，支持 NVIDIA GPU 加速器 | 支持的模型 |
| vLLM Intel Gaudi Accelerator ServingRuntime for KServe | 高吞吐量和高内存效率推理和服务运行时，支持 Intel Gaudi Accelerator | 支持的模型 |
| vLLM AMD GPU ServingRuntime for KServe | 高吞吐量和高内存效率推理和服务运行时，支持 AMD GPU 加速器 | 支持的模型 |
| vLLM CPU ServingRuntime for KServe | 高吞吐量和高内存效率推理和服务运行时，支持 IBM Power (ppc64le) 和 IBM Z (s390x) | 支持的模型 |
| vLLM Spyre s390x ServingRuntime for KServe | 支持 s390x (IBM Z) 上的 IBM Spyre accelerators 的高吞吐量和内存效率推测和服务运行时 | 支持的模型 |
| vLLM Spyre ppc64le ServingRuntime for KServe | 支持 ppc64le (IBM Power) 上的 IBM Spyre accelerators 的高吞吐量和内存效率推测和服务运行时 | 支持的模型 |
| MLServer ServingRuntime for KServe （技术预览） | 旨在简化机器学习模型部署的运行时 | Scikit-Learn (sklearn), XGBoost, LightGBM |
(1)复合 Caikit-TGIS 运行时，基于 Caikit 和 Text Generation Inference Server (TGIS)。要使用此运行时，需要将模型转换为 Caikit 格式。例如，请参阅 caikit-tgis-serving 仓库中的将 Hugging Face Hub 模式转换为 Caikit 格式。
(2) Caikit 独立运行时，基于 Caikit NLP。要使用此运行时，需要将模型转换为 Caikit 嵌入格式。例如，请参阅文本嵌入模块的测试。
(3) The Text Generation Inference Server (TGIS) Standalone ServingRuntime for KServe 已弃用。如需更多信息，请参阅 Red Hat OpenShift AI 发行注记。
支持的 model-serving 运行时的部署要求
| 运行时名称 | 默认协议 | 附加协议 | 单节点 OpenShift 支持 | 部署模式 |
|---|---|---|---|---|
| vLLM Spyre AI Accelerator ServingRuntime for KServe | REST | 否 | 是 | Raw |
| Caikit Text Generation Inference Server (Caikit-TGIS) ServingRuntime for KServe | REST | gRPC | 是 | Raw |
| Caikit Standalone ServingRuntime for KServe | REST | gRPC | 是 | Raw |
| OpenVINO Model Server | REST | 无 | 是 | Raw |
| [已弃用] Text Generation Inference Server (TGIS) Standalone ServingRuntime for KServe | gRPC | 无 | 是 | Raw |
| vLLM NVIDIA GPU ServingRuntime for KServe | REST | 无 | 是 | Raw |
| vLLM Intel Gaudi Accelerator ServingRuntime for KServe | REST | 无 | 是 | Raw |
| vLLM AMD GPU ServingRuntime for KServe | REST | 无 | 是 | Raw |
| vLLM CPU ServingRuntime for KServe (1) | REST | 无 | 是 | Raw |
| MLServer ServingRuntime for KServe （技术预览） | REST | 否 | 是 | Raw |
(1)对于 vLLM CPU ServingRuntime for KServe，如果您使用 IBM Z 和 IBM Power 架构，则只能以标准部署模式部署模型。
已测试和验证的 model-serving 运行时
| 名称 | 描述 | 导出的模型格式 |
|---|---|---|
| NVIDIA Triton Inference Server | 在应用程序中快速、可扩展的 AI 的开源 inference-serving 软件。 | TensorRT, TensorFlow, PyTorch, ONNX, OpenVINO, Python, RAPIDS FIL, 等。 |
| IBM Power 加速 Triton Inference Server | 在应用程序中快速、可扩展的 AI 的开源 inference-serving 软件。 | PyTorch, ONNX, Python and ML |
| IBM Z Accelerated for NVIDIA Triton Inference Server | 标准化模型部署和执行的开源 AI 推理服务器，大规模交付简化、高性能推测。 | ONNX-MLIR, Snap ML (C++), PyTorch. |
经过测试和验证的模型运行时的部署要求
| 名称 | 默认协议 | 其他协议 | 单节点 OpenShift 支持 | 部署模式 |
|---|---|---|---|---|
| NVIDIA Triton Inference Server | gRPC | REST | 是 | 标准 (Raw) |
| IBM Power 加速 Triton Inference Server | REST | 无 | 是 | 标准 (Raw) |
| IBM Z Accelerated for NVIDIA Triton Inference Server | gRPC | REST | 是 | 标准 (Raw) |
训练镜像
要在 OpenShift AI 中运行分布式训练作业，您可以使用以下类型的训练镜像之一：
- 基于 Ray 的训练镜像，已针对包括在文档中的用例和配置进行测试并认证
- 红帽支持与 Kubeflow Training Operator (KFTO)一起使用的训练镜像
基于 Ray 的训练镜像
下表提供了有关 Red Hat OpenShift AI 中最新可用的基于 Ray 的训练镜像的信息。这些镜像是 AMD64 镜像，可能不适用于其他架构。
您可以使用提供的镜像作为一个基础镜像，并通过安装额外的软件包来创建自定义镜像，如产品文档所述。如果所需软件包没有包含在您要使用的训练镜像中，请联系红帽支持考虑纳入相关的软件包。
镜像会定期更新以包括安装的软件包的新版本。这些镜像已针对在相应产品文档中记录的用例和配置进行测试并验证。程序错误修复和 CVE 修复会在上游软件包中提供后提供，只在较新的镜像版本中提供。相关修复不会向后移植到以前的镜像版本。
| 镜像类型 | RHOAI 版本 | 镜像版本 | URL | 预安装的软件包 |
|---|---|---|---|---|
| CUDA | 3.2 | 2.52.1-py312-cu128 | quay.io/modh/ray:2.52.1-py312-cu128 | Ray 2.52.1, CUDA 12.8, Python 3.12 |
| 3.3 | 2.52.1-py312-cu128 | quay.io/modh/ray:2.52.1-py312-cu128 | Ray 2.52.1, CUDA 12.8, Python 3.12 | |
| Ray ROCm | 3.2 | 2.52.1-py312-rocm62 | quay.io/modh/ray:2.52.1-py312-rocm62 | Ray 2.52.1, ROCm 6.2, Python 3.12 |
| 3.3 | 2.52.1-py312-rocm62 | quay.io/modh/ray:2.52.1-py312-rocm62 | Ray 2.52.1, ROCm 6.2, Python 3.12 |
与 KFTO 一起使用的训练镜像
下表提供了红帽支持的在 Red Hat OpenShift AI 中与 Kubeflow Training Operator (KFTO) 使用的训练镜像。这些镜像是 AMD64 镜像，可能不适用于其他架构。
您可以使用提供的镜像作为一个基础镜像，并通过安装额外的软件包来创建自定义镜像，如产品文档所述。
| 镜像名称 | 镜像版本 | 预安装的软件包 |
|---|---|---|
| Code Server | Data Science | CPU | Python 3.12 | 2025.2 | code-server 4.104, Python 3.12, Boto3:1.40, Kafka-Python-ng:2.2, Matplotlib:3.10, Numpy:2.3, Pandas:2.3, Scikit-learn:1.7, Scipy:1.16, Sklearn-onnx:1.19, ipykernel:6.30, Kubeflow-Training:1.9 |
| 2025.1 | Python 3.11, JupyterLab:4.4, Boto3:1.37, Kafka-Python-ng:2.2, Kfp:2.12, Matplotlib:3.10, Numpy:2.2, Pandas:2.2, Scikit-learn:1.6, Scipy:1.15, Odh-Elyra:4.2, PyMongo:4.11, Pyodbc:5.2, Codeflare-SDK:0.30, Sklearn-onnx:1.18, Psycopg:3.2, MySQL Connector/Python:9.3, Kubeflow-Training:1.9 | |
| Jupyter | Data Science | CPU | Python 3.12 | 2025.2（推荐） | Python 3.12, JupyterLab:4.4, Boto3:1.40, Kafka-Python-ng:2.2, Kfp:2.14, Matplotlib:3.10, Numpy:2.3, Pandas:2.3, Scikit-learn:1.7, Scipy:1.16, Odh-Elyra:4.3, PyMongo:4.15, Pyodbc:5.2, Codeflare-SDK:0.34, Feast:0.59, Sklearn-onnx:1.19, Psycopg:3.2, MySQL Connector/Python:9.4, Kubeflow-Training:1.9 |
| 2025.1 | Python 3.11, JupyterLab:4.4 | |
| Jupyter | Minimal | CPU | Python 3.12 | 2025.2（推荐） | Python 3.12, JupyterLab:4.4 |
| 2025.1 | CUDA 12.6, Python 3.11, JupyterLab:4.4 | |
| Jupyter | Minimal | CUDA | Python 3.12 | 2025.2（推荐） | CUDA 12.8, Python 3.12, JupyterLab:4.4 |
| 2025.1 | ROCm 6.2, Python 3.11, JupyterLab:4.4 | |
| Jupyter | Minimal | ROCm | Python 3.12 | 2025.2（推荐） | ROCm 6.3, Python 3.12, JupyterLab:4.4 |
| Jupyter | PyTorch LLM Compressor | CUDA | Python 3.12 | 2025.2 | CUDA 12.8, Python 3.12, JupyterLab:4.4, PyTorch:2.7, LLM-Compressor:0.9, Tensorboard:2.20, Boto3:1.40, Kafka-Python-ng:2.2, Kfp:2.14, Matplotlib:3.10, Numpy:2.3, Pandas:2.3, Scikit-learn:1.7, Scipy:1.16, Odh-Elyra:4.3, PyMongo:4.15, Pyodbc:5.2, Codeflare-SDK:0.34, Feast:0.59, Sklearn-onnx:1.19, Psycopg:3.2, MySQL Connector/Python:9.4, Kubeflow-Training:1.9 |
| 2025.1 | CUDA 12.6, Python 3.11, JupyterLab:4.4, PyTorch:2.6, Tensorboard:2.19, Boto3:1.37, Kafka-Python-ng:2.2, Kfp:2.12, Matplotlib:3.10, Numpy:2.2, Pandas:2.2, Scikit-learn:1.6, Scipy:1.15, Odh-Elyra:4.2, PyMongo:4.11, Pyodbc:5.2, Codeflare-SDK:0.30, Sklearn-onnx:1.18, Psycopg:3.2, MySQL Connector/Python:9.3, Kubeflow-Training:1.9 | |
| Jupyter | PyTorch | CUDA | Python 3.12 | 2025.2（推荐） | CUDA 12.8, Python 3.12, JupyterLab:4.4, PyTorch:2.7, TensorBoard:2.20, Boto3:1.40, Kafka-Python-ng:2.2, Kfp:2.14, Matplotlib:3.10, Numpy:2.3, Pandas:2.3, Scikit-learn:1.7, Scipy:1.16, Odh-Elyra:4.3, PyMongo:4.15, Pyodbc:5.2, Codeflare-SDK:0.34, Feast:0.59, Sklearn-onnx:1.19, Psycopg:3.2, MySQL Connector/Python:9.4, Kubeflow-Training:1.9 |
| 2025.1 | ROCm 6.2, Python 3.11, JupyterLab:4.4, ROCm-PyTorch:2.6, Tensorboard:2.18, Kafka-Python-ng:2.2, Matplotlib:3.10, Numpy:2.2, Pandas:2.2, Scikit-learn:1.6, Scipy:1.15, Odh-Elyra:4.2, PyMongo:4.11, Pyodbc:5.2, Codeflare-SDK:0.30, Sklearn-onnx:1.18, Psycopg:3.2, MySQL Connector/Python:9.3, Kubeflow-Training:1.9 | |
| Jupyter | PyTorch | ROCm | Python 3.12 | 2025.2（推荐） | ROCm 6.3, Python 3.12, JupyterLab:4.4, ROCm-PyTorch:2.7, TensorBoard:2.20, Kafka-Python-ng:2.2, Matplotlib:3.10, Numpy:2.3, Pandas:2.3, Scikit-learn:1.7, Scipy:1.16, Odh-Elyra:4.3, PyMongo:4.15, Pyodbc:5.2, Codeflare-SDK:0.34, Feast:0.59, Sklearn-onnx:1.19, Psycopg:3.2, MySQL Connector/Python:9.4, Kubeflow-Training:1.9 |
| 2025.1 | CUDA 12.6, Python 3.11, JupyterLab:4.4, TensorFlow:2.18, Tensorboard:2.18, Nvidia-CUDA-CU12-Bundle:12.5, Boto3:1.37, Kafka-Python-ng:2.2, Kfp:2.12, Matplotlib:3.10, Numpy:1.26, Pandas:2.2, Scikit-learn:1.6, Scipy:1.15, Odh-Elyra:4.2, PyMongo:4.11, Pyodbc:5.2, Codeflare-SDK:0.30, Sklearn-onnx:1.18, Psycopg:3.2, MySQL Connector/Python:9.3 | |
| Jupyter | TensorFlow | CUDA | Python 3.12 | 2025.2（推荐） | CUDA 12.8, Python 3.12, JupyterLab:4.4, TensorFlow:2.20, Tensorboard:2.20, Nvidia-CUDA-CU12-Bundle:12.9, Boto3:1.40, Kafka-Python-ng:2.2, Kfp:2.14, Matplotlib:3.10, Numpy:2.1, Pandas:2.3, Scikit-learn:1.7, Scipy:1.16, Odh-Elyra:4.3, PyMongo:4.15, Pyodbc:5.2, Codeflare-SDK:0.34, Feast:0.59, Sklearn-onnx:1.19, Psycopg:3.2, MySQL Connector/Python:9.4 |
| 2025.1 | ROCm 6.2, Python 3.11, JupyterLab:4.4, TensorFlow-ROCm:2.14, Tensorboard:2.14, Kafka-Python-ng:2.2, Matplotlib:3.10, Numpy:1.26, Pandas:2.2, Scikit-learn:1.6, Scipy:1.15, Odh-Elyra:4.2, PyMongo:4.11, Pyodbc:5.2, Codeflare-SDK:0.30, Sklearn-onnx:1.17, Psycopg:3.2, MySQL Connector/Python:9.3 | |
| Jupyter | TensorFlow | ROCm | Python 3.12 | 2025.2（推荐） | ROCm 6.3, Python 3.12, JupyterLab:4.4, TensorFlow-ROCm:2.18, Tensorboard:2.18, Kafka-Python-ng:2.2, Matplotlib:3.10, Numpy:1.26, Pandas:2.3, Scikit-learn:1.7, Scipy:1.16, Odh-Elyra:4.3, PyMongo:4.15, Pyodbc:5.2, Codeflare-SDK:0.34, Sklearn-onnx:1.19, Psycopg:3.2, MySQL Connector/Python:9.4 |
| 2025.1 | Python 3.11, JupyterLab:4.4, TrustyAI:0.6, Transformers:4.55, Datasets:3.4, Accelerate:1.5, Torch:2.6, Boto3:1.37, Kafka-Python-ng:2.2, Kfp:2.12, Matplotlib:3.10, Numpy:1.26, Pandas:1.5, Scikit-learn:1.7, Scipy:1.15, Odh-Elyra:4.2, PyMongo:4.11, Pyodbc:5.2, Codeflare-SDK:0.29, Sklearn-onnx:1.18, Psycopg:3.2, MySQL Connector/Python:9.3, Kubeflow-Training:1.9 | |
| Jupyter | TrustyAI | CPU | Python 3.12 | 2025.2（推荐） | Python 3.12, JupyterLab:4.4, TrustyAI:0.6, Transformers:4.56, Datasets:4.0, Accelerate:1.10, Torch:2.7, Boto3:1.40, Kafka-Python-ng:2.2, Kfp:2.14, Matplotlib:3.10, Numpy:1.26, Pandas:1.5, Scikit-learn:1.7, Scipy:1.16, Odh-Elyra:4.3, PyMongo:4.15, Pyodbc:5.2, Codeflare-SDK:0.34, Sklearn-onnx:1.19, Psycopg:3.2, MySQL Connector/Python:9.4, Kubeflow-Training:1.9 |
Comments