Red Hat OpenShift AI:支持的配置
本文列出了 Red Hat OpenShift AI (RHOAI) 产品(Self-Managed 和 Cloud Service)、RHOAI 组件、当前支持阶段及其与底层平台的兼容性。
Red Hat OpenShift AI Self-Managed
您可以通过安装 Red Hat OpenShift AI Operator 来安装 OpenShift AI Self-Managed，然后配置 Operator 来管理产品的独立组件。
在 x86_64、ppc64le 和 s390x 架构上运行的 OpenShift Container Platform 上支持 RHOAI Self-Managed。这包括以下供应商：
- 裸机
- 在裸机上托管的 control plane
- IBM Cloud
- Red Hat OpenStack
- Amazon Web Services
- Google Cloud Platform
- Microsoft Azure
- VMware vSphere
- Oracle Cloud
- IBM Power（技术预览）
- IBM Z（技术预览）
这还包括在受管 OpenShift 产品（如 OpenShift Dedicated、Red Hat OpenShift Service on AWS (ROSA with HCP)、Red Hat OpenShift Service on AWS (classic 架构) 和 Microsoft Azure Red Hat OpenShift）上的 RHOAI Self-Managed 的支持。目前，在 ARM 架构和其他平台（如 OpenShift Kubernetes Engine 和 MicroShift）上运行的 OpenShift 不支持 RHOAI Self-Managed。
有关 RHOAI Self-Managed 生命周期和当前支持的版本的完整概述，请访问此页。
x86_64 架构
| Operator 版本 | 组件 | OpenShift 版本 | 芯片组架构 | ||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| CodeFlare | Dashboard | Data science pipelines | Feature Store | KServe | Kubeflow Training | Kuberay | Kueue | Llama Stack | Model Mesh Serving | Model Registry | TrustyAI | Workbenches | |||
| 2.23 | GA | GA | GA | TP | GA | GA | GA | GA | DP | 弃用 | TP | GA | GA | 4.15, 4.16, 4.17, 4.18, 4.19 | x86_64 |
| 2.22 | GA | GA | GA | TP | GA | GA | GA | GA | - | 弃用 | TP | GA | GA | 4.15, 4.16, 4.17, 4.18, 4.19 | x86_64 |
| 2.19 | GA | GA | GA | - | GA | GA | GA | GA | - | 弃用 | TP | GA | GA | 4.14, 4.15, 4.16, 4.17, 4.18 | x86_64 |
| 2.16 | GA | GA | GA | - | GA | TP | GA | GA | - | GA | TP | GA | GA | 4.14, 4.15, 4.16, 4.17 | x86_64 |
| 2.8 | TP | EUS | EOL (v1) | - | EUS | - | TP | - | - | GA | - | - | GA | 4.12, 4.14, 4.15 | x86_64 |
IBM Z (s390x) 架构
| Operator 版本 | 组件 | OpenShift 版本 | 芯片组架构 | ||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| CodeFlare | Dashboard | Data science pipelines | Feature Store | KServe | Kubeflow Training | Kuberay | Kueue | Llama Stack | Model Mesh Serving | Model Registry | TrustyAI | Workbenches | |||
| 2.23 | - | TP | - | - | TP | - | - | - | - | - | - | - | 4.18, 4.19 | s390x | |
| 2.22 | - | TP | - | - | TP | - | - | - | - | - | - | - | 4.18, 4.19 | s390x | |
| 2.19 | - | TP | - | - | TP | - | - | - | - | - | - | - | 4.18 | s390x |
IBM Power (ppc64le) 架构
| Operator 版本 | 组件 | OpenShift 版本 | 芯片组架构 | ||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| CodeFlare | Dashboard | Data science pipelines | Feature Store | KServe | Kubeflow Training | Kuberay | Kueue | Llama Stack | Model Mesh Serving | Model Registry | TrustyAI | Workbenches | |||
| 2.23 | - | TP | - | - | TP | - | - | - | - | - | - | - | - | 4.18, 4.19 | ppc64le |
| 2.22 | - | TP | - | - | TP | - | - | - | - | - | - | - | - | 4.18, 4.19 | ppc64le |
| 2.19 | - | TP | - | - | TP | - | - | - | - | - | - | - | - | 4.18 | ppc64le |
Red Hat OpenShift AI Cloud Service
您可以通过安装 Red Hat OpenShift AI Add-on 来安装 OpenShift AI Cloud Service，然后使用 add-on 管理产品的独立组件。add-on 有一个单独的版本，反映云服务的最新更新。
RHOAI Cloud Service 在 OpenShift Dedicated (AWS 和 GCP) 以及 Red Hat OpenShift Service on AWS （经典架构）上被支持。目前，Microsoft Azure Red Hat OpenShift 和平台服务（如使用 HCP 的 ROSA）不支持 RHOAI Cloud Service。
有关 RHOAI Cloud Service 生命周期和当前支持的版本的完整概述，请访问此页。
| 附加组件（Add-on）版本 | 组件 | OpenShift 版本 | 芯片组架构 | ||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| CodeFlare | Dashboard | Data science pipelines | Feature Store | KServe | Kubeflow Training | Kuberay | Kueue | Llama Stack | Model Mesh Serving | Model Registry | TrustyAI | Workbenches | |||
| 2.23 | GA | GA | GA | TP | GA | GA | GA | GA | DP | 弃用 | TP | GA | GA | 4.15, 4.16, 4.17, 4.18, 4.19 | x86_64 |
TP:技术预览
DP:开发者预览
开发者和技术预览：它们的不同
LA:有限可用。在此阶段，您只能在特定的由红帽批准的方式安装和接收对该功能的支持。如果没有被红帽批准，则不支持该功能。
GA:公开发行 (GA)。
EUS：延长更新支持 (EUS)。在 EUS 阶段，红帽会保持对特定组件的支持。
EOL:生命周期结束。在此阶段，组件将不再被支持。
RHOAI 和 vLLM 版本兼容性
下表显示了包含在每个 Red Hat OpenShift AI 版本中的 vLLM model-serving（模型服务）运行时版本。
| RHOAI 版本 | vLLM CUDA | vLLM ROCm | vLLM Power/Z | vLLM Gaudi |
|---|---|---|---|---|
| RHOAI-2.24 | v0.10.0.2 | v0.10.0.2 | v0.10.0.2 | v0.8.5+Gaudi-1.21.3 |
| RHOAI-2.23 | v0.9.2.1 | v0.9.2.1 | v0.9.2.1 | v0.7.2+Gaudi-1.21.0 |
| RHOAI-2.22 | v0.9.1.0 | v0.8.4.3 | v0.9.1.0 | v0.7.2+Gaudi-1.21.0 |
| RHOAI-2.21 | v0.9.0.1 | v0.8.4.3 | v0.8.5 | v0.6.4.post2+Gaudi-1.19.0 |
| RHOAI-2.20 | v0.8.4.0 | v0.8.4.0 | v0.8.4.0 | v0.6.4.post2+Gaudi-1.19.0 |
| RHOAI-2.19 | v0.8.4.0 | v0.8.4.0 | v0.8.4.0 | v0.7.2+Gaudi-1.21.0 |
| RHOAI-2.18 | v0.7.1 | v0.7.1 | v0.6.4.post2+Gaudi-1.19.2 | |
| RHOAI-2.17 | v0.6.6.post1 | v0.6.6.post1 | v0.6.4.post2+Gaudi-1.19.0 | |
| RHOAI-2.16 | v0.6.3.post1 | v0.6.3.post1 | v0.6.6.post1+Gaudi-1.20.0 | |
| RHOAI-2.15 | v0.6.3 | |||
| RHOAI-2.14 | v0.6.2 | |||
| RHOAI-2.13 | v0.6.2 | |||
| RHOAI-2.12 | 0.5.3.post1 | |||
| RHOAI-2.11 | 0.5.0.post1 |
Red Hat OpenShift AI Operator 依赖项
有关 Red Hat OpenShift AI Operator 依赖项的兼容性和支持的版本的详情，请查看以下文档：
- Red Hat OpenShift Serverless: 发行注记
- Red Hat OpenShift Service Mesh: 发行注记
- Node Feature Discovery Operator: 文档
- Red Hat - Authorino Operator: 文档
- NVIDIA GPU Operator: 文档
- Intel Gaudi Base Operator: 文档
- AMD GPU Operator: 文档
- NVIDIA Network Operator: 文档
目前，OpenShift Service Mesh v3 不被支持。
目前，Red Hat - Authorino Operator 是 Red Hat OpenShift AI 支持的唯一的 Red Hat Connectivity Link 组件。要安装或升级 Red Hat - Authorino Operator，请按照 Red Hat OpenShift AI 文档中的说明进行操作。
在 Red Hat OpenShift AI 中，CodeFlare Operator 包含在基本产品中，而不是一个单独的 Operator。单独安装的来自红帽或社区的 CodeFlare Operator 不被支持。如需更多信息，请参阅红帽知识库解决方案如何迁移在数据科学集群中单独安装的 CodeFlare Operator。
Red Hat OpenShift AI 并不直接支持任何特定的加速器。要在 OpenShift AI 中使用加速器功能，需要相关的加速器 Operator。OpenShift AI 支持与相关 Operator 集成，并提供许多镜像，包括用于 NVIDIA GPU、AMD GPU 和 Intel Gaudi AI 加速器的库。如需有关 Operator 支持哪些设备的更多信息，请参阅相关的 Operator 的文档。
支持要求和限制
查阅本节以了解红帽支持的要求以及 Red Hat OpenShift AI 支持的限制。
支持的浏览器
- Google Chrome
- Mozilla Firefox
- Safari
支持的服务
Red Hat OpenShift AI 支持以下服务：
| 服务名称 | 描述 |
|---|---|
| Elasticsearch | Elasticsearch 是一个分布式 RESTful 搜索和分析引擎。它是一个中央化的数据存储机制，以便轻松实现快速搜索、对延迟进行调优、并可以在大范围内实现强大的分析功能。 |
| IBM Watson Studio | IBM Watson Studio 是一个嵌入式的 AI 和机器学习机制，可以与您的业务集成，并使用您自己的数据创建自定义模型。 |
| Intel® oneAPI AI Analytics Toolkit Container | AI Kit 是一组 AI 软件工具，可加速 Intel® 架构上的端到端数据科学操作和分析管道。 |
| Jupyter | Jupyter 是一个多用户版本的 notebook，针对公司、课堂和研究实验室而设计。 |
| OpenVINO | OpenVINO 是一个开源工具包，可帮助在 Intel 硬件中优化深度学习性能和部署，使用推理引擎。 |
| Pachyderm | 使用 Pachyderm 的数据版本、管道和线板功能自动化机器学习生命周期并优化机器学习操作。 |
| Starburst Enterprise | Starburst Enterprise platform (SEP) 是 Trino 的一个商业版本，它是一个开源、可靠的并行处理(MPP) ANSI SQL 查询引擎。 |
支持的 workbench 镜像
Red Hat OpenShift AI 中最新支持的 workbench 镜像与 Python 一起默认安装。
您可以安装与任何 workbench 服务器上支持的 Python 版本兼容的软件包。其中包括了软件包所需的二进制代码。如果您要使用的 workbench 镜像没有包括所需的二进制代码，请联系红帽支持请求考虑纳入相关的二进制代码。
要为您的模型开发提供一个一致的、稳定平台，请选择包含相同 Python 版本的 workbench 镜像。OpenShift AI 上的 workbench 镜像已预先构建，您可以在安装或升级 OpenShift AI 后立即使用。
workbench 镜像至少支持一年。每六个月会对预配置的 workbench 镜像进行重大更新。因此，在任何给定时间点上，通常有两个受支持的 workbench 镜像版本。您可以利用这个支持周期来更新您的代码，以使用来自最新可用的 workbench 镜像中的组件。旧的 workbench 镜像版本（不是上面提到的两个最新版本）可能仍可选择。旧版镜像版本包含了一个标签，代表镜像已过时。要使用最新的软件包版本，红帽建议您使用最近添加的 workbench 镜像。如果需要，您仍然可以从 registry 获得旧的 workbench 镜像，即使它们已不再被支持。然后，您可以将旧的 workbench 镜像作为自定义 workbench 镜像添加，以满足项目的特定要求。
下表中带有 Technology Preview（技术预览） 标记的 Workbench 镜像不受红帽产品服务等级协议 (SLA) 支持，且可能无法正常工作。红帽不推荐在生产环境中使用技术预览功能。这些功能用于让您试用即将推出的产品功能，使客户有计划在开发过程中测试并提供反馈。
| 镜像名称 | 镜像版本 | 预安装的软件包 |
|---|---|---|
| Code Server | Data Science | CPU | Python 3.11 | 2025.1 （推荐） | code-server 4.98, Python 3.11, Boto3:1.37, Kafka-Python-ng:2.2, Matplotlib:3.10, Numpy:2.2, Pandas:2.2, Scikit-learn:1.6, Scipy:1.15, Sklearn-onnx:1.18, ipykernel:6.29, Kubeflow-Training:1.9 |
| 2024.2 | code-server 4.92, Python 3.11, Boto3:1.34, Kafka-Python:2.0, Matplotlib:3.8, Numpy:1.26, Pandas:2.2, Scikit-learn:1.4, Scipy:1.12, Sklearn-onnx:1.16, ipykernel:6.29, Kubeflow-Training:1.8 | |
| Code Server | Data Science | CPU | Python 3.12 | 2025.1 | code-server 4.98, Python 3.12, Boto3:1.37, Kafka-Python-ng:2.2, Matplotlib:3.10, Numpy:2.2, Pandas:2.2, Scikit-learn:1.6, Scipy:1.15, Sklearn-onnx:1.18, ipykernel:6.29, Kubeflow-Training:1.9 |
| Jupyter | Data Science | CPU | Python 3.11 | 2025.1 （推荐） | Python 3.11, JupyterLab:4.4, Boto3:1.37, Kafka-Python-ng:2.2, Kfp:2.12, Matplotlib:3.10, Numpy:2.2, Pandas:2.2, Scikit-learn:1.6, Scipy:1.15, Odh-Elyra:4.2, PyMongo:4.11, Pyodbc:5.2, Codeflare-SDK:0.30, Sklearn-onnx:1.18, Psycopg:3.2, MySQL Connector/Python:9.3, Kubeflow-Training:1.9 |
| 2024.2 | Python 3.11, JupyterLab:4.2, Boto3:1.35, Kafka-Python-ng:2.2, Kfp:2.9, Matplotlib:3.9, Numpy:2.1, Pandas:2.2, Scikit-learn:1.5, Scipy:1.14, Odh-Elyra:4.2, PyMongo:4.8, Pyodbc:5.1, Codeflare-SDK:0.26, Sklearn-onnx:1.17, Psycopg:3.2, MySQL Connector/Python:9.0, Kubeflow-Training:1.8 | |
| Jupyter | Data Science | CPU | Python 3.12 | 2025.1 | Python 3.12, JupyterLab:4.4, Boto3:1.37, Kafka-Python-ng:2.2, Kfp:2.12, Matplotlib:3.10, Numpy:2.2, Pandas:2.2, Scikit-learn:1.6, Scipy:1.15, Odh-Elyra:4.2, PyMongo:4.11, Pyodbc:5.2, Codeflare-SDK:0.29, Sklearn-onnx:1.18, Psycopg:3.2, MySQL Connector/Python:9.3, Kubeflow-Training:1.9 |
| Jupyter | Minimal | CPU | Python 3.11 | 2025.1 （推荐） | Python 3.11, JupyterLab:4.4 |
| 2024.2 | Python 3.11, JupyterLab:4.2 | |
| Jupyter | Minimal | CPU | Python 3.12 | 2025.1 | Python 3.12, JupyterLab:4.4 |
| Jupyter | Minimal | CUDA | Python 3.11 | 2025.1 （推荐） | CUDA 12.6, Python 3.11, JupyterLab:4.4 |
| 2024.2 | CUDA 12.4, Python 3.11, JupyterLab:4.2 | |
| Jupyter | Minimal | CUDA | Python 3.12 | 2025.1 | CUDA 12.6, Python 3.12, JupyterLab:4.4 |
| Jupyter | Minimal | ROCm | Python 3.11 | 2025.1 （推荐） | ROCm 6.2, Python 3.11, JupyterLab:4.4 |
| 2024.2 | ROCm 6.1, Python 3.11, JupyterLab:4.2 | |
| Jupyter | Minimal | ROCm | Python 3.12 | 2025.1 | ROCm 6.2, Python 3.12, JupyterLab:4.4 |
| Jupyter | PyTorch LLM Compressor | CUDA | Python 3.12 | 2025.1 | CUDA 12.6, Python 3.12, JupyterLab:4.4, PyTorch:2.6, LLM-Compressor:0.6, Tensorboard:2.19, Boto3:1.37, Kafka-Python-ng:2.2, Kfp:2.12, Matplotlib:3.10, Numpy:1.26, Pandas:2.2, Scikit-learn:1.6, Scipy:1.15, Odh-Elyra:4.2, PyMongo:4.11, Pyodbc:5.2, Codeflare-SDK:0.29, Sklearn-onnx:1.18, Psycopg:3.2, MySQL Connector/Python:9.3, Kubeflow-Training:1.9 |
| Jupyter | PyTorch | CUDA | Python 3.11 | 2025.1 （推荐） | CUDA 12.6, Python 3.11, JupyterLab:4.4, PyTorch:2.6, Tensorboard:2.19, Boto3:1.37, Kafka-Python-ng:2.2, Kfp:2.12, Matplotlib:3.10, Numpy:2.2, Pandas:2.2, Scikit-learn:1.6, Scipy:1.15, Odh-Elyra:4.2, PyMongo:4.11, Pyodbc:5.2, Codeflare-SDK:0.30, Sklearn-onnx:1.18, Psycopg:3.2, MySQL Connector/Python:9.3, Kubeflow-Training:1.9 |
| 2024.2 | CUDA 12.4, Python 3.11, JupyterLab:4.2, PyTorch:2.4, Tensorboard:2.17, Boto3:1.35, Kafka-Python-ng:2.2, Kfp:2.9, Matplotlib:3.9, Numpy:2.1, Pandas:2.2, Scikit-learn:1.5, Scipy:1.14, Odh-Elyra:4.2, PyMongo:4.8, Pyodbc:5.1, Codeflare-SDK:0.26, Sklearn-onnx:1.17, Psycopg:3.2, MySQL Connector/Python:9.0, Kubeflow-Training:1.8 | |
| Jupyter | PyTorch | CUDA | Python 3.12 | 2025.1 | CUDA 12.6, Python 3.12, JupyterLab:4.4, PyTorch:2.6, Tensorboard:2.19, Boto3:1.37, Kafka-Python-ng:2.2, Kfp:2.12, Matplotlib:3.10, Numpy:2.2, Pandas:2.2, Scikit-learn:1.6, Scipy:1.15, Odh-Elyra:4.2, PyMongo:4.11, Pyodbc:5.2, Codeflare-SDK:0.29, Sklearn-onnx:1.18, Psycopg:3.2, MySQL Connector/Python:9.3, Kubeflow-Training:1.9 |
| Jupyter | PyTorch | ROCm | Python 3.11 | 2025.1 （推荐） | Python 3.11, JupyterLab:4.4, ROCm-PyTorch:2.6, Tensorboard:2.18, Kafka-Python-ng:2.2, Matplotlib:3.10, Numpy:2.2, Pandas:2.2, Scikit-learn:1.6, Scipy:1.15, Odh-Elyra:4.2, PyMongo:4.11, Pyodbc:5.2, Codeflare-SDK:0.30, Sklearn-onnx:1.18, Psycopg:3.2, MySQL Connector/Python:9.3, Kubeflow-Training:1.9 |
| 2024.2 | Python 3.11, JupyterLab:4.2, ROCm-PyTorch:2.4, Tensorboard:2.16, Kafka-Python-ng:2.2, Matplotlib:3.9, Numpy:2.1, Pandas:2.2, Scikit-learn:1.5, Scipy:1.14, Odh-Elyra:4.2, PyMongo:4.8, Pyodbc:5.1, Codeflare-SDK:0.26, Sklearn-onnx:1.17, Psycopg:3.2, MySQL Connector/Python:9.0, Kubeflow-Training:1.8 | |
| Jupyter | PyTorch | ROCm | Python 3.12 | 2025.1 | Python 3.12, JupyterLab:4.4, ROCm-PyTorch:2.6, Tensorboard:2.18, Kafka-Python-ng:2.2, Matplotlib:3.10, Numpy:2.2, Pandas:2.2, Scikit-learn:1.6, Scipy:1.15, Odh-Elyra:4.2, PyMongo:4.11, Pyodbc:5.2, Codeflare-SDK:0.29, Sklearn-onnx:1.18, Psycopg:3.2, MySQL Connector/Python:9.3, Kubeflow-Training:1.9 |
| Jupyter | TensorFlow | CUDA | Python 3.11 | 2025.1 （推荐） | CUDA 12.6, Python 3.11, JupyterLab:4.4, TensorFlow:2.18, Tensorboard:2.18, Nvidia-CUDA-CU12-Bundle:12.5, Boto3:1.37, Kafka-Python-ng:2.2, Kfp:2.12, Matplotlib:3.10, Numpy:1.26, Pandas:2.2, Scikit-learn:1.6, Scipy:1.15, Odh-Elyra:4.2, PyMongo:4.11, Pyodbc:5.2, Codeflare-SDK:0.30, Sklearn-onnx:1.18, Psycopg:3.2, MySQL Connector/Python:9.3 |
| 2024.2 | CUDA 12.4, Python 3.11, JupyterLab:4.2, TensorFlow:2.17, Tensorboard:2.17, Nvidia-CUDA-CU12-Bundle:12.3, Boto3:1.35, Kafka-Python-ng:2.2, Kfp:2.5, Matplotlib:3.9, Numpy:1.26, Pandas:2.2, Scikit-learn:1.5, Scipy:1.14, Odh-Elyra:4.2, PyMongo:4.8, Pyodbc:5.1, Codeflare-SDK:0.24, Sklearn-onnx:1.17, Psycopg:3.2, MySQL Connector/Python:9.0 | |
| Jupyter | TensorFlow | CUDA | Python 3.12 | 2025.1 | CUDA 12.6, Python 3.12, JupyterLab:4.4, TensorFlow:2.19, Tensorboard:2.19, Nvidia-CUDA-CU12-Bundle:12.5, Boto3:1.37, Kafka-Python-ng:2.2, Kfp:2.12, Matplotlib:3.10, Numpy:1.26, Pandas:2.2, Scikit-learn:1.6, Scipy:1.15, Odh-Elyra:4.2, PyMongo:4.11, Pyodbc:5.2, Codeflare-SDK:0.29, Sklearn-onnx:1.18, Psycopg:3.2, MySQL Connector/Python:9.3 |
| Jupyter | TensorFlow | ROCm | Python 3.11 | 2025.1 （推荐） | Python 3.11, JupyterLab:4.4, ROCm-TensorFlow:2.14, Tensorboard:2.14, Kafka-Python-ng:2.2, Matplotlib:3.10, Numpy:1.26, Pandas:2.2, Scikit-learn:1.6, Scipy:1.15, Odh-Elyra:4.2, PyMongo:4.11, Pyodbc:5.2, Codeflare-SDK:0.30, Sklearn-onnx:1.17, Psycopg:3.2, MySQL Connector/Python:9.3 |
| 2024.2 | Python 3.11, JupyterLab:4.2, ROCm-TensorFlow:2.14, Tensorboard:2.14, Kafka-Python-ng:2.2, Matplotlib:3.9, Numpy:1.26, Pandas:2.2, Scikit-learn:1.5, Scipy:1.14, Odh-Elyra:4.2, PyMongo:4.8, Pyodbc:5.1, Codeflare-SDK:0.24, Sklearn-onnx:1.17, Psycopg:3.2, MySQL Connector/Python:9.0 | |
| Jupyter | TrustyAI | CPU | Python 3.11 | 2025.1 （推荐） | Python 3.11, JupyterLab:4.4, TrustyAI:0.6, Transformers:4.53, Datasets:3.4, Accelerate:1.5, Torch:2.6, Boto3:1.37, Kafka-Python-ng:2.2, Kfp:2.12, Matplotlib:3.6, Numpy:1.24, Pandas:1.5, Scikit-learn:1.5, Scipy:1.15, Odh-Elyra:4.2, PyMongo:4.11, Pyodbc:5.2, Codeflare-SDK:0.30, Sklearn-onnx:1.18, Psycopg:3.2, MySQL Connector/Python:9.3, Kubeflow-Training:1.9 |
| 2024.2 | Python 3.11, JupyterLab:4.2, TrustyAI:0.6, Transformers:4.38, Datasets:2.21, Accelerate:0.34, Torch:2.2, Boto3:1.35, Kafka-Python-ng:2.2, Kfp:2.9, Matplotlib:3.6, Numpy:1.24, Pandas:1.5, Scikit-learn:1.2, Scipy:1.14, Odh-Elyra:4.2, PyMongo:4.8, Pyodbc:5.1, Codeflare-SDK:0.26, Sklearn-onnx:1.17, Psycopg:3.2, MySQL Connector/Python:9.0, Kubeflow-Training:1.8 | |
| Jupyter | TrustyAI | CPU | Python 3.12 | 2025.1 | Python 3.12, JupyterLab:4.4, TrustyAI:0.6, Transformers:4.55, Datasets:3.4, Accelerate:1.5, Torch:2.6, Boto3:1.37, Kafka-Python-ng:2.2, Kfp:2.12, Matplotlib:3.10, Numpy:1.26, Pandas:1.5, Scikit-learn:1.7, Scipy:1.15, Odh-Elyra:4.2, PyMongo:4.11, Pyodbc:5.2, Codeflare-SDK:0.29, Sklearn-onnx:1.18, Psycopg:3.2, MySQL Connector/Python:9.3, Kubeflow-Training:1.9 |
支持的 model-serving 运行时
| 运行时名称 | 描述 | 导出的模型格式 |
|---|---|---|
| Caikit Text Generation Inference Server (Caikit-TGIS) ServingRuntime for KServe (1) | Caikit 格式的服务模型的复合运行时 | Caikit Text Generation |
| Caikit Standalone ServingRuntime for KServe (2) | 用于服务模型的运行时，使用 Caikit 嵌入格式用于嵌入任务 | Caikit Embeddings |
| OpenVINO Model Server | 用于服务模型的可扩展的、高性能运行时，针对 Intel 架构优化 | PyTorch, TensorFlow, OpenVINO IR, PaddlePaddle, MXNet, Caffe, Kaldi |
| [已弃用] Text Generation Inference Server (TGIS) Standalone ServingRuntime for KServe (3) | 用于服务支持 TGI 的模型的运行时 | PyTorch Model Formats |
| vLLM NVIDIA GPU ServingRuntime for KServe | 用于大型语言模型的高吞吐量和高内存效率推理和服务的运行时，支持 NVIDIA GPU 加速器 | 支持的模型 |
| vLLM Intel Gaudi Accelerator ServingRuntime for KServe | 高吞吐量和高内存效率推理和服务运行时，支持 Intel Gaudi Accelerator | 支持的模型 |
| vLLM AMD GPU ServingRuntime for KServe | 高吞吐量和高内存效率推理和服务运行时，支持 AMD GPU 加速器 | 支持的模型 |
| CPU ServingRuntime for KServe | 高吞吐量和高内存效率推理和服务运行时，支持 IBM Power (ppc64le) 和 IBM Z (s390x) | 支持的模型 |
(1)复合 Caikit-TGIS 运行时，基于 Caikit 和 Text Generation Inference Server (TGIS)。要使用此运行时，需要将模型转换为 Caikit 格式。例如，请参阅 caikit-tgis-serving 仓库中的将 Hugging Face Hub 模式转换为 Caikit 格式。
(2) Caikit 独立运行时，基于 Caikit NLP。要使用此运行时，需要将模型转换为 Caikit 嵌入格式。例如，请参阅文本嵌入模块的测试。
(3) The Text Generation Inference Server (TGIS) Standalone ServingRuntime for KServe 已弃用。如需更多信息，请参阅 Red Hat OpenShift AI 发行注记。
支持的 model-serving 运行时的部署要求
| 运行时名称 | 默认协议 | 附加协议 | 模型网格支持 | 单节点 OpenShift 支持 | 部署模式 |
|---|---|---|---|---|---|
| Caikit Text Generation Inference Server (Caikit-TGIS) ServingRuntime for KServe | REST | gRPC | 否 | 是 | raw 和 serverless |
| Caikit Standalone ServingRuntime for KServe | REST | gRPC | 否 | 是 | raw 和 serverless |
| OpenVINO Model Server | REST | 无 | 是 | 是 | raw 和 serverless |
| [已弃用] Text Generation Inference Server (TGIS) Standalone ServingRuntime for KServe | gRPC | 无 | 否 | 是 | raw 和 serverless |
| vLLM NVIDIA GPU ServingRuntime for KServe | REST | 无 | 否 | 是 | raw 和 serverless |
| vLLM Intel Gaudi Accelerator ServingRuntime for KServe | REST | 无 | 否 | 是 | raw 和 serverless |
| vLLM AMD GPU ServingRuntime for KServe | REST | 无 | 否 | 是 | raw 和 serverless |
| vLLM CPU ServingRuntime for KServe (1) | REST | 无 | 否 | 是 | Raw |
(1)对于 vLLM CPU ServingRuntime for KServe，如果您使用 IBM Z 和 IBM Power 架构，则只能以标准部署模式部署模型。
已测试和验证的 model-serving 运行时
| 名称 | 描述 | 导出的模型格式 |
|---|---|---|
| NVIDIA Triton Inference Server | 在应用程序中快速、可扩展的 AI 的开源 inference-serving 软件。 | TensorRT, TensorFlow, PyTorch, ONNX, OpenVINO, Python, RAPIDS FIL, 等 |
| Seldon MLServer | 旨在简化机器学习模型部署的开源推理服务器。 | Scikit-Learn (sklearn), XGBoost, LightGBM, CatBoost, HuggingFace 和 MLflow |
经过测试和验证的模型运行时的部署要求
| 名称 | 默认协议 | 其他协议 | 模型网格支持 | 单节点 OpenShift 支持 | 部署模式 |
|---|---|---|---|---|---|
| NVIDIA Triton Inference Server | gRPC | REST | 是 | 是 | 标准和高级 |
| Seldon MLServer | gRPC | REST | 否 | 是 | 标准和高级 |
备注：来自 Seldon 的 alibi-detect 和 alibi-explain 程序库使用 Business Source License 1.1 (BSL 1.1)。这些程序库没有经过测试、验证，不被支持，不是认证的 Seldon MLServer 运行时的一部分。不建议在带有运行时的生产环境中使用这些库。
训练镜像
要在 OpenShift AI 中运行分布式训练作业，您可以使用以下类型的训练镜像之一：
- 基于 Ray 的训练镜像，已针对包括在文档中的用例和配置进行测试并认证
- 红帽支持与 Kubeflow Training Operator (KFTO)一起使用的训练镜像
基于 Ray 的训练镜像
下表提供了有关 Red Hat OpenShift AI 中最新可用的基于 Ray 的训练镜像的信息。这些镜像是 AMD64 镜像，可能不适用于其他架构。
您可以使用提供的镜像作为一个基础镜像，并通过安装额外的软件包来创建自定义镜像，如产品文档所述。如果所需软件包没有包含在您要使用的训练镜像中，请联系红帽支持考虑纳入相关的软件包。
镜像会定期更新以包括安装的软件包的新版本。这些镜像已针对在相应产品文档中记录的用例和配置进行测试并验证。程序错误修复和 CVE 修复会在上游软件包中提供后提供，只在较新的镜像版本中提供。相关修复不会向后移植到以前的镜像版本。
| 镜像类型 | RHOAI 版本 | 镜像版本 | URL | 预安装的软件包 |
|---|---|---|---|---|
| CUDA | 2.23 | 2.47.1-py311-cu121 | quay.io/modh/ray:2.47.1-py311-cu121 | Ray 2.47.1, CUDA 12.1, Python 3.11 |
| 2.22 | 2.46.0-py311-cu121 | quay.io/modh/ray:2.46.0-py311-cu121 | Ray 2.46.0, CUDA 12.1, Python 3.11 | |
| 2.16, 2.19 | 2.35.0-py311-cu121 | quay.io/modh/ray:2.35.0-py311-cu121 | Ray 2.35, CUDA 12.1, Python 3.11 | |
| 2.35.0-py39-cu121 | quay.io/modh/ray:2.35.0-py39-cu121 | Ray 2.35, CUDA 12.1, Python 3.9 | ||
| 2.8 | latest-py39-cu118 | quay.io/project-codeflare/ray:latest-py39-cu118 | Ray 2.7.1, CUDA 11.8, Python 3.9 | |
| Ray ROCm | 2.23 | 2.47.1-py311-rocm62 | quay.io/modh/ray:2.47.1-py311-rocm62 | Ray 2.47.1, ROCm 6.2, Python 3.11 |
| 2.22 | 2.46.0-py311-rocm62 | quay.io/modh/ray:2.46.0-py311-rocm62 | Ray 2.46.0, ROCm 6.2, Python 3.11 | |
| 2.19 | 2.35.0-py311-rocm62 | quay.io/modh/ray:2.35.0-py311-rocm62 | Ray 2.35, ROCm 6.2, Python 3.11 | |
| 2.35.0-py39-rocm62 | quay.io/modh/ray:2.35.0-py39-rocm62 | Ray 2.35, ROCm 6.2, Python 3.9 | ||
| 2.16 | 2.35.0-py311-rocm61 | quay.io/modh/ray:2.35.0-py311-rocm61 | Ray 2.35, ROCm 6.1, Python 3.11 | |
| 2.35.0-py39-rocm61 | quay.io/modh/ray:2.35.0-py39-rocm61 | Ray 2.35, ROCm 6.1, Python 3.9 |
与 KFTO 一起使用的训练镜像
下表提供了红帽支持的在 Red Hat OpenShift AI 中与 Kubeflow Training Operator (KFTO) 使用的训练镜像。这些镜像是 AMD64 镜像，可能不适用于其他架构。
您可以使用提供的镜像作为一个基础镜像，并通过安装额外的软件包来创建自定义镜像，如产品文档所述。
| 镜像类型 | RHOAI 版本 | 镜像版本 | URL | 预安装的软件包 |
|---|---|---|---|---|
| CUDA | 2.16, 2.19, 2.22 | py311-cuda124-torch251 | quay.io/modh/training:py311-cuda124-torch251 | CUDA 12.4, Python 3.11, PyTorch 2.5.1 |
| py311-cuda121-torch241 | quay.io/modh/training:py311-cuda121-torch241 | CUDA 12.1, Python 3.11, PyTorch 2.4.1 | ||
| ROCm | 2.16, 2.19, 2.22 | py311-rocm62-torch251 | quay.io/modh/training:py311-rocm62-torch251 | ROCm 6.2, Python 3.11, PyTorch 2.5.1 |
| py311-rocm62-torch241 | quay.io/modh/training:py311-rocm62-torch241 | ROCm 6.2, Python 3.11, PyTorch 2.4.1 | ||
| 2.16, 2.19 | py311-rocm61-torch241 | quay.io/modh/training:py311-rocm61-torch241 | ROCm 6.1, Python 3.11, PyTorch 2.4.1 |
Comments