4.2. 部署模型

现在,模型可以被访问并保存在可移植的 ONNX 格式中,您可以使用 OpenShift AI 模型服务器将其部署为 API。

OpenShift AI 为模型服务提供了两个选项:

  • 单模式服务 - 项目中的每一模型都部署在自己的模型服务器上。此平台适用于需要专用资源的大型模型或模型。
  • 多模式服务 - 项目中的所有模型都部署到同一模型服务器上。此平台适合在部署的模型间共享资源。

注: 对于每个项目,您只能指定一个模型服务平台。如果要更改为其他模型服务平台,您必须创建一个新项目。

在本教程中,由于您只部署一个模型,您可以选择任一服务类型。部署 fraud 检测模型的步骤取决于您所选的模型服务平台类型:

4.2.1. 在单型号服务器上部署模型

OpenShift AI 单型号服务器仅托管一种模型。您可以创建新的模型服务器,并将模型部署到其中。

prerequiste

  • 具有 admin 特权的用户已在 OpenShift 集群上启用了单模式服务平台。

流程

  1. 在 OpenShift AI 仪表板中,导航到项目详情页面,再点 Models 选项卡。

    models
  2. Single-model serving platform 标题中,点 Deploy model
  3. 在表单中,提供以下值:

    1. 对于 Model Name,键入 fraud
    2. 对于 Serving 运行时,请选择 OpenVINO Model Server
    3. 对于 Model 框架,请选择 onnx-1
    4. 对于 现有数据连接,请选择 My Storage
    5. 键入导致包含模型文件的版本文件夹的路径: models/fraud
    6. 其他字段保留默认设置。

      从 部署模型用于单型号服务
  4. Deploy

验证

等待模型部署,并使 Status 显示绿色勾号。

部署模型状态

后续步骤

测试模型 API

4.2.2. 在多型号服务器上部署模型

OpenShift AI 多型号服务器可以同时托管多个模型。您可以创建新的模型服务器,并将模型部署到其中。

prerequiste

  • 具有管理特权的用户 已在 OpenShift 集群上启用了多型号服务平台。

流程

  1. 在 OpenShift AI 仪表板中,导航到项目详情页面,再点 Models 选项卡。

    models
  2. Multi-model serving platform 标题中,点 Add model server
  3. 在表单中,提供以下值:

    1. 对于 Model server name,输入名称,如 Model Server
    2. 对于 Serving 运行时,请选择 OpenVINO Model Server
    3. 其他字段保留默认设置。

      创建模型服务器表单
  4. 点击 Add
  5. 在新的模型服务器列表旁边的 Models and model servers 列表中,点 Deploy model

    创建模型服务器表单
  6. 在表单中,提供以下值:

    1. 对于 Model Name,键入 fraud
    2. 对于 Model 框架,请选择 onnx-1
    3. 对于 现有数据连接,请选择 My Storage
    4. 键入导致包含模型文件的版本文件夹的路径: models/fraud
    5. 其他字段保留默认设置。

      从 部署用于多型号服务的模型
  7. Deploy

验证

等待模型部署,并使 Status 显示绿色勾号。

部署模型状态

后续步骤

测试模型 API