流程

1. 登录 OpenShift Web 控制台。
2. 点 Operators → OperatorHub。
3. 在 Filter by keyword 框中滚动或键入 OpenShift Data Foundation，以查找 OpenShift Data Foundation Operator。
4. 点 Install。

5. 在 Install Operator 页面中设置以下选项：

   1. 将 Channel 更新为 stable-4.10。
   2. 安装模式是 A specific namespace on the cluster。
   3. Installed Namespace 为 Operator recommended namespace openshift-storage。如果命名空间 openshift-storage 不存在，它会在 Operator 安装过程中创建。

   4. 将 Approval Strategy 选为 Automatic 或 Manual。

      如果选择 Automatic 更新，Operator Lifecycle Manager(OLM)将自动升级 Operator 的运行实例，而无需任何干预。

      如果选择 手动 更新，则 OLM 会创建一个更新请求。作为集群管理员，您必须手动批准该更新请求，才能将 Operator 更新至更新的版本。

   5. 确保为 Console 插件 选择了 Enable 选项。
   6. 点 Install。

流程

1. 在 Vault 中启用 Key/Value(KV)后端路径。

   对于 Vault KV secret 引擎 API，版本 1：

   $ vault secrets enable -path=odf kv

   对于 Vault KV secret 引擎 API，版本 2：

   $ vault secrets enable -path=odf kv-v2

2. 使用以下命令，创建一个策略来限制用户对机密执行写入或删除操作。

   echo '
   path "odf/*" {
     capabilities = ["create", "read", "update", "delete", "list"]
   }
   path "sys/mounts" {
   capabilities = ["read"]
   }'| vault policy write odf -

3. 创建与上述策略匹配的令牌。

   $ vault token create -policy=odf -format json

流程

1. 创建服务帐户：

   $ oc -n openshift-storage create serviceaccount <serviceaccount_name>

   其中, <serviceaccount_name> 指定服务帐户的名称。

   例如：

   $ oc -n openshift-storage create serviceaccount odf-vault-auth

2. 创建 clusterrolebindings 和 clusterroles:

   $ oc -n openshift-storage create clusterrolebinding vault-tokenreview-binding --clusterrole=system:auth-delegator --serviceaccount=openshift-storage:_<serviceaccount_name>_

   例如：

   $ oc -n openshift-storage create clusterrolebinding vault-tokenreview-binding --clusterrole=system:auth-delegator --serviceaccount=openshift-storage:odf-vault-auth

3. 根据 OpenShift Container Platform 版本，执行以下任一操作：

   • 对于 OpenShift Container Platform 4.10:

     • 识别与上面创建的 serviceaccount(SA)关联的 secret 名称。

       $ VAULT_SA_SECRET_NAME=$(oc -n openshift-storage get sa <SA_NAME> -o jsonpath="{.secrets[*]['name']}") | grep -o "[^[:space:]]*-token-[^[:space:]]*"

       例如：

       $ VAULT_SA_SECRET_NAME=$(oc -n openshift-storage get sa odf-vault-auth -o jsonpath="{.secrets[*]['name']}" | grep -o "[^[:space:]]*-token-[^[:space:]]*")

   • 对于 OpenShift Container Platform 4.11：

     • 为 serviceaccount 令牌和 CA 证书创建 secret。

       $ cat <<EOF | oc create -f -
       apiVersion: v1
       kind: Secret
       metadata:
         name: odf-vault-auth-token
         namespace: openshift-storage
         annotations:
           kubernetes.io/service-account.name: <serviceaccount_name>
       type: kubernetes.io/service-account-token
       data: {}
       EOF

       其中，<serviceaccount_name> 是上一步中创建的服务帐户。

       $ VAULT_SA_SECRET_NAME=odf-vault-auth-token

4. 从 secret 获取令牌和 CA 证书。

   $ SA_JWT_TOKEN=$(oc -n openshift-storage get secret "$VAULT_SA_SECRET_NAME" -o jsonpath="{.data.token}" | base64 --decode; echo)
   $ SA_CA_CRT=$(oc -n openshift-storage get secret "$VAULT_SA_SECRET_NAME" -o jsonpath="{.data['ca\.crt']}" | base64 --decode; echo)

5. 检索 OCP 集群端点。

   $ OCP_HOST=$(oc config view --minify --flatten -o jsonpath="{.clusters[0].cluster.server}")

6. 获取服务帐户签发者。

   $ oc proxy &
   $ proxy_pid=$!
   $ issuer="$( curl --silent http://127.0.0.1:8001/.well-known/openid-configuration | jq -r .issuer)"
   $ kill $proxy_pid

7. 使用以上步骤中收集的信息，在 Vault 中设置 Kubernetes 验证方法，如下所示。

   $ vault auth enable kubernetes
   $ vault write auth/kubernetes/config \
             token_reviewer_jwt="$SA_JWT_TOKEN" \
             kubernetes_host="$OCP_HOST" \
             kubernetes_ca_cert="$SA_CA_CRT" \
             issuer="$issuer"

   重要

   当签发者为空时，在 Vault 中配置 Kubernetes 身份验证方法。

   $ vault write auth/kubernetes/config \
             token_reviewer_jwt="$SA_JWT_TOKEN" \
             kubernetes_host="$OCP_HOST" \
             kubernetes_ca_cert="$SA_CA_CRT"

8. 在 Vault 中启用 Key/Value(KV)后端路径。

   对于 Vault KV secret engine API，版本 1。

   $ vault secrets enable -path=odf kv

   对于 Vault KV secret engine API，版本 2。

   $ vault secrets enable -path=odf kv-v2

9. 创建策略来限制用户在 secret 上执行写入或删除操作：

   echo '
   path "odf/*" {
     capabilities = ["create", "read", "update", "delete", "list"]
   }
   path "sys/mounts" {
   capabilities = ["read"]
   }'| vault policy write odf -

10. 生成角色：

    $ vault write auth/kubernetes/role/odf-rook-ceph-op \
            bound_service_account_names=rook-ceph-system,rook-ceph-osd,noobaa \
            bound_service_account_namespaces=openshift-storage \
            policies=odf \
            ttl=1440h

    在创建存储系统期间配置 KMS 连接详情时，会稍后使用角色 odf-rook-ceph-op。

    $ vault write auth/kubernetes/role/odf-rook-ceph-osd \
            bound_service_account_names=rook-ceph-osd \
            bound_service_account_namespaces=openshift-storage \
            policies=odf \
            ttl=1440h

流程

1. 在 OpenShift Web 控制台中，点 Operators → Installed Operators 查看所有已安装的 Operator。

   确保所选 项目 为 openshift-storage。

2. 点 OpenShift Data Foundation 操作器，然后单击 Create StorageSystem。

3. 在 Backing storage 页面中，选择以下内容：

   1. 为 Deployment 类型选项选择 Full Deployment。
   2. 选择 Use a existing StorageClass 选项。

   3. 选择 Storage Class。

      默认情况下，设置为 managed-premium。

   4. 点 Next。

4. 在 Capacity and nodes 页面中，提供必要的信息：

   1. 从下拉列表中选择 Requested Capacity 的值。默认设置为 2 TiB。

      注意

      选择初始存储容量后，集群扩展将使用所选的可用容量（原始存储的三倍）执行。

   2. 在 Select Nodes 部分中，选择至少三个可用节点。

   3. 可选：选中 Taint nodes 复选框，以将所选节点专用于 OpenShift Data Foundation。

      对于具有多个可用区的云平台，请确保节点分布在不同的位置/可用性区域。

      如果选择的节点与聚合的 30 个 CPU 和 72 GiB RAM 的 OpenShift Data Foundation 集群要求不匹配，则会部署最小的集群。如需最低起始节点要求，请参阅 规划指南中的资源要求部分。

   4. 点 Next。

5. 可选：在 Security and network 页面中，根据您的要求进行配置：

   1. 若要启用加密，可选择为块存储和文件存储启用数据加密。

   2. 选择其中一个加密级别或两个都选：

      • 集群范围的加密

        加密整个集群（块和文件）。

      • StorageClass 加密

        使用启用加密的存储类创建加密的持久性卷（仅块）。

   3. 选择 Connect to an external key management service 复选框。这是集群范围加密的可选选项。

      1. 默认情况下，Key Management Service Provider 设置为 Vault。

      2. 选择身份验证方法。

         使用令牌验证方法

         • 输入唯一的连接名称 , Vault 服务器的主机地址（'https://<hostname 或 ip>'），端口号和令牌。

         • 展开 Advanced Settings，以根据您的 Vault 配置输入其他设置和证书详情。

           • 在 后端路径中输入为 OpenShift Data Foundation 专用且唯一的 Key Value secret 路径。
           • 可选：输入 TLS Server Name 和 Vault Enterprise Namespace。
           • 上传对应的 PEM 编码证书文件，以提供 CA 证书、客户端证书和客户端私钥。
           • 点击 Save。

         使用 Kubernetes 验证方法

         • 输入唯一的 Vault Connection Name, Vault 服务器的主机地址（'https://<hostname 或 ip>'）、端口号和角色名称。

         • 展开 Advanced Settings，以根据您的 Vault 配置输入其他设置和证书详情。

           • 在 后端路径中输入为 OpenShift Data Foundation 专用且唯一的 Key Value secret 路径。
           • 可选：输入 TLS Server Name 和 Authentication Path （如果适用）。
           • 上传对应的 PEM 编码证书文件，以提供 CA 证书、客户端证书和客户端私钥。
           • 点击 Save。

   4. 点 Next。

6. 在 Review and create 页面中，检查配置详情。

   若要修改任何配置设置，请单击 Back。

7. 单击 Create StorageSystem。

流程

1. 登录 OpenShift Web 控制台。
2. 点 Operators → OperatorHub。
3. 在 Filter by keyword 框中滚动或键入 OpenShift Data Foundation，以查找 OpenShift Data Foundation Operator。
4. 点 Install。

5. 在 Install Operator 页面中设置以下选项：

   1. 将 Channel 更新为 stable-4.10。
   2. 安装模式是 A specific namespace on the cluster。
   3. Installed Namespace 为 Operator recommended namespace openshift-storage。如果命名空间 openshift-storage 不存在，它会在 Operator 安装过程中创建。

   4. 将 Approval Strategy 选为 Automatic 或 Manual。

      如果选择 Automatic 更新，Operator Lifecycle Manager(OLM)将自动升级 Operator 的运行实例，而无需任何干预。

      如果选择 手动 更新，则 OLM 会创建一个更新请求。作为集群管理员，您必须手动批准该更新请求，才能将 Operator 更新至更新的版本。

   5. 确保为 Console 插件 选择了 Enable 选项。
   6. 点 Install。

流程

1. 在 OpenShift Web 控制台中，点 Operators → Installed Operators 查看所有已安装的 Operator。

   确保所选 项目 为 openshift-storage。

2. 点 OpenShift Data Foundation 操作器，然后单击 Create StorageSystem。

3. 在 Backing storage 页面中，选择以下内容：

   1. 为 Deployment 类型选项选择 Full Deployment。
   2. 选择 Use a existing StorageClass 选项。

   3. 选择 Storage Class。

      默认情况下，设置为 managed-premium。

   4. 点 Next。

4. 在 Capacity and nodes 页面中，提供必要的信息：

   1. 从下拉列表中选择 Requested Capacity 的值。默认设置为 2 TiB。

      注意

      选择初始存储容量后，集群扩展将使用所选的可用容量（原始存储的三倍）执行。

   2. 在 Select Nodes 部分中，选择至少三个可用节点。

   3. 可选：选中 Taint nodes 复选框，以将所选节点专用于 OpenShift Data Foundation。

      对于具有多个可用区的云平台，请确保节点分布在不同的位置/可用性区域。

      如果选择的节点与聚合的 30 个 CPU 和 72 GiB RAM 的 OpenShift Data Foundation 集群要求不匹配，则会部署最小的集群。如需最低起始节点要求，请参阅 规划指南中的资源要求部分。

   4. 点 Next。

5. 可选：在 Security and network 页面中，根据您的要求进行配置：

   1. 若要启用加密，可选择为块存储和文件存储启用数据加密。

   2. 选择其中一个加密级别或两个都选：

      • 集群范围的加密

        加密整个集群（块和文件）。

      • StorageClass 加密

        使用启用加密的存储类创建加密的持久性卷（仅块）。

   3. 选择 Connect to an external key management service 复选框。这是集群范围加密的可选选项。

      1. 默认情况下，Key Management Service Provider 设置为 Vault。

      2. 选择身份验证方法。

         使用令牌验证方法

         • 输入唯一的连接名称 , Vault 服务器的主机地址（'https://<hostname 或 ip>'），端口号和令牌。

         • 展开 Advanced Settings，以根据您的 Vault 配置输入其他设置和证书详情。

           • 在 后端路径中输入为 OpenShift Data Foundation 专用且唯一的 Key Value secret 路径。
           • 可选：输入 TLS Server Name 和 Vault Enterprise Namespace。
           • 上传对应的 PEM 编码证书文件，以提供 CA 证书、客户端证书和客户端私钥。
           • 点击 Save。

         使用 Kubernetes 验证方法

         • 输入唯一的 Vault Connection Name, Vault 服务器的主机地址（'https://<hostname 或 ip>'）、端口号和角色名称。

         • 展开 Advanced Settings，以根据您的 Vault 配置输入其他设置和证书详情。

           • 在 后端路径中输入为 OpenShift Data Foundation 专用且唯一的 Key Value secret 路径。
           • 可选：输入 TLS Server Name 和 Authentication Path （如果适用）。
           • 上传对应的 PEM 编码证书文件，以提供 CA 证书、客户端证书和客户端私钥。
           • 点击 Save。

   4. 点 Next。

6. 在 Review and create 页面中，检查配置详情。

   若要修改任何配置设置，请单击 Back。

7. 单击 Create StorageSystem。

流程

1. 从 OpenShift Web 控制台点 Workloads → Pods。

2. 从 Project 下拉列表中选择 openshift-storage。

   注意

   如果禁用 Show default projects 选项，请使用切换按钮列出所有默认项目。

   有关每个组件预期的 pod 数量及其变化取决于节点数量的更多信息，请参阅 表 4.1 “对应 OpenShift Data Foundation 集群的 Pod”。

3. 点 Running 和 Completed 标签页验证以下 pod 是否处于 Running 和 Completed 状态：

   表 4.1. 对应 OpenShift Data Foundation 集群的 Pod

   组件	对应的 pod
   OpenShift Data Foundation Operator	OCS-operator-*（在任何 worker 节点上有 1 个 pod） ocS-metrics-exporter-*（任何 worker 节点上 1 个 pod） odF-operator-controller-manager-*（任何 worker 节点上 1 个 pod） odf-console-* (任何 worker 节点上 1 个 pod) csi-addons-controller-manager-* （任何 worker 节点上 1 个 pod）
   Rook-ceph Operator	rook-ceph-operator-* （任何 worker 节点上有 1 个 pod）
   多云对象网关	noobaa-operator-* (任何 worker 节点上 1 个 pod) noobaa-core-* (任何存储节点上 1 个 pod) noobaa-db-pg-* (任何存储节点上 1 个 pod) noobaa-endpoint-* (任何存储节点上 1 个 pod)
   MON	rook-ceph-mon-* （在存储节点间分布 3 个 pod）
   MGR	rook-ceph-mgr-* （任何存储节点上的 1 个 pod）
   MDS	rook-ceph-mds-ocs-storagecluster-cephfilesystem-* （2 个 pod 在存储节点间分布）
   CSI	cephfs csi-cephfsplugin-* (每个 worker 节点上 1 个 pod) csi-cephfsplugin-provisioner-* （2 个 pod 在不同的 worker 节点上分布） rbd csi-rbdplugin-* (每个 worker 节点上 1 个 pod) csi-rbdplugin-provisioner-* （2 个 pod 在不同的 worker 节点上分步）
   rook-ceph-crashcollector	rook-ceph-crashcollector-* （每个存储节点上 1 个 pod）
   OSD	rook-ceph-osd-* (每个设备 1 个 pod) rook-ceph-osd-prepare-ocs-deviceset-* （每个设备 1 个 pod）

流程

1. 在 OpenShift Web 控制台中，点 Storage → Data Foundation。
2. 在 Overview 选项卡的 Status 卡中，点 Storage System，然后点弹出框中的存储系统链接。
3. 在 Block and File 选项卡的 Status 卡中，验证 Storage Cluster 是否具有绿色勾号。
4. 在 Details 卡中，验证是否显示集群信息。

流程

1. 在 OpenShift Web 控制台中，点 Storage → Data Foundation。

2. 在 Overview 选项卡的 Status 卡中，点 Storage System，然后点弹出框中的存储系统链接。

   1. 在 Object 选项卡的 Status 卡 中，验证 Object Service 和数据弹性 都具有绿色勾号。
   2. 在 Details 卡中，验证是否显示了 MCG 信息。

流程

1. 从 OpenShift Web 控制台左侧窗格中，点击 Storage → Storage Classes。

2. 验证是否在创建 OpenShift Data Foundation 集群时创建了以下存储类：

   • ocs-storagecluster-ceph-rbd
   • ocs-storagecluster-cephfs
   • openshift-storage.noobaa.io

流程

1. 登录 OpenShift Web 控制台。
2. 点 Operators → OperatorHub。
3. 在 Filter by keyword 框中滚动或键入 OpenShift Data Foundation，以查找 OpenShift Data Foundation Operator。
4. 点 Install。

5. 在 Install Operator 页面中设置以下选项：

   1. 将 Channel 更新为 stable-4.10。
   2. 安装模式是 A specific namespace on the cluster。
   3. Installed Namespace 为 Operator recommended namespace openshift-storage。如果命名空间 openshift-storage 不存在，它会在 Operator 安装过程中创建。

   4. 将 Approval Strategy 选为 Automatic 或 Manual。

      如果选择 Automatic 更新，Operator Lifecycle Manager(OLM)将自动升级 Operator 的运行实例，而无需任何干预。

      如果选择 手动 更新，则 OLM 会创建一个更新请求。作为集群管理员，您必须手动批准该更新请求，才能将 Operator 更新至更新的版本。

   5. 确保为 Console 插件 选择了 Enable 选项。
   6. 点 Install。

流程

1. 在 OpenShift Web 控制台中，点 Operators → Installed Operators 查看所有已安装的 Operator。

   确保所选 项目 为 openshift-storage。

2. 单击 OpenShift Data Foundation operator，然后单击 Create StorageSystem。

3. 在 Backing storage 页面中，选择以下内容：

   1. 为 Deployment 类型选择 Multicloud Object Gateway。
   2. 选择 Use a existing StorageClass 选项。
   3. 点 Next。

4. 可选：在 Security 页面中，选择连接到外部密钥管理服务。

   1. 默认情况下，Key Management Service Provider 设置为 Vault。
   2. 输入 Vault Service Name、Vault 服务器的主机地址 ('https://<hostname 或 ip>')、端口号和 Token。

   3. 展开 Advanced Settings，以根据您的 Vault 配置输入其他设置和证书详情。

      1. 在 后端路径中输入为 OpenShift Data Foundation 专用且唯一的 Key Value secret 路径。
      2. 可选：输入 TLS Server Name 和 Vault Enterprise Namespace。
      3. 上传对应的 PEM 编码证书文件，以提供 CA 证书、客户端证书和客户端私钥。
      4. 点击 Save。
   4. 点 Next。

5. 在 Review and create 页面中，查看配置详情：

   若要修改任何配置设置，请单击 Back。

6. 单击 Create StorageSystem。