步骤

1. 登录基于 Red Hat Enterprise Linux 的节点并打开一个终端。

2. 对于集群中的每个节点：

   1. 验证节点有权访问 rhel-7-server-extras-rpms 存储库。

      # subscription-manager repos --list-enabled | grep rhel-7-server

      如果您没有在输出中看到 rhel-7-server-rpms 和 rhel-7-server-extras-rpms，或者没有输出，请运行以下命令来启用相关的存储库：

      # subscription-manager repos --enable=rhel-7-server-rpms
      # subscription-manager repos --enable=rhel-7-server-extras-rpms

   2. 安装所需的软件包。

      # yum install -y policycoreutils container-selinux

   3. 在 SELinux 中永久启用 Ceph 文件系统的容器使用。

      # setsebool -P container_use_cephfs on

步骤

1. 在 Vault 中启用 Key/Value(KV)后端路径。

   对于 Vault KV secret 引擎 API，版本 1：

   $ vault secrets enable -path=ocs kv

   对于 Vault KV secret 引擎 API，版本 2：

   $ vault secrets enable -path=ocs kv-v2

2. 使用以下命令，创建一个策略来限制用户对 secret 执行写入或删除操作：

   echo '
   path "ocs/*" {
     capabilities = ["create", "read", "update", "delete", "list"]
   }
   path "sys/mounts" {
   capabilities = ["read"]
   }'| vault policy write ocs -

3. 创建与上述策略匹配的令牌：

   $ vault token create -policy=ocs -format json

步骤

1. 在 Web 控制台中，点 Operators → OperatorHub。
2. 在 Filter by keyword 框中滚动或输入关键字以搜索 OpenShift Container Storage Operator。
3. 在 OpenShift Container Storage operator 页中点 Install。

4. 在 Install Operator 页面中，默认选择以下所需选项：

   1. 更新频道作为 stable-4.7。
   2. 安装模式是 A specific namespace on the cluster。
   3. Installed Namespace 为 Operator recommended namespace openshift-storage。如果 Namespace openshift-storage 不存在，它会在 Operator 安装过程中创建。
   4. 将 Approval Strategy 选为 Automatic 或 Manual。

   5. 点 Install。

      如果选择 Automatic 更新，Operator Lifecycle Manager(OLM)将自动升级 Operator 的运行实例，而无需任何干预。

      如果选择了 手动 更新，则 OLM 会创建一个更新请求。作为集群管理员，您必须手动批准该更新请求，才可将 Operator 更新至新版本。

步骤

1. 登录 OpenShift Web 控制台。

2. 点 Operators → Installed Operators 查看所有已安装的 Operator。

   确保所选 项目 为 openshift-storage。

3. 点 OpenShift Container Storage > Create Instance Cluster 链接。
4. 选择 Mode 被默认设置为 Internal。

5. 在 Select capacity and nodes 中，

   1. 选择 Storage Class。默认情况下，设置为 thin。

   2. 从下拉列表中选择 Requested Capacity。默认设置为 2 TiB。您可以使用下拉菜单修改容量值。

      注意

      选择初始存储容量后，集群扩展将使用所选的可用容量（原始存储的 3 倍）执行。

   3. 在 Select Nodes 部分中，选择至少三个可用节点。

      将 worker 节点分布到三个不同的物理节点、机架或故障域以实现高可用性。

      使用 vCenter 反关联性将 OpenShift Container Storage 机架标签与数据中心中的物理节点和机架保持对齐，以避免在同一物理机箱上调度两个 worker 节点。

      如果选择的节点与一个聚合的 30 个 CPU 和 72 GiB RAM 的要求不匹配，则会部署一个最小的集群。如需最低起始节点要求，请参阅规划指南中的资源要求部分。

   4. 点击 Next。

6. （可选）安全配置

   1. 选中 启用加密 复选框，以加密块和文件存储。

   2. 选择任意一个或两个 加密级别 ：

      • Cluster-wide encryption 来加密整个集群（块存储和文件存储）。

      • Storage class encryption 以使用加密启用的存储类创建加密的持久性卷（仅限块）。

        重要

        存储类加密是仅可供 RBD PV 使用的技术预览功能。技术预览功能不受红帽产品服务等级协议（SLA）支持，且功能可能并不完整。红帽不推荐在生产环境中使用它们。这些技术预览功能可以使用户提早试用新的功能，并有机会在开发阶段提供反馈意见。

        如需更多信息，请参阅技术预览功能支持范围。

   3. 选择 Connect to an external key management service 复选框。这是集群范围加密的可选选项。

      1. 默认情况下，Key Management Service Provider 设置为 Vault。
      2. 输入 Vault Service Name、Vault 服务器的主机地址 （'https://<hostname 或 ip>'）、端口号和 Token。

      3. 展开 Advanced Settings 以根据您的 Vault 配置输入额外的设置和证书详情：

         1. 在 后端路径中输入为 OpenShift Container Storage 专用且唯一的 Key Value secret 路径。
         2. 输入 TLS Server Name 和 Vault Enterprise Namespace。
         3. 通过上传相应的 PEM 编码证书文件提供 CA 证书、客户端证书和客户端私钥。
         4. 点击 Save。
   4. 点击 Next。
7. 检查配置详情。若要修改任何配置设置，请单击 Back 以返回到上一配置页面。
8. 点 Create。

9. 如果 Vault Key/Value(KV)secret 引擎 API，则编辑 configmap，版本 2 则用于使用密钥管理系统(KMS)进行集群范围的加密。

   1. 在 OpenShift Web 控制台中，导航到 Workloads → ConfigMaps。
   2. 要查看 KMS 连接详情，点 ocs-kms-connection-details。

   3. 编辑 configmap。

      1. 点 Action menu (⋮) → Edit ConfigMap。

      2. 将 VAULT_BACKEND 参数设置为 v2。

         kind: ConfigMap
         apiVersion: v1
         metadata:
           name: ocs-kms-connection-details
         [...]
         data:
           KMS_PROVIDER: vault
           KMS_SERVICE_NAME: vault
         [...]
           VAULT_BACKEND: v2
         [...]

      3. 点击 Save。

验证步骤

1. 在存储集群详情页面中，存储集群名称旁边显示一个绿色勾号，表示集群创建成功。

2. 验证已安装存储集群的最后一个 Status 显示为 Phase: Ready，并带有绿色勾号标记。

   • 点 Operators → Installed Operators → Storage Cluster 链接来查看存储集群安装状态。
   • 另外，当使用 Operator Details 选项卡时，您可以点击 Storage Cluster 选项卡查看状态。
3. 要验证 OpenShift Container Storage 的所有组件是否已成功安装，请参阅验证 OpenShift Container Storage 安装。

步骤

1. 登录 OpenShift Web 控制台。
2. 点 Operators → OperatorHub。
3. 在 Filter by keyword… 框中键入 local storage，从操作器列表中搜索 Local Storage operator 并单击它。
4. 点 Install。

5. 在 Install Operator 页面中设置以下选项：

   1. 更新频道作为 stable-4.7
   2. 安装模式是 A specific namespace on the cluster。
   3. Installed Namespace 为 Operator recommended namespace openshift-local-storage。
   4. 批准策略作为 Automatic
6. 点 Install。
7. 验证 Local Storage Operator 是否显示 Status 为 Succeeded。

步骤

1. 在 Web 控制台中，点 Operators → OperatorHub。
2. 在 Filter by keyword 框中滚动或输入关键字以搜索 OpenShift Container Storage Operator。
3. 在 OpenShift Container Storage operator 页中点 Install。

4. 在 Install Operator 页面中，默认选择以下所需选项：

   1. 更新频道作为 stable-4.7。
   2. 安装模式是 A specific namespace on the cluster。
   3. Installed Namespace 为 Operator recommended namespace openshift-storage。如果 Namespace openshift-storage 不存在，它会在 Operator 安装过程中创建。
   4. 将 Approval Strategy 选为 Automatic 或 Manual。

   5. 点 Install。

      如果选择 Automatic 更新，Operator Lifecycle Manager(OLM)将自动升级 Operator 的运行实例，而无需任何干预。

      如果选择了 手动 更新，则 OLM 会创建一个更新请求。作为集群管理员，您必须手动批准该更新请求，才可将 Operator 更新至新版本。

步骤

1. 登录 OpenShift Web 控制台。

2. 点 Operators → Installed Operators 查看所有已安装的 Operator。

   确保所选 项目 为 openshift-storage。

3. 点 OpenShift Container Storage > Create Instance Cluster 链接。

4. 选择选择模式 作为内部附加设备 。

   注意

   如果还没有安装，系统会提示您安装 Local Storage Operator。点 Install 并按照以下步骤进行操作，如 Installing Local Storage Operator 所述。

5. 发现磁盘

   1. 选择以下任意一项：

      • 可发现所有节点中磁盘的所有节点。

      • 选择节点 以从可用节点的子集发现磁盘。

        重要

        对于仲裁，请不要选择 All nodes 选项。反之，使用 Select nodes 选项从 data-center 区域中选择带有附加存储设备的节点。

   2. 点击 Next。

6. 创建存储类。

   您可以通过过滤一组存储卷来创建专用的存储类来消耗存储。

   1. 输入 Volume Set Name。
   2. 输入 Storage Class Name。默认情况下，存储类名称会出现卷集名称。您还可以更改名称。

   3. 在 Filter Disks 部分显示为上一步中的磁盘发现选择的节点。选择以下任意一项：

      • 选择 All nodes 可以选择您发现设备的所有节点。

      • 选择 Select nodes 可以选择一组节点来发现设备。将 worker 节点分布到三个不同的物理节点、机架或故障域以实现高可用性。

        重要

        在创建分布在少于最低要求的 3 个可用区中的带有 3 个或更多节点的存储集群中时，灵活扩展功能会被启用。此功能仅适用于 OpenShift Container Storage 4.7 集群的新部署，且不支持升级的集群。有关灵活扩展的信息，请参阅 扩展存储指南。

        注意

        如果要选择的节点有污点且没有在向导中发现，请按照红帽知识库解决方案中提供的步骤作为临时解决方案。

   4. 从可用列表中选择 SSD/NVME Disk Type。

   5. 展开 Advanced 部分并设置以下选项：

      卷模式	默认会选择块。
      设备类型	从下拉列表中选择一个或多个磁盘类型。
      磁盘大小	为设备设置最小 100GB 大小，以及需要包含的设备的最大可用大小。
      最大磁盘限制	这表示节点上可以创建的 PV 数量上限。如果此字段留空，则为匹配节点上的所有可用磁盘创建 PV。

   6. 点击 Next。此时会显示一个用于确认创建新存储类的弹出窗口。
   7. 单击 Yes 以继续。

7. 设置存储和节点

   1. 选择 Storage Class。默认情况下，会选择上一步中创建的新存储类。

   2. （可选）如果要使用扩展集群，请选择 Enable arbiter 复选框。这个选项只有在满足仲裁程序的所有先决条件并且填充了所选节点时才可用。如需了解更多详细信息，请参阅 Arbiter 扩展集群要求 [技术预览]。

      • 从可用的下拉列表中，选择 arbiter 区域。
   3. 所选节点 显示上一步中选择的节点。此列表需要几分钟时间来反映上一步中发现的磁盘。
   4. 点击 Next。

8. （可选）安全配置

   1. 选中 启用加密 复选框以加密块和文件存储。

   2. 选择以下 加密级别 之一：

      • Cluster-wide encryption 来加密整个集群（块存储和文件存储）。

      • Storage class encryption 以使用加密启用的存储类创建加密的持久性卷（仅限块）。

        重要

        存储类加密是仅可供 RBD PV 使用的技术预览功能。技术预览功能不受红帽产品服务等级协议（SLA）支持，且功能可能并不完整。红帽不推荐在生产环境中使用它们。这些技术预览功能可以使用户提早试用新的功能，并有机会在开发阶段提供反馈意见。

        如需更多信息，请参阅技术预览功能支持范围。

   3. 选中连接到外部密钥管理服务复选框。这是集群范围加密的可选选项。

      1. 默认情况下，Key Management Service Provider 设置为 Vault。
      2. 输入 Vault Service Name、Vault 服务器的主机地址 （'https://<hostname or ip>''）、端口号和 Token。

      3. 展开 Advanced Settings 以根据您的 Vault 配置输入额外的设置和证书详情：

         1. 在 后端路径中输入为 OpenShift Container Storage 专用且唯一的 Key Value secret 路径。
         2. 输入 TLS Server Name 和 Vault Enterprise Namespace。
         3. 通过上传相应的 PEM 编码证书文件提供 CA 证书、客户端证书和客户端私钥。
         4. 点击 Save。
   4. 点击 Next。
9. 检查配置详情。若要修改任何配置设置，请单击 Back 以返回到上一配置页面。
10. 点 Create。

11. 如果 Vault Key/Value(KV)secret 引擎 API，则编辑 configmap，版本 2 则用于使用密钥管理系统(KMS)进行集群范围的加密。

    1. 在 OpenShift Web 控制台中，导航到 Workloads → ConfigMaps。
    2. 要查看 KMS 连接详情，点 ocs-kms-connection-details。

    3. 编辑 configmap。

       1. 点 Action menu (⋮) → Edit ConfigMap。

       2. 将 VAULT_BACKEND 参数设置为 v2。

          kind: ConfigMap
          apiVersion: v1
          metadata:
            name: ocs-kms-connection-details
          [...]
          data:
            KMS_PROVIDER: vault
            KMS_SERVICE_NAME: vault
          [...]
            VAULT_BACKEND: v2
          [...]

       3. 点击 Save。

步骤

1. 从 OpenShift Web 控制台左侧窗格中，点击 Workloads → Pods。

2. 从 Project 下拉列表中，选择 openshift-storage。

   有关每个组件预期的 pod 数量及其变化取决于节点数量的更多信息，请参阅 表 4.1 “对应 OpenShift Container 存储集群的 Pod”。

3. 点 Running 和 Completed 标签页验证以下 pod 是否处于运行状态并完成状态：

   表 4.1. 对应 OpenShift Container 存储集群的 Pod

   组件	对应的 pod
   OpenShift Container Storage Operator	OCS-operator-*（在任何 worker 节点上有 1 个 pod） ocs-metrics-exporter-*
   Rook-ceph Operator	rook-ceph-operator-* （任何 worker 节点上有 1 个 pod）
   多云对象网关	noobaa-operator-* (任何 worker 节点上 1 个 pod) noobaa-core-* (任何存储节点上 1 个 pod) noobaa-db-pg-* (任何存储节点上 1 个 pod) noobaa-endpoint-* (任何存储节点上 1 个 pod)
   MON	rook-ceph-mon-* （在存储节点间分布 3 个 pod） （对于仲裁程序，5 个 pod 分布在 3 个区域、每个数据中心区域 2 个，每个数据中心区域 1 个在仲裁区中）
   MGR	rook-ceph-mgr-* （任何存储节点上的 1 个 pod）
   MDS	rook-ceph-mds-ocs-storagecluster-cephfilesystem-* （2 个 pod 在存储节点间分布） （对于仲裁程序，2 个容器集分布在 2 个数据中心区域之间。）
   RGW	rook-ceph-rgw-ocs-storagecluster-cephobjectstore-* （任何存储节点上的 1 个 pod） （对于仲裁程序，2 个容器集分布在 2 个数据中心区域之间。）
   CSI	cephfs csi-cephfsplugin-* (每个 worker 节点上 1 个 pod) csi-cephfsplugin-provisioner-* （2 个 pod 在不同的 worker 节点上分布） rbd csi-rbdplugin-* (每个 worker 节点上 1 个 pod) csi-rbdplugin-provisioner-* （2 个 pod 在不同的 worker 节点上分步）
   rook-ceph-crashcollector	rook-ceph-crashcollector-* （每个存储节点上 1 个 pod） （对于仲裁程序，每个存储节点上有 1 个 pod，以及一个仲裁区域中的 1 个 pod。）
   OSD	rook-ceph-osd-* (每个设备 1 个 pod) rook-ceph-osd-prepare-ocs-deviceset-* （每个设备 1 个 pod）

1. 删除使用 OpenShift Container Storage 的卷快照。

   1. 列出来自所有命名空间的卷快照。

      $ oc get volumesnapshot --all-namespaces

   2. 在上一命令的输出中，识别和删除使用 OpenShift Container Storage 的卷快照。

      $ oc delete volumesnapshot <VOLUME-SNAPSHOT-NAME> -n <NAMESPACE>

2. 删除使用 OpenShift Container Storage 的 PVC 和 OBC。

   在默认的卸载模式 (graceful) 中，卸载程序会等待所有使用 OpenShift Container Storage 的 PVC 和 OBC 被删除。

   如果要事先删除 PVC 来删除存储集群，您可以将卸载模式注解设置为"强制"并跳过此步骤。这样做会导致系统中出现孤立 PVC 和 OBC。

   1. 使用 OpenShift Container Storage 删除 OpenShift Container Platform 监控堆栈 PVC。

      请查看 第 5.2 节 “从 OpenShift Container Storage 中删除监控堆栈”

   2. 使用 OpenShift Container Storage 删除 OpenShift Container Platform Registry PVC。

      请查看 第 5.3 节 “从 OpenShift Container Storage 中删除 OpenShift Container Platform registry”

   3. 使用 OpenShift Container Storage 删除 OpenShift Container Platform 日志 PVC。

      请查看 第 5.4 节 “从 OpenShift Container Storage 中删除集群日志记录 Operator”

   4. 删除使用 OpenShift Container Storage 置备的其他 PVC 和 OBC。

      • 下面是一个示例脚本，用于标识使用 OpenShift Container Storage 置备的 PVC 和 OBC。该脚本忽略 Openshift Container Storage 内部使用的 PVC。

        #!/bin/bash
        
        RBD_PROVISIONER="openshift-storage.rbd.csi.ceph.com"
        CEPHFS_PROVISIONER="openshift-storage.cephfs.csi.ceph.com"
        NOOBAA_PROVISIONER="openshift-storage.noobaa.io/obc"
        RGW_PROVISIONER="openshift-storage.ceph.rook.io/bucket"
        
        NOOBAA_DB_PVC="noobaa-db"
        NOOBAA_BACKINGSTORE_PVC="noobaa-default-backing-store-noobaa-pvc"
        
        # Find all the OCS StorageClasses
        OCS_STORAGECLASSES=$(oc get storageclasses | grep -e "$RBD_PROVISIONER" -e "$CEPHFS_PROVISIONER" -e "$NOOBAA_PROVISIONER" -e "$RGW_PROVISIONER" | awk '{print $1}')
        
        # List PVCs in each of the StorageClasses
        for SC in $OCS_STORAGECLASSES
        do
                echo "======================================================================"
                echo "$SC StorageClass PVCs and OBCs"
                echo "======================================================================"
                oc get pvc  --all-namespaces --no-headers 2>/dev/null | grep $SC | grep -v -e "$NOOBAA_DB_PVC" -e "$NOOBAA_BACKINGSTORE_PVC"
                oc get obc  --all-namespaces --no-headers 2>/dev/null | grep $SC
                echo
        done

        注意

        云平台省略 RGW_PROVISIONER。

      • 删除 OBC。

        $ oc delete obc <obc name> -n <project name>

      • 删除 PVC。

        $ oc delete pvc <pvc name> -n <project-name>

        注意

        确保您已删除了集群中创建的任何自定义后备存储、存储桶类等。

3. 删除 Storage Cluster 对象并等待相关资源被删除。

   $ oc delete -n openshift-storage storagecluster --all --wait=true

4. 检查 uninstall.ocs.openshift.io/cleanup-policy 是否已设置为 delete（默认），并确保其状态为 Completed。

   $ oc get pods -n openshift-storage | grep -i cleanup
   NAME                                READY   STATUS      RESTARTS   AGE
   cluster-cleanup-job-<xx>        	0/1     Completed   0          8m35s
   cluster-cleanup-job-<yy>     		0/1     Completed   0          8m35s
   cluster-cleanup-job-<zz>     		0/1     Completed   0          8m35s

5. 确认目录 /var/lib/rook 现在为空。只有 uninstall.ocs.openshift.io/cleanup-policy 注解设置为 delete（默认）时，此目录才为空。

   $ for i in $(oc get node -l cluster.ocs.openshift.io/openshift-storage= -o jsonpath='{ .items[*].metadata.name }'); do oc debug node/${i} -- chroot /host  ls -l /var/lib/rook; done

6. 如果在安装时启用了加密，在所有 OpenShift Container Storage 节点上的 OSD 设备中删除 dm-crypt 管理的 device-mapper 映射。

   1. 创建 debug pod 和 chroot 到存储节点上的主机。

      $ oc debug node/<node name>
      $ chroot /host

   2. 获取设备名称并记录 OpenShift Container Storage 设备。

      $ dmsetup ls
      ocs-deviceset-0-data-0-57snx-block-dmcrypt (253:1)

   3. 删除映射的设备。

      $ cryptsetup luksClose --debug --verbose ocs-deviceset-0-data-0-57snx-block-dmcrypt

      注意

      如果上述命令因为权限不足而卡住，请运行以下命令：

      • 按 CTRL+Z 退出上述命令。

      • 查找阻塞的进程的 PID。

        $ ps -ef | grep crypt

      • 使用 kill 命令终止进程。

        $ kill -9 <PID>

      • 验证设备名称是否已移除。

        $ dmsetup ls

7. 删除命名空间并等待删除完成。如果 openshift-storage 是活跃的项目，则需要切换到另一个项目。

   例如：

   $ oc project default
   $ oc delete project openshift-storage --wait=true --timeout=5m

   如果以下命令返回 NotFound 错误，则项目被删除。

   $ oc get project openshift-storage

   注意

   卸载 OpenShift Container Storage 时，如果没有完全删除 命名空间 并处于 Terminating 状态，请执行 故障排除和删除 Uninstall 过程中剩余的资源 的步骤，以识别阻塞命名空间的对象。

8. 如果您使用本地存储设备部署了 OpenShift Container Storage，请删除本地存储 Operator 配置。请参阅 删除本地存储 Operator 配置。

9. 取消标记存储节点。

   $ oc label nodes  --all cluster.ocs.openshift.io/openshift-storage-
   $ oc label nodes  --all topology.rook.io/rack-

10. 如果节点有污点，则删除 OpenShift Container Storage 污点。

    $ oc adm taint nodes --all node.ocs.openshift.io/storage-

11. 确认已删除使用 OpenShift Container Storage 置备的所有 PV。如果有任何 PV 处于 Released 状态，请将其删除。

    $ oc get pv
    $ oc delete pv <pv name>

12. 删除 Multicloud 对象网关存储类。

    $ oc delete storageclass openshift-storage.noobaa.io --wait=true --timeout=5m

13. 删除 CustomResourceDefinitions。

    $ oc delete crd backingstores.noobaa.io bucketclasses.noobaa.io cephblockpools.ceph.rook.io cephclusters.ceph.rook.io cephfilesystems.ceph.rook.io cephnfses.ceph.rook.io cephobjectstores.ceph.rook.io cephobjectstoreusers.ceph.rook.io noobaas.noobaa.io ocsinitializations.ocs.openshift.io storageclusters.ocs.openshift.io cephclients.ceph.rook.io cephobjectrealms.ceph.rook.io cephobjectzonegroups.ceph.rook.io cephobjectzones.ceph.rook.io cephrbdmirrors.ceph.rook.io --wait=true --timeout=5m

14. 可选：要确保永久删除 vault 密钥，您需要手动删除与 vault 密钥关联的元数据。

    注意

    只有在 Vault Key/Value(KV)机密引擎 API 时才执行此步骤，使用密钥管理系统(KMS)版本 2 进行集群范围加密，因为 vault 密钥被标记为删除并在 OpenShift Container Storage 卸载过程中永久删除。如果需要，您可以在以后恢复它。

    1. 列出密码库中的密钥。

       $ vault kv list <backend_path>

       <backend_path>

       是存储加密密钥的密码库中的路径。

       例如：

       $ vault kv list kv-v2

       输出示例：

       Keys
       -----
       NOOBAA_ROOT_SECRET_PATH/
       rook-ceph-osd-encryption-key-ocs-deviceset-thin-0-data-0m27q8
       rook-ceph-osd-encryption-key-ocs-deviceset-thin-1-data-0sq227
       rook-ceph-osd-encryption-key-ocs-deviceset-thin-2-data-0xzszb

    2. 列出与 vault 密钥关联的元数据。

       $ vault kv get kv-v2/<key>

       对于 Multicloud Object Gateway(MCG)密钥：

       $ vault kv get kv-v2/NOOBAA_ROOT_SECRET_PATH/<key>

       <key>

       是加密密钥。

       例如：

       $ vault kv get kv-v2/rook-ceph-osd-encryption-key-ocs-deviceset-thin-0-data-0m27q8

       输出示例：

       ====== Metadata ======
       Key              Value
       ---              -----
       created_time     2021-06-23T10:06:30.650103555Z
       deletion_time    2021-06-23T11:46:35.045328495Z
       destroyed        false
       version          1

    3. 删除元数据。

       $ vault kv metadata delete kv-v2/<key>

       对于 MCG 密钥：

       $ vault kv metadata delete kv-v2/NOOBAA_ROOT_SECRET_PATH/<key>

       <key>

       是加密密钥。

       例如：

       $ vault kv metadata delete kv-v2/rook-ceph-osd-encryption-key-ocs-deviceset-thin-0-data-0m27q8

       输出示例：

       Success! Data deleted (if it existed) at: kv-v2/metadata/rook-ceph-osd-encryption-key-ocs-deviceset-thin-0-data-0m27q8

    4. 重复这些步骤，以删除与所有 vault 密钥关联的元数据。

15. 在 OpenShift Container Platform Web 控制台中，确保完全卸载 OpenShift Container Storage，

    1. 点 Home → Overview 访问仪表板。
    2. 验证 Cluster 选项卡旁边是否不再显示持久性存储和对象存储选项卡。

步骤

1. 列出当前在 openshift-monitoring 命名空间中运行的 pod 和 PVC。

   $ oc get pod,pvc -n openshift-monitoring
   NAME                           READY   STATUS    RESTARTS   AGE
   pod/alertmanager-main-0         3/3     Running   0          8d
   pod/alertmanager-main-1         3/3     Running   0          8d
   pod/alertmanager-main-2         3/3     Running   0          8d
   pod/cluster-monitoring-
   operator-84457656d-pkrxm        1/1     Running   0          8d
   pod/grafana-79ccf6689f-2ll28    2/2     Running   0          8d
   pod/kube-state-metrics-
   7d86fb966-rvd9w                 3/3     Running   0          8d
   pod/node-exporter-25894         2/2     Running   0          8d
   pod/node-exporter-4dsd7         2/2     Running   0          8d
   pod/node-exporter-6p4zc         2/2     Running   0          8d
   pod/node-exporter-jbjvg         2/2     Running   0          8d
   pod/node-exporter-jj4t5         2/2     Running   0          6d18h
   pod/node-exporter-k856s         2/2     Running   0          6d18h
   pod/node-exporter-rf8gn         2/2     Running   0          8d
   pod/node-exporter-rmb5m         2/2     Running   0          6d18h
   pod/node-exporter-zj7kx         2/2     Running   0          8d
   pod/openshift-state-metrics-
   59dbd4f654-4clng                3/3     Running   0          8d
   pod/prometheus-adapter-
   5df5865596-k8dzn                1/1     Running   0          7d23h
   pod/prometheus-adapter-
   5df5865596-n2gj9                1/1     Running   0          7d23h
   pod/prometheus-k8s-0            6/6     Running   1          8d
   pod/prometheus-k8s-1            6/6     Running   1          8d
   pod/prometheus-operator-
   55cfb858c9-c4zd9                1/1     Running   0          6d21h
   pod/telemeter-client-
   78fc8fc97d-2rgfp                3/3     Running   0          8d
   
   NAME                                                              STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS                  AGE
   persistentvolumeclaim/my-alertmanager-claim-alertmanager-main-0   Bound    pvc-0d519c4f-15a5-11ea-baa0-026d231574aa   40Gi       RWO            ocs-storagecluster-ceph-rbd   8d
   persistentvolumeclaim/my-alertmanager-claim-alertmanager-main-1   Bound    pvc-0d5a9825-15a5-11ea-baa0-026d231574aa   40Gi       RWO            ocs-storagecluster-ceph-rbd   8d
   persistentvolumeclaim/my-alertmanager-claim-alertmanager-main-2   Bound    pvc-0d6413dc-15a5-11ea-baa0-026d231574aa   40Gi       RWO            ocs-storagecluster-ceph-rbd   8d
   persistentvolumeclaim/my-prometheus-claim-prometheus-k8s-0        Bound    pvc-0b7c19b0-15a5-11ea-baa0-026d231574aa   40Gi       RWO            ocs-storagecluster-ceph-rbd   8d
   persistentvolumeclaim/my-prometheus-claim-prometheus-k8s-1        Bound    pvc-0b8aed3f-15a5-11ea-baa0-026d231574aa   40Gi       RWO            ocs-storagecluster-ceph-rbd   8d

2. 编辑监控 configmap。

   $ oc -n openshift-monitoring edit configmap cluster-monitoring-config

3. 删除引用 OpenShift Container Storage 存储类的所有 config 部分，如下例所示并保存。

   编辑前

   . . . apiVersion: v1 data: config.yaml: | alertmanagerMain: volumeClaimTemplate: metadata: name: my-alertmanager-claim spec: resources: requests: storage: 40Gi storageClassName: ocs-storagecluster-ceph-rbd prometheusK8s: volumeClaimTemplate: metadata: name: my-prometheus-claim spec: resources: requests: storage: 40Gi storageClassName: ocs-storagecluster-ceph-rbd kind: ConfigMap metadata: creationTimestamp: "2019-12-02T07:47:29Z" name: cluster-monitoring-config namespace: openshift-monitoring resourceVersion: "22110" selfLink: /api/v1/namespaces/openshift-monitoring/configmaps/cluster-monitoring-config uid: fd6d988b-14d7-11ea-84ff-066035b9efa8 . . .

   编辑后

   . . . apiVersion: v1 data: config.yaml: | kind: ConfigMap metadata: creationTimestamp: "2019-11-21T13:07:05Z" name: cluster-monitoring-config namespace: openshift-monitoring resourceVersion: "404352" selfLink: /api/v1/namespaces/openshift-monitoring/configmaps/cluster-monitoring-config uid: d12c796a-0c5f-11ea-9832-063cd735b81c . . .

   在本例中，alertmanagerMain 和 prometheusK8s 监控组件使用 OpenShift Container Storage PVC。

4. 删除相关的 PVC。请确定删除所有消耗存储类的 PVC。

   $ oc delete -n openshift-monitoring pvc <pvc-name> --wait=true --timeout=5m

步骤

1. 编辑 configs.imageregistry.operator.openshift.io 对象，并删除 storage 部分中的内容。

   $ oc edit configs.imageregistry.operator.openshift.io

   编辑前

   . . . storage: pvc: claim: registry-cephfs-rwx-pvc . . .

   编辑后

   . . . storage: emptyDir: {} . . .

   + 在本例中，PVC 名为 registry-cephfs-rwx-pvc，现在可以安全地删除。

2. 删除 PVC。

   $ oc delete pvc <pvc-name> -n openshift-image-registry --wait=true --timeout=5m

步骤

1. 删除命名空间中的 ClusterLogging 实例。

   $ oc delete clusterlogging instance -n openshift-logging --wait=true --timeout=5m

   openshift-logging 命名空间中的 PVC 现在可以安全地删除。

2. 删除 PVC。

   $ oc delete pvc <pvc-name> -n openshift-logging --wait=true --timeout=5m