流程

1. 从 OpenShift Web 控制台左侧窗格中，点击 Workloads → Pods。

2. 从 Project 下拉列表中，选择 openshift-storage。

   有关每个组件预期的 pod 数量及其变化取决于节点数量的更多信息，请参阅 表 1.1 “对应 OpenShift Container 存储集群的 Pod”。

3. 点 Running 和 Completed 标签页验证以下 pod 是否处于运行状态并完成状态：

   表 1.1. 对应 OpenShift Container 存储集群的 Pod

   组件	对应的 pod
   OpenShift Container Storage Operator	OCS-operator-*（在任何 worker 节点上有 1 个 pod） ocs-metrics-exporter-*
   Rook-ceph Operator	rook-ceph-operator-* （任何 worker 节点上有 1 个 pod）
   多云对象网关	noobaa-operator-* (任何 worker 节点上 1 个 pod) noobaa-core-* (任何存储节点上 1 个 pod) NooBaa-db-* （任意存储节点上的 1 个 pod） noobaa-endpoint-* (任何存储节点上 1 个 pod)
   MON	rook-ceph-mon-* （在存储节点间分布 3 个 pod）
   MGR	rook-ceph-mgr-* （任何存储节点上的 1 个 pod）
   MDS	rook-ceph-mds-ocs-storagecluster-cephfilesystem-* （2 个 pod 在存储节点间分布）
   CSI	cephfs csi-cephfsplugin-* (每个 worker 节点上 1 个 pod) csi-cephfsplugin-provisioner-* （2 个 pod 在不同的 worker 节点上分布） rbd csi-rbdplugin-* (每个 worker 节点上 1 个 pod) csi-rbdplugin-provisioner-* （2 个 pod 在不同的 worker 节点上分步）
   rook-ceph-crashcollector	rook-ceph-crashcollector-* （每个存储节点上 1 个 pod）
   OSD	rook-ceph-osd-* (每个设备 1 个 pod) rook-ceph-osd-prepare-ocs-deviceset-* （每个设备 1 个 pod）

1. 删除使用 OpenShift Container Storage 的卷快照。

   1. 列出来自所有命名空间的卷快照。

      $ oc get volumesnapshot --all-namespaces

   2. 在上一命令的输出中，识别和删除使用 OpenShift Container Storage 的卷快照。

      $ oc delete volumesnapshot <VOLUME-SNAPSHOT-NAME> -n <NAMESPACE>

2. 删除使用 OpenShift Container Storage 的 PVC 和 OBC。

   在默认的卸载模式 (graceful) 中，卸载程序会等待所有使用 OpenShift Container Storage 的 PVC 和 OBC 被删除。

   如果要事先删除 PVC 来删除存储集群，您可以将卸载模式注解设置为"强制"并跳过此步骤。这样做会导致系统中出现孤立 PVC 和 OBC。

   1. 使用 OpenShift Container Storage 删除 OpenShift Container Platform 监控堆栈 PVC。

      请查看 第 1.4.1.1 节 “从 OpenShift Container Storage 中删除监控堆栈”

   2. 使用 OpenShift Container Storage 删除 OpenShift Container Platform Registry PVC。

      请查看 第 1.4.1.2 节 “从 OpenShift Container Storage 中删除 OpenShift Container Platform registry”

   3. 使用 OpenShift Container Storage 删除 OpenShift Container Platform 日志 PVC。

      请查看 第 1.4.1.3 节 “从 OpenShift Container Storage 中删除集群日志记录 Operator”

   4. 删除使用 OpenShift Container Storage 置备的其他 PVC 和 OBC。

      • 下面是一个示例脚本，用于标识使用 OpenShift Container Storage 置备的 PVC 和 OBC。该脚本忽略 Openshift Container Storage 内部使用的 PVC。

        #!/bin/bash
        
        RBD_PROVISIONER="openshift-storage.rbd.csi.ceph.com"
        CEPHFS_PROVISIONER="openshift-storage.cephfs.csi.ceph.com"
        NOOBAA_PROVISIONER="openshift-storage.noobaa.io/obc"
        RGW_PROVISIONER="openshift-storage.ceph.rook.io/bucket"
        
        NOOBAA_DB_PVC="noobaa-db"
        NOOBAA_BACKINGSTORE_PVC="noobaa-default-backing-store-noobaa-pvc"
        
        # Find all the OCS StorageClasses
        OCS_STORAGECLASSES=$(oc get storageclasses | grep -e "$RBD_PROVISIONER" -e "$CEPHFS_PROVISIONER" -e "$NOOBAA_PROVISIONER" -e "$RGW_PROVISIONER" | awk '{print $1}')
        
        # List PVCs in each of the StorageClasses
        for SC in $OCS_STORAGECLASSES
        do
                echo "======================================================================"
                echo "$SC StorageClass PVCs and OBCs"
                echo "======================================================================"
                oc get pvc  --all-namespaces --no-headers 2>/dev/null | grep $SC | grep -v -e "$NOOBAA_DB_PVC" -e "$NOOBAA_BACKINGSTORE_PVC"
                oc get obc  --all-namespaces --no-headers 2>/dev/null | grep $SC
                echo
        done

        注意

        云平台省略 RGW_PROVISIONER。

      • 删除 OBC。

        $ oc delete obc <obc name> -n <project name>

      • 删除 PVC。

        $ oc delete pvc <pvc name> -n <project-name>

        注意

        确保您已删除了集群中创建的任何自定义后备存储、存储桶类等。

3. 删除 Storage Cluster 对象并等待相关资源被删除。

   $ oc delete -n openshift-storage storagecluster --all --wait=true

4. 检查 uninstall.ocs.openshift.io/cleanup-policy 是否已设置为 delete（默认），并确保其状态为 Completed。

   $ oc get pods -n openshift-storage | grep -i cleanup
   NAME                                READY   STATUS      RESTARTS   AGE
   cluster-cleanup-job-<xx>        	0/1     Completed   0          8m35s
   cluster-cleanup-job-<yy>     		0/1     Completed   0          8m35s
   cluster-cleanup-job-<zz>     		0/1     Completed   0          8m35s

5. 确认目录 /var/lib/rook 现在为空。只有 uninstall.ocs.openshift.io/cleanup-policy 注解设置为 delete（默认）时，此目录才为空。

   $ for i in $(oc get node -l cluster.ocs.openshift.io/openshift-storage= -o jsonpath='{ .items[*].metadata.name }'); do oc debug node/${i} -- chroot /host  ls -l /var/lib/rook; done

6. 如果在安装时启用了加密，在所有 OpenShift Container Storage 节点上的 OSD 设备中删除 dm-crypt 管理的 device-mapper 映射。

   1. 创建 debug pod 和 chroot 到存储节点上的主机。

      $ oc debug node/<node name>
      $ chroot /host

   2. 获取设备名称并记录 OpenShift Container Storage 设备。

      $ dmsetup ls
      ocs-deviceset-0-data-0-57snx-block-dmcrypt (253:1)

   3. 删除映射的设备。

      $ cryptsetup luksClose --debug --verbose ocs-deviceset-0-data-0-57snx-block-dmcrypt

      如果上述命令因为权限不足而卡住，请运行以下命令：

      • 按 CTRL+Z 退出上述命令。

      • 查找 cryptsetup 进程的 PID，该进程一直卡住。

        $ ps

        输出示例：

        PID     TTY    TIME     CMD
        778825   ?     00:00:00 cryptsetup

        记录要终止的 PID 编号。在本例中，PID 为 778825。

      • 使用 kill 命令终止进程。

        $ kill -9 <PID>

      • 验证设备名称是否已移除。

        $ dmsetup ls

7. 删除命名空间并等待删除完成。如果 openshift-storage 是活跃的项目，则需要切换到另一个项目。

   例如：

   $ oc project default
   $ oc delete project openshift-storage --wait=true --timeout=5m

   如果以下命令返回 NotFound 错误，则项目被删除。

   $ oc get project openshift-storage

   注意

   卸载 OpenShift Container Storage 时，如果没有完全删除命名空间并处于 Terminating 状态，请执行 故障排除和删除 Uninstall 过程中剩余的资源 的步骤，以识别阻塞命名空间的对象。

8. 取消标记存储节点。

   $ oc label nodes  --all cluster.ocs.openshift.io/openshift-storage-
   $ oc label nodes  --all topology.rook.io/rack-

9. 如果节点有污点，则删除 OpenShift Container Storage 污点。

   $ oc adm taint nodes --all node.ocs.openshift.io/storage-

10. 确认已删除使用 OpenShift Container Storage 置备的所有 PV。如果有任何 PV 处于 Released 状态，请将其删除。

    $ oc get pv
    $ oc delete pv <pv name>

11. 删除 Multicloud 对象网关存储类。

    $ oc delete storageclass openshift-storage.noobaa.io --wait=true --timeout=5m

12. 删除 CustomResourceDefinitions。

    $ oc delete crd backingstores.noobaa.io bucketclasses.noobaa.io cephblockpools.ceph.rook.io cephclusters.ceph.rook.io cephfilesystems.ceph.rook.io cephnfses.ceph.rook.io cephobjectstores.ceph.rook.io cephobjectstoreusers.ceph.rook.io noobaas.noobaa.io ocsinitializations.ocs.openshift.io storageclusters.ocs.openshift.io cephclients.ceph.rook.io cephobjectrealms.ceph.rook.io cephobjectzonegroups.ceph.rook.io cephobjectzones.ceph.rook.io cephrbdmirrors.ceph.rook.io --wait=true --timeout=5m

13. 在 OpenShift Container Platform Web 控制台中，确保完全卸载 OpenShift Container Storage，

    1. 点 Home → Overview 访问仪表板。
    2. 验证 Cluster 选项卡旁边是否不再显示持久性存储和对象存储选项卡。

1. 从 OpenShift Web 控制台左侧窗格中，点击 Workloads → Pods。

2. 从 Project 下拉列表中，选择 openshift-storage。

   有关每个组件预期的 pod 数量及其变化取决于节点数量的更多信息，请参阅 表 2.1 “对应 OpenShift Container Storage 组件的 Pod”

3. 验证以下 pod 是否处于运行状态：

   表 2.1. 对应 OpenShift Container Storage 组件的 Pod

   组件	对应的 pod
   OpenShift Container Storage Operator	OCS-operator-*（在任何 worker 节点上有 1 个 pod） ocs-metrics-exporter-*
   Rook-ceph Operator	rook-ceph-operator-* （任何 worker 节点上有 1 个 pod）
   多云对象网关	noobaa-operator-* (任何 worker 节点上 1 个 pod) noobaa-core-*（任何 worker 节点上有 1 个 pod） NooBaa-db-* （任何 worker 节点上的 1 pod） noobaa-endpoint-*（ 任何 worker 节点上有 1 个 pod）
   CSI	cephfs csi-cephfsplugin-* (每个 worker 节点上 1 个 pod) csi-cephfsplugin-provisioner-* （2 个 pod 在不同的 worker 节点上分布） 注意 如果没有在外部集群中部署 MDS，则不会创建 csi-cephfs 插件 pod。 rbd csi-rbdplugin-* (每个 worker 节点上 1 个 pod) csi-rbdplugin-provisioner-* （2 个 pod 在不同的 worker 节点上分步）

1. 删除使用 OpenShift Container Storage 的卷快照。

   1. 列出所有命名空间中的卷快照

      $ oc get volumesnapshot --all-namespaces

   2. 在上一命令的输出中，识别和删除使用 OpenShift Container Storage 的卷快照。

      $ oc delete volumesnapshot <VOLUME-SNAPSHOT-NAME> -n <NAMESPACE>

2. 删除使用 OpenShift Container Storage 的 PVC 和 OBC。

   在默认的卸载模式 (graceful) 中，卸载程序会等待所有使用 OpenShift Container Storage 的 PVC 和 OBC 被删除。

   如果要事先删除 PVC 来删除存储集群，您可以将卸载模式注解设置为"强制"并跳过此步骤。这样做会导致系统中出现孤立 PVC 和 OBC。

   1. 使用 OpenShift Container Storage 删除 OpenShift Container Platform 监控堆栈 PVC。

      请查看 第 1.4.1.1 节 “从 OpenShift Container Storage 中删除监控堆栈”

   2. 使用 OpenShift Container Storage 删除 OpenShift Container Platform Registry PVC。

      请查看 第 1.4.1.2 节 “从 OpenShift Container Storage 中删除 OpenShift Container Platform registry”

   3. 使用 OpenShift Container Storage 删除 OpenShift Container Platform 日志 PVC。

      请查看 第 1.4.1.3 节 “从 OpenShift Container Storage 中删除集群日志记录 Operator”

   4. 删除使用 OpenShift Container Storage 置备的其他 PVC 和 OBC。

      • 下面是一个示例脚本，用于标识使用 OpenShift Container Storage 置备的 PVC 和 OBC。该脚本忽略 Openshift Container Storage 内部使用的 PVC 和 OBC。

        #!/bin/bash
        
        RBD_PROVISIONER="openshift-storage.rbd.csi.ceph.com"
        CEPHFS_PROVISIONER="openshift-storage.cephfs.csi.ceph.com"
        NOOBAA_PROVISIONER="openshift-storage.noobaa.io/obc"
        RGW_PROVISIONER="openshift-storage.ceph.rook.io/bucket"
        
        NOOBAA_DB_PVC="noobaa-db"
        NOOBAA_BACKINGSTORE_PVC="noobaa-default-backing-store-noobaa-pvc"
        
        # Find all the OCS StorageClasses
        OCS_STORAGECLASSES=$(oc get storageclasses | grep -e "$RBD_PROVISIONER" -e "$CEPHFS_PROVISIONER" -e "$NOOBAA_PROVISIONER" -e "$RGW_PROVISIONER" | awk '{print $1}')
        
        # List PVCs in each of the StorageClasses
        for SC in $OCS_STORAGECLASSES
        do
                echo "======================================================================"
                echo "$SC StorageClass PVCs and OBCs"
                echo "======================================================================"
                oc get pvc  --all-namespaces --no-headers 2>/dev/null | grep $SC | grep -v -e "$NOOBAA_DB_PVC" -e "$NOOBAA_BACKINGSTORE_PVC"
                oc get obc  --all-namespaces --no-headers 2>/dev/null | grep $SC
                echo
        done

      • 删除 OBC。

        $ oc delete obc <obc name> -n <project name>

      • 删除 PVC。

        $ oc delete pvc <pvc name> -n <project-name>

        确保您已删除了集群中创建的任何自定义后备存储、存储桶类等。

3. 删除 Storage Cluster 对象并等待相关资源被删除。

   $ oc delete -n openshift-storage storagecluster --all --wait=true

4. 删除命名空间并等待删除完成。如果 openshift-storage 是活跃的项目，则需要切换到另一个项目。

   例如：

   $ oc project default
   $ oc delete project openshift-storage --wait=true --timeout=5m

   如果以下命令返回 NotFound 错误，则项目被删除。

   $ oc get project openshift-storage

   注意

   卸载 OpenShift Container Storage 时，如果没有完全删除命名空间并处于 Terminating 状态，请执行 故障排除和删除 Uninstall 过程中剩余的资源 的步骤，以识别阻塞命名空间的对象。

5. 确认已删除使用 OpenShift Container Storage 置备的所有 PV。如果有任何 PV 处于 Released 状态，请将其删除。

   $ oc get pv
   $ oc delete pv <pv name>

6. 删除 Multicloud 对象网关存储类。

   $ oc delete storageclass openshift-storage.noobaa.io --wait=true --timeout=5m

7. 删除 CustomResourceDefinitions。

   $ oc delete crd backingstores.noobaa.io bucketclasses.noobaa.io cephblockpools.ceph.rook.io cephclusters.ceph.rook.io cephfilesystems.ceph.rook.io cephnfses.ceph.rook.io cephobjectstores.ceph.rook.io cephobjectstoreusers.ceph.rook.io noobaas.noobaa.io ocsinitializations.ocs.openshift.io storageclusters.ocs.openshift.io cephclients.ceph.rook.io cephobjectrealms.ceph.rook.io cephobjectzonegroups.ceph.rook.io cephobjectzones.ceph.rook.io cephrbdmirrors.ceph.rook.io --wait=true --timeout=5m

8. 在 OpenShift Container Platform Web 控制台中，确保完全卸载 OpenShift Container Storage，

   1. 点 Home → Overview 访问仪表板。
   2. 验证 Persistent Storage 和 Object Service 标签页没有在 Cluster 标签页旁显示。

流程

1. 列出当前在 openshift-monitoring 命名空间中运行的 pod 和 PVC。

   $ oc get pod,pvc -n openshift-monitoring
   NAME                           READY   STATUS    RESTARTS   AGE
   pod/alertmanager-main-0         3/3     Running   0          8d
   pod/alertmanager-main-1         3/3     Running   0          8d
   pod/alertmanager-main-2         3/3     Running   0          8d
   pod/cluster-monitoring-
   operator-84457656d-pkrxm        1/1     Running   0          8d
   pod/grafana-79ccf6689f-2ll28    2/2     Running   0          8d
   pod/kube-state-metrics-
   7d86fb966-rvd9w                 3/3     Running   0          8d
   pod/node-exporter-25894         2/2     Running   0          8d
   pod/node-exporter-4dsd7         2/2     Running   0          8d
   pod/node-exporter-6p4zc         2/2     Running   0          8d
   pod/node-exporter-jbjvg         2/2     Running   0          8d
   pod/node-exporter-jj4t5         2/2     Running   0          6d18h
   pod/node-exporter-k856s         2/2     Running   0          6d18h
   pod/node-exporter-rf8gn         2/2     Running   0          8d
   pod/node-exporter-rmb5m         2/2     Running   0          6d18h
   pod/node-exporter-zj7kx         2/2     Running   0          8d
   pod/openshift-state-metrics-
   59dbd4f654-4clng                3/3     Running   0          8d
   pod/prometheus-adapter-
   5df5865596-k8dzn                1/1     Running   0          7d23h
   pod/prometheus-adapter-
   5df5865596-n2gj9                1/1     Running   0          7d23h
   pod/prometheus-k8s-0            6/6     Running   1          8d
   pod/prometheus-k8s-1            6/6     Running   1          8d
   pod/prometheus-operator-
   55cfb858c9-c4zd9                1/1     Running   0          6d21h
   pod/telemeter-client-
   78fc8fc97d-2rgfp                3/3     Running   0          8d
   
   NAME                                                              STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS                  AGE
   persistentvolumeclaim/my-alertmanager-claim-alertmanager-main-0   Bound    pvc-0d519c4f-15a5-11ea-baa0-026d231574aa   40Gi       RWO            ocs-external-storagecluster-ceph-rbd   8d
   persistentvolumeclaim/my-alertmanager-claim-alertmanager-main-1   Bound    pvc-0d5a9825-15a5-11ea-baa0-026d231574aa   40Gi       RWO            ocs-external-storagecluster-ceph-rbd   8d
   persistentvolumeclaim/my-alertmanager-claim-alertmanager-main-2   Bound    pvc-0d6413dc-15a5-11ea-baa0-026d231574aa   40Gi       RWO            ocs-external-storagecluster-ceph-rbd   8d
   persistentvolumeclaim/my-prometheus-claim-prometheus-k8s-0        Bound    pvc-0b7c19b0-15a5-11ea-baa0-026d231574aa   40Gi       RWO            ocs-external-storagecluster-ceph-rbd   8d
   persistentvolumeclaim/my-prometheus-claim-prometheus-k8s-1        Bound    pvc-0b8aed3f-15a5-11ea-baa0-026d231574aa   40Gi       RWO            ocs-external-storagecluster-ceph-rbd   8d

2. 编辑监控 configmap。

   $ oc -n openshift-monitoring edit configmap cluster-monitoring-config

3. 删除引用 OpenShift Container Storage 存储类的所有 config 部分，如下例所示并保存。

   编辑前

   . . . apiVersion: v1 data: config.yaml: | alertmanagerMain: volumeClaimTemplate: metadata: name: my-alertmanager-claim spec: resources: requests: storage: 40Gi storageClassName: ocs-external-storagecluster-ceph-rbd prometheusK8s: volumeClaimTemplate: metadata: name: my-prometheus-claim spec: resources: requests: storage: 40Gi storageClassName: ocs-external-storagecluster-ceph-rbd kind: ConfigMap metadata: creationTimestamp: "2019-12-02T07:47:29Z" name: cluster-monitoring-config namespace: openshift-monitoring resourceVersion: "22110" selfLink: /api/v1/namespaces/openshift-monitoring/configmaps/cluster-monitoring-config uid: fd6d988b-14d7-11ea-84ff-066035b9efa8 . . .

   编辑后

   . . . apiVersion: v1 data: config.yaml: | kind: ConfigMap metadata: creationTimestamp: "2019-11-21T13:07:05Z" name: cluster-monitoring-config namespace: openshift-monitoring resourceVersion: "404352" selfLink: /api/v1/namespaces/openshift-monitoring/configmaps/cluster-monitoring-config uid: d12c796a-0c5f-11ea-9832-063cd735b81c . . .

   在本例中，alertmanagerMain 和 prometheusK8s 监控组件使用 OpenShift Container Storage PVC。

4. 列出使用 PVC 的 pod。

   在本例中，消耗 PVC 的 alertmanagerMain 和 prometheusK8s pod 处于 Terminating 状态。这些 pod 不再使用 OpenShift Container Storage PVC 后，您可以删除 PVC。

   $ oc get pod,pvc -n openshift-monitoring
   NAME                                               READY   STATUS      RESTARTS AGE
   pod/alertmanager-main-0                            3/3     Terminating   0      10h
   pod/alertmanager-main-1                            3/3     Terminating   0      10h
   pod/alertmanager-main-2                            3/3     Terminating   0      10h
   pod/cluster-monitoring-operator-84cd9df668-zhjfn   1/1     Running       0      18h
   pod/grafana-5db6fd97f8-pmtbf                       2/2     Running       0      10h
   pod/kube-state-metrics-895899678-z2r9q             3/3     Running       0      10h
   pod/node-exporter-4njxv                            2/2     Running       0      18h
   pod/node-exporter-b8ckz                            2/2     Running       0      11h
   pod/node-exporter-c2vp5                            2/2     Running       0      18h
   pod/node-exporter-cq65n                            2/2     Running       0      18h
   pod/node-exporter-f5sm7                            2/2     Running       0      11h
   pod/node-exporter-f852c                            2/2     Running       0      18h
   pod/node-exporter-l9zn7                            2/2     Running       0      11h
   pod/node-exporter-ngbs8                            2/2     Running       0      18h
   pod/node-exporter-rv4v9                            2/2     Running       0      18h
   pod/openshift-state-metrics-77d5f699d8-69q5x       3/3     Running       0      10h
   pod/prometheus-adapter-765465b56-4tbxx             1/1     Running       0      10h
   pod/prometheus-adapter-765465b56-s2qg2             1/1     Running       0      10h
   pod/prometheus-k8s-0                               6/6     Terminating   1      9m47s
   pod/prometheus-k8s-1                               6/6     Terminating   1      9m47s
   pod/prometheus-operator-cbfd89f9-ldnwc             1/1     Running       0      43m
   pod/telemeter-client-7b5ddb4489-2xfpz              3/3     Running       0      10h
   
   NAME                                                      STATUS  VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS                  AGE
   persistentvolumeclaim/ocs-alertmanager-claim-alertmanager-main-0   Bound    pvc-2eb79797-1fed-11ea-93e1-0a88476a6a64   40Gi       RWO            ocs-external-storagecluster-ceph-rbd   19h
   persistentvolumeclaim/ocs-alertmanager-claim-alertmanager-main-1   Bound    pvc-2ebeee54-1fed-11ea-93e1-0a88476a6a64   40Gi       RWO            ocs-external-storagecluster-ceph-rbd   19h
   persistentvolumeclaim/ocs-alertmanager-claim-alertmanager-main-2   Bound    pvc-2ec6a9cf-1fed-11ea-93e1-0a88476a6a64   40Gi       RWO            ocs-external-storagecluster-ceph-rbd   19h
   persistentvolumeclaim/ocs-prometheus-claim-prometheus-k8s-0        Bound    pvc-3162a80c-1fed-11ea-93e1-0a88476a6a64   40Gi       RWO            ocs-external-storagecluster-ceph-rbd   19h
   persistentvolumeclaim/ocs-prometheus-claim-prometheus-k8s-1        Bound    pvc-316e99e2-1fed-11ea-93e1-0a88476a6a64   40Gi       RWO            ocs-external-storagecluster-ceph-rbd   19h

5. 删除相关的 PVC。请确定删除所有消耗存储类的 PVC。

   $ oc delete -n openshift-monitoring pvc <pvc-name> --wait=true --timeout=5m

流程

1. 编辑 configs.imageregistry.operator.openshift.io 对象，并删除 storage 部分中的内容。

   $ oc edit configs.imageregistry.operator.openshift.io

   编辑前

   . . . storage: pvc: claim: registry-cephfs-rwx-pvc . . .

   编辑后

   . . . storage: emptyDir: {} . . .

   在本例中，PVC 称为 registry-cephfs-rwx-pvc，现在可以安全地删除。

2. 删除 PVC。

   $ oc delete pvc <pvc-name> -n openshift-image-registry --wait=true --timeout=5m

流程

1. 删除命名空间中的 ClusterLogging 实例。

   $ oc delete clusterlogging instance -n openshift-logging --wait=true --timeout=5m

   openshift-logging 命名空间中的 PVC 现在可以安全地删除。

2. 删除 PVC。

   $ oc delete pvc <pvc-name> -n openshift-logging --wait=true --timeout=5m

流程

1. 从 OpenShift Web 控制台左侧窗格中，点击 Administration → Custom Resource Definitions。
2. 在 Custom Resource Definitions 页面中点 ClusterLogging。
3. 在 Custom Resource Definition Overview 页面上，从 Actions 菜单中选择 View Instances，或者点击 Instances 选项卡。

4. 在 Cluster Logging 页面上，点击 Create Cluster Logging。

   您可能需要刷新页面来加载数据。

5. 在 YAML 中，将 storageClassName 替换为使用 provisioner openshift-storage.rbd.csi.ceph.com 的 storageclass。在下例中，storageclass 的名称为 ocs-storagecluster-ceph-rbd ：

   apiVersion: "logging.openshift.io/v1"
   kind: "ClusterLogging"
   metadata:
     name: "instance"
     namespace: "openshift-logging"
   spec:
     managementState: "Managed"
     logStore:
       type: "elasticsearch"
       elasticsearch:
         nodeCount: 3
         storage:
           storageClassName: ocs-storagecluster-ceph-rbd
           size: 200G # Change as per your requirement
         redundancyPolicy: "SingleRedundancy"
     visualization:
       type: "kibana"
       kibana:
         replicas: 1
     curation:
       type: "curator"
       curator:
         schedule: "30 3 * * *"
     collection:
       logs:
         type: "fluentd"
         fluentd: {}

   如果 OpenShift Container Storage 节点带有污点，您必须添加容限，以启用为日志调度 daemonset pod。

   spec:
   [...]
     collection:
       logs:
         fluentd:
           tolerations:
           - effect: NoSchedule
             key: node.ocs.openshift.io/storage
             value: 'true'
         type: fluentd

6. 点 Save。

验证步骤

1. 验证持久卷声明是否已绑定到 elasticsearch Pod。

   1. 进入 Storage → Persistent Volume Claims。
   2. 将 Project 下拉菜单设置为 openshift-logging。

   3. 验证持久卷声明是否可见，状态为 Bound，附加到 elasticsearch-* pod。

      图 4.1. 创建并绑定集群日志记录

      

2. 验证是否在使用新集群日志记录。

   1. 点 Workload → Pods。
   2. 将项目设置为 openshift-logging。
   3. 验证新的 elasticsearch-* Pod 的状态是否为 Running。
   4. 点新的 elasticsearch-* Pod 查看 pod 详情。
   5. 向下滚动到 Volumes，再验证 elasticsearch 卷是否具有与新持久性卷声明匹配的 Type，如 elasticsearch-elasticsearch-cdm-9r624biv-3。
   6. 点 Persistent Volume Claim 名称，然后在 PersistenVolumeClaim Overview 页面中验证存储类名称。

1. 执行以下命令并验证输出中是否存在新节点：

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

2. 点 Workloads → Pods，确认新节点上的以下 pod 处于 Running 状态 ：

   • csi-cephfsplugin-*
   • csi-rbdplugin-*

流程

1. 点击 OpenShift Web 控制台左侧窗格中的 Operators → Installed Operators 来查看安装的 Operator。
2. 点 OpenShift Container Storage Operator。

3. 在 OpenShift Container Storage Operator 页面中，向右滚动并点击 Backing Store 选项卡。

   图 8.1. 带有后备存储标签的 OpenShift Container Storage Operator 页

   

4. 单击 Create Backing Store。

   图 8.2. 创建后端存储页面

   

5. 在 Create New Backing Store 页面中执行以下操作：

   1. 输入后端存储名称。
   2. 选择 Provider。
   3. 选择 Region。
   4. 输入 端点.这是可选的。

   5. 从下拉列表中选择一个 Secret，或创建自己的 secret。另外，您也可以切换到 Credentials 视图来填写所需的 secret。

      有关创建 OCP secret 的更多信息，请参阅 Openshift Container Platform 文档中的创建 secret 部分。

      每个后备存储都需要不同的机密。有关为特定后备存储创建 secret 的更多信息，请参阅 第 8.3.2 节 “使用 MCG 命令行界面为混合或多云添加存储资源” 并按照使用 YAML 添加存储资源的步骤进行操作。

      注意

      此菜单与 Google Cloud 和本地 PVC 以外的所有供应商相关。

   6. 输入 Target bucket。目标 bucket 是托管在远程云服务的容器存储。它允许您创建一个连接，告诉 MCG 它可以将此存储桶用于系统。
6. 单击 Create Backing Store。

验证步骤

1. 点 Operators → Installed Operators。
2. 点 OpenShift Container Storage Operator。
3. 搜索新的后备存储，或者单击 Backing Store 选项卡来查看所有后备存储。

流程

1. 在 Multicloud Object Gateway (MCG) 命令行界面中，运行以下命令：

   noobaa backingstore create s3-compatible rgw-resource --access-key=<RGW ACCESS KEY> --secret-key=<RGW SECRET KEY> --target-bucket=<bucket-name> --endpoint=<RGW endpoint>

   1. 要获取 <RGW ACCESS KEY> 和 <RGW SECRET KEY>，请使用您的 RGW 用户 secret 名称运行以下命令：

      oc get secret <RGW USER SECRET NAME> -o yaml

   2. 解码 Base64 中的访问密钥 ID 和访问密钥，并保留它们。
   3. 将 <RGW USER ACCESS KEY> 和 <RGW USER SECRET ACCESS KEY> 替换为上一步中的相应已解码数据。
   4. 将 <bucket-name> 替换为现有的 RGW 存储桶名称。此参数告知多云对象网关将哪一个存储桶用作其后备存储的目标存储桶，以及数据存储和管理。

   5. 要获取 <RGW endpoint>，请参阅访问 RADOS 对象网关 S3 端点。

      输出结果类似如下：

      INFO[0001] ✅ Exists: NooBaa "noobaa"
      INFO[0002] ✅ Created: BackingStore "rgw-resource"
      INFO[0002] ✅ Created: Secret "backing-store-secret-rgw-resource"

1. 创建 CephObjectStore 用户。这还会创建一个包含 RGW 凭证的 secret：

   apiVersion: ceph.rook.io/v1
   kind: CephObjectStoreUser
   metadata:
     name: <RGW-Username>
     namespace: openshift-storage
   spec:
     store: ocs-storagecluster-cephobjectstore
     displayName: "<Display-name>"

   1. 将 <RGW-Username> 和 <Display-name> 替换为唯一的用户名和显示名称。

2. 为 S3-Compatible 后备存储应用以下 YAML:

   apiVersion: noobaa.io/v1alpha1
   kind: BackingStore
   metadata:
     finalizers:
     - noobaa.io/finalizer
     labels:
       app: noobaa
     name: <backingstore-name>
     namespace: openshift-storage
   spec:
     s3Compatible:
       endpoint: <RGW endpoint>
       secret:
         name: <backingstore-secret-name>
         namespace: openshift-storage
       signatureVersion: v4
       targetBucket: <RGW-bucket-name>
     type: s3-compatible

   1. 将 <backingstore-secret-name> 替换为上一步中使用 CephObjectStore 创建的 secret 的名称。
   2. 将 <bucket-name> 替换为现有的 RGW 存储桶名称。此参数告知多云对象网关将哪一个存储桶用作其后备存储的目标存储桶，以及数据存储和管理。
   3. 要获取 <RGW endpoint>，请参阅访问 RADOS 对象网关 S3 端点。

流程

1. 在 OpenShift Storage 控制台中，导航到 Overview → Object Service → 选择 Multicloud Object Gateway 链接：

   

2. 选择左侧的资源选项卡，突出显示下方。从填充的列表中，选择 Add Cloud Resource：

   

3. 选择 Add new connection：

   

4. 选择相关的原生云供应商或 S3 兼容选项并填写详情：

   

5. 选择新创建的连接并将其映射到现有存储桶：

   
6. 重复这些步骤，根据需要创建任意数量的后备存储。

流程

1. 点击 OpenShift Web 控制台左侧窗格中的 Operators → Installed Operators 来查看安装的 Operator。
2. 点 OpenShift Container Storage Operator。

3. 在 OpenShift Container Storage Operator 页面中，向右滚动并点击 Bucket Class 选项卡。

   图 8.3. 带有 Bucket Class 选项卡的 OpenShift Container Storage Operator 页

   
4. 点 Create Bucket Class。

5. 在 Create new Bucket Class 页面中，执行以下操作：

   1. 输入 Bucket Class Name 并点 Next。

      图 8.4. Create Bucket Class 页

      

   2. 在放置策略中，选择 Tier 1 - Policy Type 并单击 Next。您可以根据要求选择任一选项。

      • Spread 允许在选定资源之间分散数据。
      • Mirror 允许在选定资源中完全重复数据。

      • 单击 Add Tier 以添加另一个策略层。

        图 8.5. 第 1 层 - 策略类型选择页面

        

   3. 如果您选择了 Tier 1 - Policy Type as Spread，请从可用列表中选择 Backing Store 资源，然后单击 Next。或者，您也可以创建新的后备存储。

      图 8.6. 第 1 层 - 后端存储选择页面

      

1. 检查并确认 Bucket 类设置。

   图 8.7. bucket 类设置查看页面

   
2. 点 Create Bucket Class。

验证步骤

1. 点 Operators → Installed Operators。
2. 点 OpenShift Container Storage Operator。
3. 搜索新的 Bucket Class 或点击 Bucket Class 选项卡来查看所有 Bucket 类。

流程

1. 在 OpenShift 控制台中，点击 Home → Overview，然后点击 Object Service 选项卡。
2. 点 Multicloud Object Gateway 并在系统提示时登录。
3. 点 Accounts 并选择要添加连接的帐户。
4. 单击 My Connections。

5. 单击 Add Connection。

   1. 输入 连接名称。
   2. 默认情况下，您的云提供程序会在 服务 下拉菜单中显示。更改选择以使用其他提供程序。
   3. 默认情况下，您的云供应商的默认端点会在 Endpoint 字段中显示。如果需要，输入替代端点。
   4. 输入您的云供应商访问密钥。
   5. 输入此云供应商的 Secret 密钥。
   6. 点 Save。

流程

1. 在 OpenShift 控制台中，点 Home → Overview 并点 Object Service 选项卡。
2. 点击 Multicloud Storage Gateway，并在出现提示时登录。
3. 点击 Resources，然后点击 Namespace Resources 选项卡。

4. 点 Create Namespace Resource。

   1. 在 Target Connection 中，选择要用于此命名空间的存储供应商的连接。

      如果需要添加新连接，请点击 Add New Connection 并输入您的供应商详情。如需更多信息，请参阅 第 8.4.1 节 “在 Multicloud 对象网关中添加供应商连接”。

   2. 在 Target Bucket 中，选择要用作目标的存储桶的名称。
   3. 输入命名空间资源的 Resource Name。
   4. 点击 Create。

流程

1. 在 OpenShift 控制台中，点击 Home → Overview，然后点击 Object Service 选项卡。
2. 点 Multicloud Object Gateway 并在系统提示时登录。
3. 点击 Buckets，然后点击 Namespace Buckets 选项卡。

4. 点 Create Namespace Bucket。

   1. 在 Choose Name 选项卡中，指定命名空间存储桶的名称，再单击 Next。

   2. 在 Set Placement 标签页中：

      1. 在 Read Policy 下，选中命名空间存储桶应该从中读取数据的每个命名空间资源的复选框。
      2. 在 Write Policy 下，指定命名空间存储桶应将数据写入的命名空间资源。
      3. 点 Next。
   3. 对于生产环境，不要对 Set Caching Policy 选项卡进行更改。此选项卡作为开发预览提供，对其支持有相关的限制。
   4. 点击 Create。

1. 在 MCG 命令行界面中，运行以下命令来创建带有镜像策略的存储桶类：

   $ noobaa bucketclass create mirror-to-aws --backingstores=azure-resource,aws-resource --placement Mirror

2. 将新创建的存储桶类设置为一个新的存储桶声明，生成一个新的存储桶，该存储桶将在两个位置之间进行镜像：

   $ noobaa obc create  mirrored-bucket --bucketclass=mirror-to-aws

1. 应用以下 YAML。此 YAML 是一个混合示例，在本地 Ceph 存储和 AWS 之间镜像数据：

   apiVersion: noobaa.io/v1alpha1
   kind: BucketClass
   metadata:
     name: hybrid-class
     labels:
       app: noobaa
   spec:
     placementPolicy:
       tiers:
         - tier:
             mirrors:
               - mirror:
                   spread:
                     - cos-east-us
               - mirror:
                   spread:
                     - noobaa-test-bucket-for-ocp201907291921-11247_resource

2. 将以下行添加到标准 Object Bucket Claim (OBC) 中：

   additionalConfig:
     bucketclass: mirror-to-aws

   有关 OBCs 的更多信息，请参阅 第 8.7 节 “对象 Bucket 声明”。

1. 在 OpenShift Storage 控制台中，导航到 Overview → Object Service → 选择 Multicloud Object Gateway 链接：

   

2. 点击左侧的存储 桶 图标。您将看到存储桶列表：

   
3. 点击您要更新的存储桶。

4. 点击 Edit Tier 1 Resources:

   

5. 选择 Mirror 并检查您要用于这个存储桶的相关资源。在以下示例中，我们将 prem Ceph RGW 上的数据镜像到 AWS:

   
6. 点 Save。

1. 以 JSON 格式创建 bucket 策略。请参见以下示例：

   {
       "Version": "NewVersion",
       "Statement": [
           {
               "Sid": "Example",
               "Effect": "Allow",
               "Principal": [
                       "john.doe@example.com"
               ],
               "Action": [
                   "s3:GetObject"
               ],
               "Resource": [
                   "arn:aws:s3:::john_bucket"
               ]
           }
       ]
   }

   bucket 策略有许多可用的元素。有关这些元素的详情以及如何使用它们的示例，请参阅 AWS 访问策略语言概述。

   如需存储桶策略的更多示例，请参阅 AWS Bucket 策略示例。

   有关创建 S3 用户的说明，请参阅 第 8.6.3 节 “在 Multicloud 对象网关中创建 AWS S3 用户”。

2. 使用 AWS S3 客户端，使用 put-bucket-policy 命令将存储桶策略应用到 S3 存储桶：

   # aws --endpoint ENDPOINT --no-verify-ssl s3api put-bucket-policy --bucket MyBucket --policy BucketPolicy

   使用 S3 端点替换 ENDPOINT

   将 MyBucket 替换为存储桶来设置策略

   将 BucketPolicy 替换为存储桶策略 JSON 文件

   如果您使用默认自签名证书，请添加 --no-verify-ssl

   例如：

   # aws --endpoint https://s3-openshift-storage.apps.gogo44.noobaa.org --no-verify-ssl s3api put-bucket-policy -bucket MyBucket --policy file://BucketPolicy

   如需有关 put-bucket-policy 命令的更多信息，请参阅有关 put-bucket-policy 的 AWS CLI 命令参考。

流程

1. 在 OpenShift Storage 控制台中，导航到 Overview → Object Service → 选择 Multicloud Object Gateway 链接：

   

2. 在 Accounts 选项卡下，点 Create Account:

   

3. 选择 S3 Access Only，提供 帐户名称，例如 john.doe@example.com。点 Next:

   

4. 选择 S3 默认放置，例如 noobaa-default-backing-store。选择 Buckets Permissions。可以选择特定的存储桶或所有存储桶。点 Create：

   

流程

1. 在应用程序 YAML 中添加以下行：

   apiVersion: objectbucket.io/v1alpha1
   kind: ObjectBucketClaim
   metadata:
     name: <obc-name>
   spec:
     generateBucketName: <obc-bucket-name>
     storageClassName: openshift-storage.noobaa.io

   这些行是对象 Bucket 声明本身。

   1. 将 <obc-name> 替换为唯一的对象 Bucket Claim 名称。
   2. 将 <obc-bucket-name> 替换为 Object Bucket Claim 的唯一存储桶名称。

2. 您可以在 YAML 文件中添加更多行来自动使用 Object Bucket Claim。以下示例是存储桶声明结果之间的映射，这是一个带有凭证数据和 secret 的配置映射。此特定作业将从 NooBaa 声明 Object Bucket，这将创建一个存储桶和帐户。

   apiVersion: batch/v1
   kind: Job
   metadata:
     name: testjob
   spec:
     template:
       spec:
         restartPolicy: OnFailure
         containers:
           - image: <your application image>
             name: test
             env:
               - name: BUCKET_NAME
                 valueFrom:
                   configMapKeyRef:
                     name: <obc-name>
                     key: BUCKET_NAME
               - name: BUCKET_HOST
                 valueFrom:
                   configMapKeyRef:
                     name: <obc-name>
                     key: BUCKET_HOST
               - name: BUCKET_PORT
                 valueFrom:
                   configMapKeyRef:
                     name: <obc-name>
                     key: BUCKET_PORT
               - name: AWS_ACCESS_KEY_ID
                 valueFrom:
                   secretKeyRef:
                     name: <obc-name>
                     key: AWS_ACCESS_KEY_ID
               - name: AWS_SECRET_ACCESS_KEY
                 valueFrom:
                   secretKeyRef:
                     name: <obc-name>
                     key: AWS_SECRET_ACCESS_KEY

   1. 将 <obc-name> 的所有实例替换为您的对象 Bucket Claim 名称。
   2. 将 <your application image> 替换为您的应用程序镜像。

3. 应用更新的 YAML 文件：

   # oc apply -f <yaml.file>

   1. 将 <yaml.file> 替换为 YAML 文件的名称。

4. 要查看新配置映射，请运行以下命令：

   # oc get cm <obc-name>

   1. 将 obc-name 替换为对象 Bucket Claim 的名称。

      您可以在输出中预期以下环境变量：

      • BUCKET_HOST - 要在应用程序中使用的端点

      • BUCKET_PORT - 应用程序可用的端口

        • 端口与 BUCKET_HOST 相关。例如，如果 BUCKET_HOST 是 https://my.example.com，BUCKET_PORT 为 443，则对象服务的端点将是 https://my.example.com:443。
      • BUCKET_NAME - 请求或生成的存储桶名称
      • AWS_ACCESS_KEY_ID - 作为凭据一部分的访问密钥
      • aws_SECRET_ACCESS_KEY - 属于凭据的 Secret 访问密钥

流程

1. 使用命令行界面生成新 bucket 和凭据的详细信息。运行以下命令：

   # noobaa obc create <obc-name> -n openshift-storage

   将 <obc-name> 替换为一个唯一的对象 Bucket Claim 名称，例如 myappobc。

   另外，您可以使用 --app-namespace 选项指定创建 Object Bucket Claim 配置映射和 secret 的命名空间，如 myapp-namespace。

   输出示例：

   INFO[0001] ✅ Created: ObjectBucketClaim "test21obc"

   MCG 命令行界面已创建了必要的配置，并已向 OpenShift 告知新的 OBC。

2. 运行以下命令来查看对象 Bucket 声明：

   # oc get obc -n openshift-storage

   输出示例：

   NAME        STORAGE-CLASS                 PHASE   AGE
   test21obc   openshift-storage.noobaa.io   Bound   38s

3. 运行以下命令，以查看新对象 Bucket 声明的 YAML 文件：

   # oc get obc test21obc -o yaml -n openshift-storage

   输出示例：

   apiVersion: objectbucket.io/v1alpha1
   kind: ObjectBucketClaim
   metadata:
     creationTimestamp: "2019-10-24T13:30:07Z"
     finalizers:
     - objectbucket.io/finalizer
     generation: 2
     labels:
       app: noobaa
       bucket-provisioner: openshift-storage.noobaa.io-obc
       noobaa-domain: openshift-storage.noobaa.io
     name: test21obc
     namespace: openshift-storage
     resourceVersion: "40756"
     selfLink: /apis/objectbucket.io/v1alpha1/namespaces/openshift-storage/objectbucketclaims/test21obc
     uid: 64f04cba-f662-11e9-bc3c-0295250841af
   spec:
     ObjectBucketName: obc-openshift-storage-test21obc
     bucketName: test21obc-933348a6-e267-4f82-82f1-e59bf4fe3bb4
     generateBucketName: test21obc
     storageClassName: openshift-storage.noobaa.io
   status:
     phase: Bound

4. 在 openshift-storage 命名空间内，您可以找到配置映射和 secret 来使用此 Object Bucket Claim。CM 和 secret 的名称与 Object Bucket Claim 的名称相同。查看 secret：

   # oc get -n openshift-storage secret test21obc -o yaml

   输出示例：

   Example output:
   apiVersion: v1
   data:
     AWS_ACCESS_KEY_ID: c0M0R2xVanF3ODR3bHBkVW94cmY=
     AWS_SECRET_ACCESS_KEY: Wi9kcFluSWxHRzlWaFlzNk1hc0xma2JXcjM1MVhqa051SlBleXpmOQ==
   kind: Secret
   metadata:
     creationTimestamp: "2019-10-24T13:30:07Z"
     finalizers:
     - objectbucket.io/finalizer
     labels:
       app: noobaa
       bucket-provisioner: openshift-storage.noobaa.io-obc
       noobaa-domain: openshift-storage.noobaa.io
     name: test21obc
     namespace: openshift-storage
     ownerReferences:
     - apiVersion: objectbucket.io/v1alpha1
       blockOwnerDeletion: true
       controller: true
       kind: ObjectBucketClaim
       name: test21obc
       uid: 64f04cba-f662-11e9-bc3c-0295250841af
     resourceVersion: "40751"
     selfLink: /api/v1/namespaces/openshift-storage/secrets/test21obc
     uid: 65117c1c-f662-11e9-9094-0a5305de57bb
   type: Opaque

   该机密为您提供了 S3 访问凭据。

5. 查看配置映射：

   # oc get -n openshift-storage cm test21obc -o yaml

   输出示例：

   apiVersion: v1
   data:
     BUCKET_HOST: 10.0.171.35
     BUCKET_NAME: test21obc-933348a6-e267-4f82-82f1-e59bf4fe3bb4
     BUCKET_PORT: "31242"
     BUCKET_REGION: ""
     BUCKET_SUBREGION: ""
   kind: ConfigMap
   metadata:
     creationTimestamp: "2019-10-24T13:30:07Z"
     finalizers:
     - objectbucket.io/finalizer
     labels:
       app: noobaa
       bucket-provisioner: openshift-storage.noobaa.io-obc
       noobaa-domain: openshift-storage.noobaa.io
     name: test21obc
     namespace: openshift-storage
     ownerReferences:
     - apiVersion: objectbucket.io/v1alpha1
       blockOwnerDeletion: true
       controller: true
       kind: ObjectBucketClaim
       name: test21obc
       uid: 64f04cba-f662-11e9-bc3c-0295250841af
     resourceVersion: "40752"
     selfLink: /api/v1/namespaces/openshift-storage/configmaps/test21obc
     uid: 651c6501-f662-11e9-9094-0a5305de57bb

   配置映射包含应用的 S3 端点信息。

流程

1. 登录 OpenShift Web 控制台。
2. 在左侧导航栏中，点击 Storage → Object Bucket Claims。

3. 点击 Create Object Bucket Claim:

   

4. 输入对象存储桶声明的名称，并根据您的部署（内部或外部）从下拉菜单中选择适当的存储类：

   内部模式

   

   以下存储类是在部署后创建的，可供使用：

   • OCS-storagecluster-ceph-rgw 使用 Ceph 对象网关 (RGW)
   • openshift-storage.noobaa.io 使用 Multicloud 对象网关

   外部模式

   

   以下存储类是在部署后创建的，可供使用：

   • OCS-external-storagecluster-ceph-rgw 使用 Ceph 对象网关 (RGW)

   • openshift-storage.noobaa.io 使用 Multicloud 对象网关

     注意

     RGW OBC 存储类仅可用于全新安装的 OpenShift Container Storage 版本 4.5。它不适用于从以前的 OpenShift Container Storage 发行版本升级的集群。

5. 点击 Create。

   创建 OBC 后，您会被重定向到其详情页面：

   

流程

1. 在 Multicloud Object Gateway 用户界面的 Overview 页面中，点 Add Storage Resources:

   

2. 在窗口中点击 Deploy Kubernetes Pool：

   

3. 在 Create Pool 步骤中，为将来安装的节点创建目标池。

   

4. 在 Configure 步骤中，配置请求的 pod 数以及每个 PV 的大小。对于每个新 pod，会创建一个 PV。

   
5. 在 Review 步骤中，您可以找到新池的详细信息，再选择要使用的部署方法：本地或外部部署。如果选择了本地部署，Kubernetes 节点将在集群内部署。如果选择了外部部署，您将获得 YAML 文件，供外部运行。

6. 所有节点都会分配给您在第一步中选择的池，并可在 Resources → Storage resources → Resource name 下找到：

   

流程

1. 使用 cluster-admin 角色登录 OpenShift Container Platform 集群。

2. 查找 auth.json 文件。

   当您使用 podman 或 docker 登录 registry 时，会生成此文件。它位于以下位置之一：

   • ~/.docker/auth.json
   • /run/user/<UID>/containers/auth.json
   • /var/run/containers/<UID>/auth.json

3. 获取您唯一的红帽 registry pull secret，并将其粘贴到 auth.json 文件中。它看起来类似于：

   {
       "auths": {
           "cloud.openshift.com": {
               "auth": "*****************",
               "email": "user@example.com"
           },
           "quay.io": {
               "auth": "*****************",
               "email": "user@example.com"
           },
           "registry.connect.redhat.com": {
               "auth": "*****************",
               "email": "user@example.com"
           },
           "registry.redhat.io": {
               "auth": "*****************",
               "email": "user@example.com"
           }
       }
     }

4. 使用设置的适当详情导出环境变量。

   $ export AUTH_FILE="<location_of_auth.json>"
   $ export MIRROR_REGISTRY_DNS="<your_registry_url>:<port>"

5. 使用 podman 登录镜像 registry，并将凭据存储在 ${AUTH_FILE} 中。

   $ podman login ${MIRROR_REGISTRY_DNS} --tls-verify=false --authfile ${AUTH_FILE}

   这会将镜像 registry 添加到 auth.json 文件中。

   {
       "auths": {
           "cloud.openshift.com": {
               "auth": "*****************",
               "email": "user@example.com"
           },
           "quay.io": {
               "auth": "*****************",
               "email": "user@example.com"
           },
           "registry.connect.redhat.com": {
               "auth": "*****************",
               "email": "user@example.com"
           },
           "registry.redhat.io": {
               "auth": "*****************",
               "email": "user@example.com"
           },
           "<mirror_registry>": {
               "auth": "*****************",
           }
       }
     }

流程

1. 为 redhat-operators 构建目录。

   使用与目标 OpenShift Container Platform 集群主版本和次版本匹配的标签，将 --from 设置为 ose-operator-registry 基础镜像。

   $ oc adm catalog build --appregistry-org redhat-operators \
     --from=registry.redhat.io/openshift4/ose-operator-registry:v4.6 \
     --to=${MIRROR_REGISTRY_DNS}/olm/redhat-operators:v2 \
     --registry-config=${AUTH_FILE} \
     --filter-by-os="linux/amd64" --insecure

2. 为 redhat-operators 镜像目录。

   这是一个漫长的操作，可能需要 1 到 5 个小时。确保镜像主机上有 100 GB 的可用磁盘空间。

   $ oc adm catalog mirror ${MIRROR_REGISTRY_DNS}/olm/redhat-operators:v2 \
   ${MIRROR_REGISTRY_DNS} --registry-config=${AUTH_FILE} --insecure

流程

1. 检查此文件的内容是否有如下所示的镜像映射：

   spec:
     repositoryDigestMirrors:
       - mirrors:
         - <your_registry>/ocs4
         source: registry.redhat.io/ocs4
       - mirrors:
         - <your_registry>/rhceph
         source: registry.redhat.io/rhceph
       - mirrors:
         - <your_registry>/openshift4
         source: registry.redhat.io/openshift4
       - mirrors:
         - <your_registry>/rhscl
         source: registry.redhat.io/rhscl

2. 在 imageContentSourcePolicy.yaml 文件的末尾添加任何缺少的条目。

3. 将 imageContentSourcePolicy.yaml 文件应用到集群。

   $ oc apply -f ./[output dir]/imageContentSourcePolicy.yaml

   更新镜像内容源策略后，需要更新并重新引导集群中的所有节点（master、infra 和 worker）。此过程通过 Machine Config Pool operator 自动处理，最多需要 30 分钟，尽管确切经过的时间可能因 OpenShift 集群中的节点数量而异。您可以使用 oc get mcp 命令或 oc get node 命令来监控更新过程。

流程

1. 重新创建 CatalogSource 对象来引用红帽操作器的目录镜像。

   注意

   确保您已使用正确的版本（即 v2）镜像了正确的目录源。

   在 redhat-operator-catalogsource.yaml 文件中保存以下内容，记住将 <your_registry> 替换为您的镜像 registry URL：

   apiVersion: operators.coreos.com/v1alpha1
   kind: CatalogSource
   metadata:
     name: redhat-operators
     namespace: openshift-marketplace
   spec:
     sourceType: grpc
     icon:
       base64data: PHN2ZyBpZD0iTGF5ZXJfMSIgZGF0YS1uYW1lPSJMYXllciAxIiB4bWxucz0iaHR0cDovL3d3dy53My5vcmcvMjAwMC9zdmciIHZpZXdCb3g9IjAgMCAxOTIgMTQ1Ij48ZGVmcz48c3R5bGU+LmNscy0xe2ZpbGw6I2UwMDt9PC9zdHlsZT48L2RlZnM+PHRpdGxlPlJlZEhhdC1Mb2dvLUhhdC1Db2xvcjwvdGl0bGU+PHBhdGggZD0iTTE1Ny43Nyw2Mi42MWExNCwxNCwwLDAsMSwuMzEsMy40MmMwLDE0Ljg4LTE4LjEsMTcuNDYtMzAuNjEsMTcuNDZDNzguODMsODMuNDksNDIuNTMsNTMuMjYsNDIuNTMsNDRhNi40Myw2LjQzLDAsMCwxLC4yMi0xLjk0bC0zLjY2LDkuMDZhMTguNDUsMTguNDUsMCwwLDAtMS41MSw3LjMzYzAsMTguMTEsNDEsNDUuNDgsODcuNzQsNDUuNDgsMjAuNjksMCwzNi40My03Ljc2LDM2LjQzLTIxLjc3LDAtMS4wOCwwLTEuOTQtMS43My0xMC4xM1oiLz48cGF0aCBjbGFzcz0iY2xzLTEiIGQ9Ik0xMjcuNDcsODMuNDljMTIuNTEsMCwzMC42MS0yLjU4LDMwLjYxLTE3LjQ2YTE0LDE0LDAsMCwwLS4zMS0zLjQybC03LjQ1LTMyLjM2Yy0xLjcyLTcuMTItMy4yMy0xMC4zNS0xNS43My0xNi42QzEyNC44OSw4LjY5LDEwMy43Ni41LDk3LjUxLjUsOTEuNjkuNSw5MCw4LDgzLjA2LDhjLTYuNjgsMC0xMS42NC01LjYtMTcuODktNS42LTYsMC05LjkxLDQuMDktMTIuOTMsMTIuNSwwLDAtOC40MSwyMy43Mi05LjQ5LDI3LjE2QTYuNDMsNi40MywwLDAsMCw0Mi41Myw0NGMwLDkuMjIsMzYuMywzOS40NSw4NC45NCwzOS40NU0xNjAsNzIuMDdjMS43Myw4LjE5LDEuNzMsOS4wNSwxLjczLDEwLjEzLDAsMTQtMTUuNzQsMjEuNzctMzYuNDMsMjEuNzdDNzguNTQsMTA0LDM3LjU4LDc2LjYsMzcuNTgsNTguNDlhMTguNDUsMTguNDUsMCwwLDEsMS41MS03LjMzQzIyLjI3LDUyLC41LDU1LC41LDc0LjIyYzAsMzEuNDgsNzQuNTksNzAuMjgsMTMzLjY1LDcwLjI4LDQ1LjI4LDAsNTYuNy0yMC40OCw1Ni43LTM2LjY1LDAtMTIuNzItMTEtMjcuMTYtMzAuODMtMzUuNzgiLz48L3N2Zz4=
       mediatype: image/svg+xml
     image: <your_registry>/olm/redhat-operators:v2
     displayName: Redhat Operators Catalog
     publisher: Red Hat

2. 使用 redhat-operator-catalogsource.yaml 文件创建一个目录源：

   $ oc apply -f redhat-operator-catalogsource.yaml

3. 验证新的 redhat-operator pod 是否正在运行。

   $ oc get pod -n openshift-marketplace | grep redhat-operators

流程

1. 登录 OpenShift Web 控制台。
2. 点 Operators → Installed Operators
3. 选择 openshift-storage 项目。
4. 点 OpenShift Container Storage operator 名称。
5. 单击 Subscription 选项卡，再单击 Approval 下的链接。
6. 选择 Automatic(default) 并点 Save。

7. 根据 Upgrade Status 执行以下操作之一：

   • 升级状态 显示 需要批准。

     注意

     如果频道中已检测到新的 OpenShift Container Storage 版本，且更新时已将批准策略从 Manual 改为 Automatic，则 升级状态 会显示为需要批准。

     1. 单击 Install Plan 链接。
     2. 在 InstallPlan Details 页面中点 Preview Install Plan。
     3. 检查安装计划并点 Approve。
     4. 等待 Status 从 Unknown 更改为 Created。
     5. 点 Operators → Installed Operators
     6. 选择 openshift-storage 项目。
     7. 等待 Status 更改为 Up to date

   • 升级状态 不需要 批准 ：

     1. 等待更新启动。这可能需要长达 20 分钟。
     2. 点 Operators → Installed Operators
     3. 选择 openshift-storage 项目。
     4. 等待 Status 更改为 Up to date

验证步骤

1. 点 Overview → Persistent Storage 选项卡，在 Status 卡中确认 OCS Cluster 和 Data Resiliency 有一个绿色勾号，代表它健康。
2. 点 Overview → Object Service 选项卡，在 Status 卡中确认 Object Service 和 Data Resiliency 都处于 Ready 状态（绿色勾号）。

3. 点 Operators → Installed Operators → OpenShift Container Storage Operator。在 Storage Cluster 下，验证集群服务状态是否为 Ready。

   注意

   从 OpenShift Container Storage 版本 4.5 更新至 4.6 后，此处的 Version 字段仍将显示 4.5。这是因为 ocs-operator 不会更新此字段中代表的字符串。

4. 确保所有 OpenShift Container Storage Pod（包括 Operator Pod）在 openshift-storage 命名空间中 处于 Running 状态。

   要查看 pod 的状态，请点击 Workloads → Pods。从 Project 下拉列表中，选择 openshift-storage。

5. 如果验证步骤失败，请联系红帽支持。

流程

1. 登录 OpenShift Web 控制台。
2. 点 Operators → Installed Operators
3. 选择 openshift-storage 项目。
4. 点 OpenShift Container Storage operator 名称。
5. 单击 Subscription 选项卡，再单击 Approval 下的链接。
6. 选择 Manual，然后单击 Save。
7. 等待 Upgrade Status 更改为 Upgrading。
8. 如果 Upgrade Status 显示 需要批准，请单击 require approval。
9. 在 InstallPlan Details 页面中点 Preview Install Plan。
10. 检查安装计划并点 Approve。
11. 等待 Status 从 Unknown 更改为 Created。
12. 点 Operators → Installed Operators
13. 选择 openshift-storage 项目。
14. 等待 Status 更改为 Up to date

验证步骤

1. 点 Overview → Persistent Storage 选项卡，在 Status 卡中确认 OCS Cluster 和 Data Resiliency 有一个绿色勾号，代表它健康。
2. 点 Overview → Object Service 选项卡，在 Status 卡中确认 Object Service 和 Data Resiliency 都处于 Ready 状态（绿色勾号）。

3. 点 Operators → Installed Operators → OpenShift Container Storage Operator。在 Storage Cluster 下，验证集群服务状态是否为 Ready。

   注意

   从 OpenShift Container Storage 版本 4.5 更新至 4.6 后，此处的 Version 字段仍将显示 4.5。这是因为 ocs-operator 不会更新此字段中代表的字符串。

4. 确保所有 OpenShift Container Storage Pod（包括 Operator Pod）在 openshift-storage 命名空间中 处于 Running 状态。

   要查看 pod 的状态，请点击 OpenShift Web 控制台左侧窗格中的 Workloads → Pods。从 Project 下拉列表中，选择 openshift-storage。

5. 如果验证步骤失败，请联系红帽支持。