2.4. 내부 모드에서 OpenShift Container Storage 설치 제거

절차

1. OpenShift Container Storage를 사용하는 볼륨 스냅샷을 삭제합니다.

   1. 모든 네임스페이스의 볼륨 스냅샷을 나열합니다.

      $ oc get volumesnapshot --all-namespaces

   2. 이전 명령의 출력에서 OpenShift Container Storage를 사용하는 볼륨 스냅샷을 식별하고 삭제합니다.

      $ oc delete volumesnapshot <VOLUME-SNAPSHOT-NAME> -n <NAMESPACE>

2. OpenShift Container Storage를 사용하는 PVC 및 OBC를 삭제합니다.

   기본 설치 제거 모드(허용)에서 설치 제거 프로그램은 OpenShift Container Storage를 사용하는 모든 PVC 및 OBC가 삭제됩니다.

   PVC를 삭제하지 않고 스토리지 클러스터를 삭제하려면 uninstall 모드 주석을 강제 설정하고 이 단계를 건너뛸 수 있습니다. 이렇게 하면 시스템의 고립된 PVC와 OBC가 생성됩니다.

   1. OpenShift Container Storage를 사용하여 OpenShift Container Platform 모니터링 스택 PVC를 삭제합니다.

      자세한 내용은 2.4.1.1절. “OpenShift Container Storage에서 모니터링 스택 제거”의 내용을 참조하십시오.

   2. OpenShift Container Storage를 사용하여 OpenShift Container Platform 레지스트리 PVC를 삭제합니다.

      자세한 내용은 2.4.1.2절. “OpenShift Container Storage에서 OpenShift Container Platform 레지스트리 제거”의 내용을 참조하십시오.

   3. OpenShift Container Storage를 사용하여 OpenShift Container Platform 로깅 PVC를 삭제합니다.

      자세한 내용은 2.4.1.3절. “OpenShift Container Storage에서 클러스터 로깅 Operator 제거”의 내용을 참조하십시오.

   4. OpenShift Container Storage를 사용하여 프로비저닝된 다른 PVC 및 OBC를 삭제합니다.

      • 다음 스크립트는 OpenShift Container Storage를 사용하여 프로비저닝된 PVC 및 OBC를 식별하는 샘플 스크립트입니다. 스크립트는 Openshift Container Storage에서 내부적으로 사용하는 PVC를 무시합니다.

        #!/bin/bash
        
        RBD_PROVISIONER="openshift-storage.rbd.csi.ceph.com"
        CEPHFS_PROVISIONER="openshift-storage.cephfs.csi.ceph.com"
        NOOBAA_PROVISIONER="openshift-storage.noobaa.io/obc"
        RGW_PROVISIONER="openshift-storage.ceph.rook.io/bucket"
        
        NOOBAA_DB_PVC="noobaa-db"
        NOOBAA_BACKINGSTORE_PVC="noobaa-default-backing-store-noobaa-pvc"
        
        # Find all the OCS StorageClasses
        OCS_STORAGECLASSES=$(oc get storageclasses | grep -e "$RBD_PROVISIONER" -e "$CEPHFS_PROVISIONER" -e "$NOOBAA_PROVISIONER" -e "$RGW_PROVISIONER" | awk '{print $1}')
        
        # List PVCs in each of the StorageClasses
        for SC in $OCS_STORAGECLASSES
        do
                echo "======================================================================"
                echo "$SC StorageClass PVCs and OBCs"
                echo "======================================================================"
                oc get pvc  --all-namespaces --no-headers 2>/dev/null | grep $SC | grep -v -e "$NOOBAA_DB_PVC" -e "$NOOBAA_BACKINGSTORE_PVC"
                oc get obc  --all-namespaces --no-headers 2>/dev/null | grep $SC
                echo
        done

        참고

        클라우드 플랫폼용 RGW_PROVISIONER 생략.

      • OBC를 삭제합니다.

        $ oc delete obc <obc name> -n <project name>

      • PVC를 삭제합니다.

        $ oc delete pvc <pvc name> -n <project-name>

        참고

        클러스터에서 생성된 사용자 정의 백업 저장소, 버킷 클래스 등을 제거했는지 확인합니다.

3. Storage Cluster 오브젝트를 삭제하고 관련 리소스가 제거될 때까지 기다립니다.

   $ oc delete -n openshift-storage storagecluster --all --wait=true

4. uninstall.ocs.openshift.io/cleanup-policy 가 삭제(기본값)로 설정되어 있는지 확인하고 상태가 Completed 인지 확인합니다.

   $ oc get pods -n openshift-storage | grep -i cleanup
   NAME                                READY   STATUS      RESTARTS   AGE
   cluster-cleanup-job-<xx>        	0/1     Completed   0          8m35s
   cluster-cleanup-job-<yy>     		0/1     Completed   0          8m35s
   cluster-cleanup-job-<zz>     		0/1     Completed   0          8m35s

5. /var/lib/rook 디렉토리가 비어 있는지 확인합니다. 이 디렉터리는 uninstall.ocs.openshift.io/cleanup-policy 주석이 삭제(기본값)로 설정된 경우에만 비어 있습니다.

   $ for i in $(oc get node -l cluster.ocs.openshift.io/openshift-storage= -o jsonpath='{ .items[*].metadata.name }'); do oc debug node/${i} -- chroot /host  ls -l /var/lib/rook; done

6. 설치 시 암호화가 활성화된 경우 모든 OpenShift Container Storage 노드의 OSD 장치에서 dm -crypt managed device-mapper 매핑을 제거합니다.

   1. 스토리지 노드의 호스트에 디버그 포드 및 chroot 를 만듭니다.

      $ oc debug node/<node name>
      $ chroot /host

   2. 장치 이름을 가져오고 OpenShift Container Storage 장치를 기록합니다.

      $ dmsetup ls
      ocs-deviceset-0-data-0-57snx-block-dmcrypt (253:1)

   3. 매핑된 장치를 제거합니다.

      $ cryptsetup luksClose --debug --verbose ocs-deviceset-0-data-0-57snx-block-dmcrypt

      참고

      권한이 충분하지 않아 위의 명령이 중단되면 다음 명령을 실행합니다.

      • CTRL+Z 를 눌러 위의 명령을 종료합니다.

      • 중단된 프로세스의 PID를 찾습니다.

        $ ps -ef | grep crypt

      • kill 명령을 사용하여 프로세스를 종료합니다.

        $ kill -9 <PID>

      • 장치 이름이 제거되었는지 확인합니다.

        $ dmsetup ls

7. 네임스페이스를 삭제하고 삭제가 완료될 때까지 기다립니다. openshift-storage 가 활성 프로젝트인 경우 다른 프로젝트로 전환해야 합니다.

   예를 들면 다음과 같습니다.

   $ oc project default
   $ oc delete project openshift-storage --wait=true --timeout=5m

   다음 명령에서 NotFound 오류를 반환하면 프로젝트가 삭제됩니다.

   $ oc get project openshift-storage

   참고

   OpenShift Container Storage를 설치 제거하는 동안 네임스페이스 가 완전히 삭제되지 않고 종료 상태가 유지되는 경우 설치 제거 중 나머지 리소스 문제 해결 및 삭제 단계를 수행하여 네임스페이스가 종료되지 않는 오브젝트를 식별합니다.

8. 스토리지 노드의 레이블을 해제합니다.

   $ oc label nodes  --all cluster.ocs.openshift.io/openshift-storage-
   $ oc label nodes  --all topology.rook.io/rack-

9. 노드가 테인트된 경우 OpenShift Container Storage 테인트를 제거합니다.

   $ oc adm taint nodes --all node.ocs.openshift.io/storage-

10. OpenShift Container Storage를 사용하여 프로비저닝된 모든 PV가 삭제되었는지 확인합니다. Released 상태에 PV가 남아 있으면 삭제합니다.

    $ oc get pv
    $ oc delete pv <pv name>

11. Multicloud Object Gateway 스토리지 클래스를 삭제합니다.

    $ oc delete storageclass openshift-storage.noobaa.io --wait=true --timeout=5m

12. CustomResourceDefinitions 제거.

    $ oc delete crd backingstores.noobaa.io bucketclasses.noobaa.io cephblockpools.ceph.rook.io cephclusters.ceph.rook.io cephfilesystems.ceph.rook.io cephnfses.ceph.rook.io cephobjectstores.ceph.rook.io cephobjectstoreusers.ceph.rook.io noobaas.noobaa.io ocsinitializations.ocs.openshift.io storageclusters.ocs.openshift.io cephclients.ceph.rook.io cephobjectrealms.ceph.rook.io cephobjectzonegroups.ceph.rook.io cephobjectzones.ceph.rook.io cephrbdmirrors.ceph.rook.io --wait=true --timeout=5m

13. 선택 사항: 자격 증명 모음 키가 영구적으로 삭제되도록 하려면 자격 증명 모음 키와 연결된 메타데이터를 수동으로 삭제해야 합니다.

    참고

    Vault 키가 삭제된 것으로 표시되고 OpenShift Container Storage 설치 중에 영구적으로 삭제되지 않기 때문에 Vault 키가 KMS(Key Management System)를 사용한 클러스터 전체 암호화에 사용되는 경우에만 이 단계를 실행합니다. 필요한 경우 나중에 언제든지 복원할 수 있습니다.

    1. 자격 증명 모음의 키를 나열합니다.

       $ vault kv list <backend_path>

       <backend_path>

       암호화 키가 저장된 자격 증명 모음의 경로입니다.

       예를 들면 다음과 같습니다.

       $ vault kv list kv-v2

       출력 예:

       Keys
       -----
       NOOBAA_ROOT_SECRET_PATH/
       rook-ceph-osd-encryption-key-ocs-deviceset-thin-0-data-0m27q8
       rook-ceph-osd-encryption-key-ocs-deviceset-thin-1-data-0sq227
       rook-ceph-osd-encryption-key-ocs-deviceset-thin-2-data-0xzszb

    2. 자격 증명 모음 키와 연결된 메타데이터를 나열합니다.

       $ vault kv get kv-v2/<key>

       MCG(Multicloud Object Gateway) 키의 경우 다음을 수행합니다.

       $ vault kv get kv-v2/NOOBAA_ROOT_SECRET_PATH/<key>

       <key>

       암호화 키입니다.

       예를 들면 다음과 같습니다.

       $ vault kv get kv-v2/rook-ceph-osd-encryption-key-ocs-deviceset-thin-0-data-0m27q8

       출력 예:

       ====== Metadata ======
       Key              Value
       ---              -----
       created_time     2021-06-23T10:06:30.650103555Z
       deletion_time    2021-06-23T11:46:35.045328495Z
       destroyed        false
       version          1

    3. 메타데이터를 삭제합니다.

       $ vault kv metadata delete kv-v2/<key>

       MCG 키의 경우:

       $ vault kv metadata delete kv-v2/NOOBAA_ROOT_SECRET_PATH/<key>

       <key>

       암호화 키입니다.

       예를 들면 다음과 같습니다.

       $ vault kv metadata delete kv-v2/rook-ceph-osd-encryption-key-ocs-deviceset-thin-0-data-0m27q8

       출력 예:

       Success! Data deleted (if it existed) at: kv-v2/metadata/rook-ceph-osd-encryption-key-ocs-deviceset-thin-0-data-0m27q8

    4. 이러한 단계를 반복하여 모든 자격 증명 모음 키와 연결된 메타데이터를 삭제합니다.

14. OpenShift Container Storage가 완전히 설치 제거되었는지 확인하려면 OpenShift Container Platform Web Console에서 다음을 수행합니다.

    1. Storage(스토리지)를 클릭합니다.
    2. Storage(스토리지)에 Overview (개요)가 더 이상 표시되지 않는지 확인합니다.