절차

1. OpenShift 웹 콘솔의 왼쪽 창에서 Operators → OperatorHub 를 클릭합니다.
2. 키워드로 필터링 텍스트 상자 또는 필터 목록을 사용하여 Operator 목록에서 OpenShift Container Storage를 검색합니다.
3. OpenShift Container Storage 를 클릭합니다.
4. OpenShift Container Storage Operator 페이지에서 설치를 클릭합니다.

5. Operator 설치 페이지에서 다음 옵션이 기본적으로 선택되어 있는지 확인합니다.

   1. Channel을 stable-4.6로 업데이트
   2. 클러스터의 특정 네임스페이스로 설치 모드
   3. 설치된 네임스페이스에서 Operator 권장 네임스페이스 openshift-storage를 선책합니다. 네임스페이스 openshift-storage 가 없으면 Operator 설치 중에 생성됩니다.
   4. 클러스터 모니터링에 필요하므로 이 네임스페이스에서 Operator 권장 클러스터 모니터링 활성화 확인란을 선택합니다.

   5. 승인 전략을 자동 또는 수동으로 선택합니다. 승인 전략은 기본적으로 자동으로 설정됩니다.

      • 승인 전략이 자동으로 적용됩니다.

        참고

        승인 전략을 자동으로 선택하면 새로 설치하는 동안 또는 최신 OpenShift Container Storage 버전으로 업데이트할 때 승인이 필요하지 않습니다.

        1. 설치를 클릭합니다.
        2. 설치가 시작될 때까지 기다립니다. 이 작업을 수행하는 데 최대 20분이 걸릴 수 있습니다.
        3. Operators → 설치된 Operators를 클릭합니다.
        4. 프로젝트 가 openshift-storage 인지 확인합니다. 기본적으로 프로젝트는 openshift-storage 입니다.
        5. OpenShift Container Storage 의 상태가 Succeeded 로 변경될 때까지 기다립니다.

      • 수동 승인 전략.

        참고

        승인 전략을 수동으로 선택하면 새로 설치하는 동안 또는 최신 버전의 OpenShift Container Storage로 업데이트할 때 승인이 필요합니다.

        1. 설치를 클릭합니다.

        2. 수동 승인 필수 페이지에서 네임스페이스 openshift-storage에서 Installed Operators를 승인 또는 View Installed Operators 를 클릭하여 Operator를 설치할 수 있습니다.

           중요

           옵션 중 하나를 클릭하기 전에 설치 계획이 창에 로드될 때까지 수동 승인 필요 페이지에서 몇 분 정도 기다립니다.

           중요

           승인 을 클릭하여 승인 하는 경우 계속하기 전에 설치 계획을 검토해야 합니다.

           • 승인을 클릭하면.

             • OpenShift Container Storage Operator가 설치될 때까지 몇 분 정도 기다립니다.
             • Installed operator - 사용할 준비가 된 페이지에서 View Operator 를 클릭합니다.
             • 프로젝트 가 openshift-storage 인지 확인합니다. 기본적으로 프로젝트는 openshift-storage 입니다.
             • Operators → 설치된 Operators를 클릭합니다.
             • OpenShift Container Storage 의 상태가 Succeeded 로 변경될 때까지 기다립니다.

           • 네임스페이스 openshift-storage에서 설치된 Operator 보기를 클릭하면.

             • 설치된 Operator 페이지에서 ocs-operator 를 클릭합니다.
             • Subscription Details 페이지에서 Install Plan 링크를 클릭합니다.
             • InstallPlan 세부 정보 페이지에서 설치 계획 프리뷰 를 클릭합니다.
             • 설치 계획을 검토하고 승인을 클릭합니다.
             • 구성 요소의 상태가 Unknown 에서 Created 또는 Present 로 변경될 때까지 기다립니다.
             • Operators → 설치된 Operators를 클릭합니다.
             • 프로젝트 가 openshift-storage 인지 확인합니다. 기본적으로 프로젝트는 openshift-storage 입니다.
             • OpenShift Container Storage 의 상태가 Succeeded 로 변경될 때까지 기다립니다.

절차

1. Operator → 설치된 Operator를 클릭하여 설치된 모든 Operator를 확인합니다.

   선택한 프로젝트가 openshift-storage 인지 확인합니다.

   그림 1.1. OpenShift Container Storage Operator 페이지

   

2. OpenShift Container Storage 를 클릭합니다.

   그림 1.2. OpenShift Container Storage의 세부 정보 탭

   

3. 스토리지 클러스터의 인스턴스 생성 링크를 클릭합니다.

   그림 1.3. 스토리지 클러스터 생성 페이지

   

4. 스토리지 클러스터 생성 페이지에서 다음 옵션이 선택되어 있는지 확인합니다.

   1. 모드 선택 섹션에서 내부 모드는 기본적으로 선택됩니다.
   2. 스토리지 클래스는 기본적으로 Microsoft Azure용 managed-premium 으로 설정됩니다.

   3. 드롭다운 목록에서 OpenShift Container Storage Service Capacity 를 선택합니다.

      참고

      초기 스토리지 용량을 선택하면 선택한 사용 가능한 용량(최소 스토리지의 3번)만 클러스터 확장이 수행됩니다.

   4. (선택 사항) Encryption 섹션에서 토글을 Enabled 로 설정하여 클러스터에서 데이터 암호화를 활성화합니다.

   5. 노드 섹션의 OpenShift Container Storage 서비스 사용에 대해 사용 가능한 목록에서 3개 이상의 작업자 노드를 선택합니다.

      여러 가용성 영역이 있는 클라우드 플랫폼의 경우 노드가 다른 위치/ 가용 영역에 분산되어 있는지 확인합니다.

      참고

      클러스터에서 특정 작업자 노드를 찾으려면 이름 또는 레이블을 기반으로 노드를 필터링할 수 있습니다.

      • name을 사용하면 노드의 이름으로 검색할 수 있습니다.
      • 라벨을 사용하면 사전 정의된 라벨을 선택하여 검색할 수 있습니다.

      선택한 노드가 집계된 30 개의 CPU 및 72GiB RAM의 OpenShift Container Storage 클러스터 요구 사항과 일치하지 않으면 최소 클러스터가 배포됩니다. 최소 노드 요구 사항은 계획 가이드의 리소스 요구 사항 섹션을 참조하십시오.

5. 생성을 클릭합니다.

   생성 버튼은 세 개의 노드를 선택한 후에만 활성화됩니다. 선택한 노드당 하나씩 3개의 스토리지 장치가 있는 새 스토리지 클러스터가 생성됩니다. 기본 구성에서는 3의 복제 인수를 사용합니다.

검증 단계

1. 설치된 스토리지 클러스터의 최종 상태가 단계로 표시되는지 확인합니다. 녹색 눈금 표시가 준비 되었는지 확인합니다.

   • Operator → 설치된 Operator → 스토리지 클러스터 링크를 클릭하여 스토리지 클러스터 설치 상태를 확인합니다.
   • 또는 Operator 세부 정보 탭에 있는 경우 Storage Cluster 탭을 클릭하여 상태를 볼 수 있습니다.
2. OpenShift Container Storage의 모든 구성 요소가 성공적으로 설치되었는지 확인하려면 OpenShift Container Storage 설치 확인을 참조하십시오.

절차

1. OpenShift 웹 콘솔의 왼쪽 창에서 워크로드 → 포드 를 클릭합니다.

2. 프로젝트 드롭다운 목록에서 openshift-storage 를 선택합니다.

   각 구성 요소에 대해 예상되는 Pod 수와 노드 수에 따라 달라지는 방법에 대한 자세한 내용은 표 2.1. “OpenShift Container Storage 클러스터에 해당하는 Pod” 을 참조하십시오.

3. Running 및 Completed 탭을 클릭하여 다음 Pod가 실행 중이고 완료된 상태인지 확인합니다.

   표 2.1. OpenShift Container Storage 클러스터에 해당하는 Pod

   구성 요소	해당 Pod
   OpenShift Container Storage Operator	OCS-operator-* (모든 작업자 노드에 1 Pod) ocs-metrics-exporter-*
   Rook-ceph Operator	rook-ceph-operator-* (모든 작업자 노드에 1 Pod)
   Multicloud Object Gateway	NooBaa-operator-* (모든 작업자 노드에 1 Pod) NooBaa-core-* (모든 스토리지 노드에 1 Pod) NooBaa-db-* (1 스토리지 노드의 Pod) NooBaa-endpoint-* (모든 스토리지 노드에 1 Pod)
   MON	rook-ceph-mon-* (스토리지 노드에 분산된 3 Pod)
   MGR	rook-ceph-mgr-* (모든 스토리지 노드에 1 Pod)
   MDS	rook-ceph-mds-ocs-storagecluster-cephfilesystem-* (스토리지 노드에 분산된 2 Pod)
   CSI	cephfs CSI-cephfsplugin-* (모든 작업자 노드에 1 Pod) CSI-cephfsplugin-provisioner-* (작업자 노드에 분산된 2 Pod) rbd CSI-rbdplugin-* (각 작업자 노드에서 1 Pod) CSI-rbdplugin-provisioner-* (2 작업자 노드에 분산된 2 Pod)
   rook-ceph-crashcollector	rook-ceph-crashcollector-* (각 스토리지 노드에서 1 pod)
   OSD	rook-ceph-osd-* (각 장치의 1 Pod) rook-ceph-osd-prepare-ocs-deviceset-* (각 장치의 1 Pod)

1. OpenShift Container Storage를 사용하는 볼륨 스냅샷을 삭제합니다.

   1. 모든 네임스페이스의 볼륨 스냅샷을 나열합니다.

      $ oc get volumesnapshot --all-namespaces

   2. 이전 명령의 출력에서 OpenShift Container Storage를 사용하는 볼륨 스냅샷을 식별하고 삭제합니다.

      $ oc delete volumesnapshot <VOLUME-SNAPSHOT-NAME> -n <NAMESPACE>

2. OpenShift Container Storage를 사용하는 PVC 및 OBC를 삭제합니다.

   기본 제거 모드(graceful)에서 제거 프로그램은 OpenShift Container Storage를 사용하는 모든 PVC 및 OBC가 삭제될 때까지 기다립니다.

   PVC를 미리 삭제하지 않고 Storage Cluster를 삭제하려면 제거 모드 주석을 "forced"로 설정하고 이 단계를 건너뛸 수 있습니다. 이렇게 하면 시스템의 PVC 및 OBC가 생성됩니다.

   1. OpenShift Container Storage를 사용하여 OpenShift Container Platform 모니터링 스택 PVC를 삭제합니다.

      보기 3.2절. “OpenShift Container Storage에서 모니터링 스택 제거”

   2. OpenShift Container Storage를 사용하여 OpenShift Container Platform 레지스트리 PVC를 삭제합니다.

      보기 3.3절. “OpenShift Container Storage에서 OpenShift Container Platform 레지스트리 제거”

   3. OpenShift Container Storage를 사용하여 OpenShift Container Platform 로깅 PVC를 삭제합니다.

      보기 3.4절. “OpenShift Container Storage에서 클러스터 로깅 Operator 제거”

   4. OpenShift Container Storage를 사용하여 프로비저닝된 다른 PVC 및 OBC를 삭제합니다.

      • 아래는 OpenShift Container Storage를 사용하여 프로비저닝된 PVC 및 OBC를 식별하는 샘플 스크립트입니다. 이 스크립트는 Openshift Container Storage에서 내부적으로 사용하는 PVC를 무시합니다.

        #!/bin/bash
        
        RBD_PROVISIONER="openshift-storage.rbd.csi.ceph.com"
        CEPHFS_PROVISIONER="openshift-storage.cephfs.csi.ceph.com"
        NOOBAA_PROVISIONER="openshift-storage.noobaa.io/obc"
        RGW_PROVISIONER="openshift-storage.ceph.rook.io/bucket"
        
        NOOBAA_DB_PVC="noobaa-db"
        NOOBAA_BACKINGSTORE_PVC="noobaa-default-backing-store-noobaa-pvc"
        
        # Find all the OCS StorageClasses
        OCS_STORAGECLASSES=$(oc get storageclasses | grep -e "$RBD_PROVISIONER" -e "$CEPHFS_PROVISIONER" -e "$NOOBAA_PROVISIONER" -e "$RGW_PROVISIONER" | awk '{print $1}')
        
        # List PVCs in each of the StorageClasses
        for SC in $OCS_STORAGECLASSES
        do
                echo "======================================================================"
                echo "$SC StorageClass PVCs and OBCs"
                echo "======================================================================"
                oc get pvc  --all-namespaces --no-headers 2>/dev/null | grep $SC | grep -v -e "$NOOBAA_DB_PVC" -e "$NOOBAA_BACKINGSTORE_PVC"
                oc get obc  --all-namespaces --no-headers 2>/dev/null | grep $SC
                echo
        done

        참고

        클라우드 플랫폼에 대해 RGW_PROVISIONER 를 생략합니다.

      • OBC를 삭제합니다.

        $ oc delete obc <obc name> -n <project name>

      • PVC를 삭제합니다.

        $ oc delete pvc <pvc name> -n <project-name>

        참고

        클러스터에서 생성된 사용자 정의 백업 저장소, 버킷 클래스 등을 제거했는지 확인합니다.

3. Storage Cluster 오브젝트를 삭제하고 관련 리소스가 제거될 때까지 기다립니다.

   $ oc delete -n openshift-storage storagecluster --all --wait=true

4. uninstall.ocs.openshift.io/cleanup-policy 가 delete(기본값)로 설정된 경우 정리 Pod가 있는지 확인하고 해당 상태가 Completed 인지 확인합니다.

   $ oc get pods -n openshift-storage | grep -i cleanup
   NAME                                READY   STATUS      RESTARTS   AGE
   cluster-cleanup-job-<xx>        	0/1     Completed   0          8m35s
   cluster-cleanup-job-<yy>     		0/1     Completed   0          8m35s
   cluster-cleanup-job-<zz>     		0/1     Completed   0          8m35s

5. /var/lib/rook 디렉터리가 이제 비어 있는지 확인합니다. 이 디렉터리는 uninstall.ocs.openshift.io/cleanup-policy 주석이 delete(기본값)로 설정된 경우에만 비어 있습니다.

   $ for i in $(oc get node -l cluster.ocs.openshift.io/openshift-storage= -o jsonpath='{ .items[*].metadata.name }'); do oc debug node/${i} -- chroot /host  ls -l /var/lib/rook; done

6. 설치 시 암호화가 활성화된 경우 모든 OpenShift Container Storage 노드의 OSD 장치에서 dm-crypt 관리 장치-mapper 매핑을 제거합니다.

   1. 스토리지 노드의 호스트에 디버그 Pod 및 chroot 를 생성합니다.

      $ oc debug node/<node name>
      $ chroot /host

   2. 장치 이름을 가져오고 OpenShift Container Storage 장치를 기록해 둡니다.

      $ dmsetup ls
      ocs-deviceset-0-data-0-57snx-block-dmcrypt (253:1)

   3. 매핑된 장치를 제거합니다.

      $ cryptsetup luksClose --debug --verbose ocs-deviceset-0-data-0-57snx-block-dmcrypt

      충분하지 않은 권한으로 인해 위 명령이 중단되는 경우 다음 명령을 실행합니다.

      • CTRL+Z 를 눌러 위의 명령을 종료합니다.

      • 정지된 cryptsetup 프로세스의 PID를 찾습니다.

        $ ps

        출력 예:

        PID     TTY    TIME     CMD
        778825   ?     00:00:00 cryptsetup

        종료할 PID 번호를 기록해 둡니다. 이 예에서 PID 는 778825 입니다.

      • kill 명령을 사용하여 프로세스를 종료합니다.

        $ kill -9 <PID>

      • 장치 이름이 제거되었는지 확인합니다.

        $ dmsetup ls

7. 네임스페이스를 삭제하고 삭제가 완료될 때까지 기다립니다. openshift-storage 가 활성 프로젝트인 경우 다른 프로젝트로 전환해야 합니다.

   예를 들면 다음과 같습니다.

   $ oc project default
   $ oc delete project openshift-storage --wait=true --timeout=5m

   다음 명령에서 NotFound 오류를 반환하는 경우 프로젝트가 삭제됩니다.

   $ oc get project openshift-storage

   참고

   OpenShift Container Storage를 설치 제거할 때 네임스페이스가 완전히 삭제되지 않고 상태가 종료 인 경우 Uninstall 중 나머지 리소스를 삭제하여 네임스페이스가 종료되지 않는 오브젝트를 식별하는 단계를 수행합니다.

8. 스토리지 노드의 레이블을 지정 해제합니다.

   $ oc label nodes  --all cluster.ocs.openshift.io/openshift-storage-
   $ oc label nodes  --all topology.rook.io/rack-

9. 노드가 테인트된 경우 OpenShift Container Storage 테인트를 제거합니다.

   $ oc adm taint nodes --all node.ocs.openshift.io/storage-

10. OpenShift Container Storage를 사용하여 프로비저닝된 모든 PV가 삭제되었는지 확인합니다. Released 상태에 PV가 남아 있으면 삭제합니다.

    $ oc get pv
    $ oc delete pv <pv name>

11. Multicloud Object Gateway 스토리지 클래스를 삭제합니다.

    $ oc delete storageclass openshift-storage.noobaa.io --wait=true --timeout=5m

12. CustomResourceDefinitions 를 제거합니다.

    $ oc delete crd backingstores.noobaa.io bucketclasses.noobaa.io cephblockpools.ceph.rook.io cephclusters.ceph.rook.io cephfilesystems.ceph.rook.io cephnfses.ceph.rook.io cephobjectstores.ceph.rook.io cephobjectstoreusers.ceph.rook.io noobaas.noobaa.io ocsinitializations.ocs.openshift.io storageclusters.ocs.openshift.io cephclients.ceph.rook.io cephobjectrealms.ceph.rook.io cephobjectzonegroups.ceph.rook.io cephobjectzones.ceph.rook.io cephrbdmirrors.ceph.rook.io --wait=true --timeout=5m

13. OpenShift Container Platform 웹 콘솔에서 OpenShift Container Storage를 완전히 제거하려면 다음을 수행합니다.

    1. 홈 → 개요 를 클릭하여 대시보드에 액세스합니다.
    2. 클러스터 탭 옆에 영구 스토리지 및 Object Service 탭이 더 이상 표시되지 않는지 확인합니다.

절차

1. openshift-monitoring 네임스페이스에서 현재 실행 중인 Pod 및 PVC를 나열합니다.

   $ oc get pod,pvc -n openshift-monitoring
   NAME                           READY   STATUS    RESTARTS   AGE
   pod/alertmanager-main-0         3/3     Running   0          8d
   pod/alertmanager-main-1         3/3     Running   0          8d
   pod/alertmanager-main-2         3/3     Running   0          8d
   pod/cluster-monitoring-
   operator-84457656d-pkrxm        1/1     Running   0          8d
   pod/grafana-79ccf6689f-2ll28    2/2     Running   0          8d
   pod/kube-state-metrics-
   7d86fb966-rvd9w                 3/3     Running   0          8d
   pod/node-exporter-25894         2/2     Running   0          8d
   pod/node-exporter-4dsd7         2/2     Running   0          8d
   pod/node-exporter-6p4zc         2/2     Running   0          8d
   pod/node-exporter-jbjvg         2/2     Running   0          8d
   pod/node-exporter-jj4t5         2/2     Running   0          6d18h
   pod/node-exporter-k856s         2/2     Running   0          6d18h
   pod/node-exporter-rf8gn         2/2     Running   0          8d
   pod/node-exporter-rmb5m         2/2     Running   0          6d18h
   pod/node-exporter-zj7kx         2/2     Running   0          8d
   pod/openshift-state-metrics-
   59dbd4f654-4clng                3/3     Running   0          8d
   pod/prometheus-adapter-
   5df5865596-k8dzn                1/1     Running   0          7d23h
   pod/prometheus-adapter-
   5df5865596-n2gj9                1/1     Running   0          7d23h
   pod/prometheus-k8s-0            6/6     Running   1          8d
   pod/prometheus-k8s-1            6/6     Running   1          8d
   pod/prometheus-operator-
   55cfb858c9-c4zd9                1/1     Running   0          6d21h
   pod/telemeter-client-
   78fc8fc97d-2rgfp                3/3     Running   0          8d
   
   NAME                                                              STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS                  AGE
   persistentvolumeclaim/my-alertmanager-claim-alertmanager-main-0   Bound    pvc-0d519c4f-15a5-11ea-baa0-026d231574aa   40Gi       RWO            ocs-storagecluster-ceph-rbd   8d
   persistentvolumeclaim/my-alertmanager-claim-alertmanager-main-1   Bound    pvc-0d5a9825-15a5-11ea-baa0-026d231574aa   40Gi       RWO            ocs-storagecluster-ceph-rbd   8d
   persistentvolumeclaim/my-alertmanager-claim-alertmanager-main-2   Bound    pvc-0d6413dc-15a5-11ea-baa0-026d231574aa   40Gi       RWO            ocs-storagecluster-ceph-rbd   8d
   persistentvolumeclaim/my-prometheus-claim-prometheus-k8s-0        Bound    pvc-0b7c19b0-15a5-11ea-baa0-026d231574aa   40Gi       RWO            ocs-storagecluster-ceph-rbd   8d
   persistentvolumeclaim/my-prometheus-claim-prometheus-k8s-1        Bound    pvc-0b8aed3f-15a5-11ea-baa0-026d231574aa   40Gi       RWO            ocs-storagecluster-ceph-rbd   8d

2. 모니터링 구성 맵을 편집합니다.

   $ oc -n openshift-monitoring edit configmap cluster-monitoring-config

3. 다음 예와 같이 OpenShift Container Storage 스토리지 클래스를 참조하는 구성 섹션을 제거하고 저장합니다.

   편집 전

   . . . apiVersion: v1 data: config.yaml: | alertmanagerMain: volumeClaimTemplate: metadata: name: my-alertmanager-claim spec: resources: requests: storage: 40Gi storageClassName: ocs-storagecluster-ceph-rbd prometheusK8s: volumeClaimTemplate: metadata: name: my-prometheus-claim spec: resources: requests: storage: 40Gi storageClassName: ocs-storagecluster-ceph-rbd kind: ConfigMap metadata: creationTimestamp: "2019-12-02T07:47:29Z" name: cluster-monitoring-config namespace: openshift-monitoring resourceVersion: "22110" selfLink: /api/v1/namespaces/openshift-monitoring/configmaps/cluster-monitoring-config uid: fd6d988b-14d7-11ea-84ff-066035b9efa8 . . .

   편집 후

   . . . apiVersion: v1 data: config.yaml: | kind: ConfigMap metadata: creationTimestamp: "2019-11-21T13:07:05Z" name: cluster-monitoring-config namespace: openshift-monitoring resourceVersion: "404352" selfLink: /api/v1/namespaces/openshift-monitoring/configmaps/cluster-monitoring-config uid: d12c796a-0c5f-11ea-9832-063cd735b81c . . .

   이 예에서는 alertmanagerMain 및 prometheusK8s 모니터링 구성 요소가 OpenShift Container Storage PVC를 사용하고 있습니다.

4. 관련 PVC를 삭제합니다. 스토리지 클래스를 사용하는 모든 PVC를 삭제해야 합니다.

   $ oc delete -n openshift-monitoring pvc <pvc-name> --wait=true --timeout=5m

절차

1. configs.imageregistry.operator.openshift.io 오브젝트를 편집하고 storage 섹션에서 콘텐츠를 제거합니다.

   $ oc edit configs.imageregistry.operator.openshift.io

   편집 전

   . . . storage: pvc: claim: registry-cephfs-rwx-pvc . . .

   편집 후

   . . . storage: . . .

   이 예에서 PVC는 이제 삭제할 수 있는 registry-cephfs-rwx-pvc 라고 합니다.

2. PVC를 삭제합니다.

   $ oc delete pvc <pvc-name> -n openshift-image-registry --wait=true --timeout=5m

절차

1. 네임스페이스에서 ClusterLogging 인스턴스를 제거합니다.

   $ oc delete clusterlogging instance -n openshift-logging --wait=true --timeout=5m

   openshift-logging 네임스페이스의 PVC는 이제 삭제할 수 있습니다.

2. PVC를 삭제합니다.

   $ oc delete pvc <pvc-name> -n openshift-logging --wait=true --timeout=5m