절차

1. openshift-storage 네임스페이스에 대해 빈 노드 선택기를 지정합니다.

   $ oc annotate namespace openshift-storage openshift.io/node-selector=

2. DaemonSets에서 생성한 원래 Pod를 삭제합니다.

   oc delete pod -l app=csi-cephfsplugin -n openshift-storage
   oc delete pod -l app=csi-rbdplugin -n openshift-storage

절차

1. OpenShift Container Platform 웹 콘솔에 로그인합니다.
2. 워크로드 → 시크릿 을 클릭합니다.

3. 클러스터 광 암호화에 사용되는 ocs-kms-token 을 업데이트하려면 다음을 수행합니다.

   1. 프로젝트를 openshift-storage 로 설정합니다.
   2. ocs-kms-token → 작업 → 시크릿 편집 을 클릭합니다.
   3. Value 필드에서 암호화 토큰 파일을 끌어다 놓거나 업로드합니다. 토큰은 복사 및 붙여넣을 수 있는 파일 또는 텍스트일 수 있습니다.
   4. 저장을 클릭합니다.

4. 지정된 프로젝트 또는 네임스페이스의 ceph-csi-kms-token 을 암호화된 영구 볼륨으로 업데이트하려면 다음을 수행합니다.

   1. 필요한 프로젝트를 선택합니다.
   2. ceph-csi-kms-token → Actions → Edit Secret 을 클릭합니다.
   3. Value 필드에서 암호화 토큰 파일을 끌어다 놓거나 업로드합니다. 토큰은 복사 및 붙여넣을 수 있는 파일 또는 텍스트일 수 있습니다.

   4. 저장을 클릭합니다.

      참고

      ceph-csi-kms-token 을 사용하여 암호화된 모든 PVC가 삭제된 경우에만 토큰을 삭제할 수 있습니다.

1. 다음 명령을 사용하여 OpenShift Data Foundation 클러스터의 PVC와 연결된 스토리지 클래스를 확인합니다.

   $ oc get pvc -n openshift-storage

2. 출력을 확인합니다. Local Storage Operator가 있는 클러스터의 경우 ocs-deviceset 와 연결된 PVC는 스토리지 클래스 로컬 블록을 사용합니다. 출력은 다음과 유사합니다.

   NAME                      STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS                  AGE
   db-noobaa-db-0            Bound    pvc-d96c747b-2ab5-47e2-b07e-1079623748d8   50Gi       RWO            ocs-storagecluster-ceph-rbd   114s
   ocs-deviceset-0-0-lzfrd   Bound    local-pv-7e70c77c                          1769Gi     RWO            localblock                    2m10s
   ocs-deviceset-1-0-7rggl   Bound    local-pv-b19b3d48                          1769Gi     RWO            localblock                    2m10s
   ocs-deviceset-2-0-znhk8   Bound    local-pv-e9f22cdc                          1769Gi     RWO            localblock                    2m10s

1. Ceph 상태를 확인합니다.

   자세한 내용은 Ceph 클러스터의 정상 확인에서 참조하십시오.

2. OSD의 프로비저닝에 따라 실패하거나 원하지 않는 Ceph OSD를 제거합니다.

   다음 내용을 참조하십시오.

   • 동적으로 프로비저닝된 Red Hat OpenShift Data Foundation에서 실패하거나 원하지 않는 Ceph OSD 제거.
   • 로컬 스토리지 장치를 사용하여 프로비저닝된 Ceph OSD를 제거하지 못했습니다.

1. 삭제 시 openshift-storage 네임스페이스가 Terminating 상태로 설정되어 있는지 확인합니다.

   $ oc get project -n <namespace>

   출력:

   NAME                DISPLAY NAME   STATUS
   openshift-storage                  Terminating

2. 명령 출력의 STATUS 섹션에서 NamespaceFinalizersRemaining 및 NamespaceContentRemaining 메시지가 있는지 확인하고 나열된 각 리소스에 대해 다음 단계를 수행합니다.

   $ oc get project openshift-storage -o yaml

   출력 예:

   status:
     conditions:
     - lastTransitionTime: "2020-07-26T12:32:56Z"
       message: All resources successfully discovered
       reason: ResourcesDiscovered
       status: "False"
       type: NamespaceDeletionDiscoveryFailure
     - lastTransitionTime: "2020-07-26T12:32:56Z"
       message: All legacy kube types successfully parsed
       reason: ParsedGroupVersions
       status: "False"
       type: NamespaceDeletionGroupVersionParsingFailure
     - lastTransitionTime: "2020-07-26T12:32:56Z"
       message: All content successfully deleted, may be waiting on finalization
       reason: ContentDeleted
       status: "False"
       type: NamespaceDeletionContentFailure
     - lastTransitionTime: "2020-07-26T12:32:56Z"
       message: 'Some resources are remaining: cephobjectstoreusers.ceph.rook.io has
         1 resource instances'
       reason: SomeResourcesRemain
       status: "True"
       type: NamespaceContentRemaining
     - lastTransitionTime: "2020-07-26T12:32:56Z"
       message: 'Some content in the namespace has finalizers remaining: cephobjectstoreuser.ceph.rook.io
         in 1 resource instances'
       reason: SomeFinalizersRemain
       status: "True"
       type: NamespaceFinalizersRemaining

3. 이전 단계에서 나열된 나머지 리소스를 모두 삭제합니다.

   각 리소스를 삭제하려면 다음을 수행합니다.

   1. 제거해야 하는 리소스의 오브젝트 종류를 가져옵니다. 위 출력에서 메시지를 참조하십시오.

      예:

      메시지: 네임스페이스의 일부 콘텐츠에 남아 있는 cephobjectstoreuser.ceph.rook.io

      여기서 cephobjectstoreuser.ceph.rook.io 는 오브젝트 종류입니다.

   2. 오브젝트 종류에 해당하는 오브젝트 이름을 가져옵니다.

      $ oc get  <Object-kind> -n  <project-name>

      예:

      $ oc get cephobjectstoreusers.ceph.rook.io -n openshift-storage

      출력 예:

      NAME                           AGE
      noobaa-ceph-objectstore-user   26h

   3. 리소스를 패치합니다.

      $ oc patch -n <project-name> <object-kind>/<object-name> --type=merge -p '{"metadata": {"finalizers":null}}'

      예제:

      $ oc patch -n openshift-storage cephobjectstoreusers.ceph.rook.io/noobaa-ceph-objectstore-user \
      --type=merge -p '{"metadata": {"finalizers":null}}'

      출력:

      cephobjectstoreuser.ceph.rook.io/noobaa-ceph-objectstore-user patched

4. openshift-storage 프로젝트가 삭제되었는지 확인합니다.

   $ oc get project openshift-storage

   출력:

   Error from server (NotFound): namespaces "openshift-storage" not found

   문제가 지속되면 Red Hat 지원에 문의하십시오.

1. CephFS pvc가 Pending 상태인지 확인합니다.

   # oc get pvc -n <namespace>

   출력 예:

   NAME                      STATUS    VOLUME
   CAPACITY  ACCESS MODES    STORAGECLASS                        AGE
   ngx-fs-pxknkcix20-pod     Pending
                             ocs-external-storagecluster-cephfs  28h
   [...]

2. describe 출력을 확인하여 각 pvc에 대한 이벤트를 확인합니다.

   예상되는 오류 메시지는 cephfs_metadata/csi.volumes.default/csi.volume.volume.pvc-xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxx: (1) Operation not permitted)입니다.

   # oc describe pvc ngx-fs-pxknkcix20-pod -n nginx-file

   출력 예:

   Name:          ngx-fs-pxknkcix20-pod
   Namespace:     nginx-file
   StorageClass:  ocs-external-storagecluster-cephfs
   Status:        Pending
   Volume:
   Labels:        <none>
   Annotations:   volume.beta.kubernetes.io/storage-provisioner: openshift-storage.cephfs.csi.ceph.com
   Finalizers:    [kubernetes.io/pvc-protection]
   Capacity:
   Access Modes:
   VolumeMode:    Filesystem
   Mounted By:    ngx-fs-oyoe047v2bn2ka42jfgg-pod-hqhzf
   Events:
    Type     Reason              Age                   From                                                                                                                      Message
    ----     ------              ----                  ----                                                                                                                      -------
    Warning  ProvisioningFailed  107m (x245 over 22h)  openshift-storage.cephfs.csi.ceph.com_csi-cephfsplugin-provisioner-5f8b66cc96-hvcqp_6b7044af-c904-4795-9ce5-bf0cf63cc4a4
    (combined from similar events): failed to provision volume with StorageClass "ocs-external-storagecluster-cephfs": rpc error: code = Internal desc = error (an error (exit status 1) occurred while
    running rados args: [-m 192.168.13.212:6789,192.168.13.211:6789,192.168.13.213:6789 --id csi-cephfs-provisioner --keyfile=stripped -c /etc/ceph/ceph.conf -p cephfs_metadata getomapval
    csi.volumes.default csi.volume.pvc-1ac0c6e6-9428-445d-bbd6-1284d54ddb47 /tmp/omap-get-186436239 --namespace=csi]) occurred, command output streams is ( error getting omap value
    cephfs_metadata/csi.volumes.default/csi.volume.pvc-1ac0c6e6-9428-445d-bbd6-1284d54ddb47: (1) Operation not permitted)

3. < cephfs 메타데이터 풀 이름 >(여기서 cephfs_metadata ) 및 < cephfs 데이터 풀 이름 >(여기서 cephfs_data)의 설정을 확인합니다. 명령을 실행하려면 Red Hat Ceph Storage 클라이언트 노드에 jq 를 사전 설치해야 합니다.

   # ceph osd pool ls detail --format=json | jq '.[] | select(.pool_name| startswith("cephfs")) | .pool_name, .application_metadata' "cephfs_data"
   {
     "cephfs": {}
   }
   "cephfs_metadata"
   {
      "cephfs": {}
   }

4. CephFS 풀의 애플리케이션 유형을 설정합니다.

   • Red Hat Ceph Storage 클라이언트 노드에서 다음 명령을 실행합니다.

     # ceph osd pool application set <cephfs metadata pool name> cephfs metadata cephfs

     # ceph osd pool application set <cephfs data pool name> cephfs data cephfs

5. 설정이 적용되었는지 확인합니다.

    # ceph osd pool ls detail --format=json | jq '.[] | select(.pool_name| startswith("cephfs")) | .pool_name, .application_metadata' "cephfs_data"
     {
       "cephfs": {
         "data": "cephfs"
      }
     }
     "cephfs_metadata"
     {
       "cephfs": {
         "metadata": "cephfs"
       }
     }

6. CephFS PVC 상태를 다시 확인합니다. 이제 PVC가 Bound 상태여야 합니다.

   # oc get pvc -n <namespace>

   출력 예:

   NAME                      STATUS    VOLUME
   CAPACITY  ACCESS MODES    STORAGECLASS                        AGE
   ngx-fs-pxknkcix20-pod     Bound     pvc-1ac0c6e6-9428-445d-bbd6-1284d54ddb47
   1Mi       RWO             ocs-external-storagecluster-cephfs  29h
   [...]

절차

1. rook-ceph-operator 및 ocs operator 배포를 축소합니다.

   # oc scale deployment rook-ceph-operator --replicas=0 -n openshift-storage

   # oc scale deployment ocs-operator --replicas=0 -n openshift-storage

2. openshift-storage 네임스페이스의 모든 배포 백업을 생성합니다.

   # mkdir backup

   # cd backup

   # oc project openshift-storage

   # for d in $(oc get deployment|awk -F' ' '{print $1}'|grep -v NAME); do echo $d;oc get deployment $d -o yaml > oc_get_deployment.${d}.yaml; done

3. OSD 배포를 패치하여 livenessProbe 매개변수를 제거하고 sleep 명령으로 명령 매개 변수를 사용하여 실행합니다.

   # for i in $(oc get deployment -l app=rook-ceph-osd -oname);do oc patch ${i} -n openshift-storage --type='json' -p '[{"op":"remove", "path":"/spec/template/spec/containers/0/livenessProbe"}]' ; oc patch ${i} -n openshift-storage -p '{"spec": {"template": {"spec": {"containers": [{"name": "osd", "command": ["sleep", "infinity"], "args": []}]}}}}' ; done

4. 모든 OSD에서 monstore 클러스터 맵을 검색합니다.

   1. recover_mon.sh 스크립트를 생성합니다.

      #!/bin/bash
      ms=/tmp/monstore
      
      rm -rf $ms
      mkdir $ms
      
      for osd_pod in $(oc get po -l app=rook-ceph-osd -oname -n openshift-storage); do
      
        echo "Starting with pod: $osd_pod"
      
        podname=$(echo $osd_pod|sed 's/pod\///g')
        oc exec $osd_pod -- rm -rf $ms
        oc cp $ms $podname:$ms
      
        rm -rf $ms
        mkdir $ms
      
        echo "pod in loop: $osd_pod ; done deleting local dirs"
      
        oc exec $osd_pod -- ceph-objectstore-tool --type bluestore --data-path /var/lib/ceph/osd/ceph-$(oc get $osd_pod -ojsonpath='{ .metadata.labels.ceph_daemon_id }') --op update-mon-db --no-mon-config --mon-store-path $ms
        echo "Done with COT on pod: $osd_pod"
      
        oc cp $podname:$ms $ms
      
        echo "Finished pulling COT data from pod: $osd_pod"
      done

   2. recover_mon.sh 스크립트를 실행합니다.

      # chmod +x recover_mon.sh

      # ./recover_mon.sh

5. MON 배포를 패치하고 sleep 매개 변수를 사용하여 실행합니다.

   1. MON 배포를 편집합니다.

      # for i in $(oc get deployment -l app=rook-ceph-mon -oname);do oc patch ${i} -n openshift-storage -p '{"spec": {"template": {"spec": {"containers": [{"name": "mon", "command": ["sleep", "infinity"], "args": []}]}}}}'; done

   2. MON 배포를 패치하여 initialDelaySeconds 를 늘립니다.

      # oc get deployment rook-ceph-mon-a -o yaml | sed "s/initialDelaySeconds: 10/initialDelaySeconds: 2000/g" | oc replace -f -

      # oc get deployment rook-ceph-mon-b -o yaml | sed "s/initialDelaySeconds: 10/initialDelaySeconds: 2000/g" | oc replace -f -

      # oc get deployment rook-ceph-mon-c -o yaml | sed "s/initialDelaySeconds: 10/initialDelaySeconds: 2000/g" | oc replace -f -

6. 이전에 검색한 monstore 를 mon-a 포드에 복사합니다.

   # oc cp /tmp/monstore/ $(oc get po -l app=rook-ceph-mon,mon=a -oname |sed 's/pod\///g'):/tmp/

7. MON 포드로 이동하여 검색된 수도원의 소유권을 변경합니다.

   # oc rsh $(oc get po -l app=rook-ceph-mon,mon=a -oname)

   # chown -R ceph:ceph /tmp/monstore

8. mon db 를 다시 빌드하기 전에 키링 템플릿 파일을 복사합니다.

   # oc rsh $(oc get po -l app=rook-ceph-mon,mon=a -oname)

   # cp /etc/ceph/keyring-store/keyring /tmp/keyring

   # cat /tmp/keyring
     [mon.]
       key = AQCleqldWqm5IhAAgZQbEzoShkZV42RiQVffnA==
       caps mon = "allow *"
     [client.admin]
       key = AQCmAKld8J05KxAArOWeRAw63gAwwZO5o75ZNQ==
       auid = 0
       caps mds = "allow *"
       caps mgr = "allow *"
       caps mon = "allow *"
       caps osd = "allow *”

9. 해당 보안에서 기타 모든 Ceph 데몬(MGR, MDS, RGW, Crash, CSI 및 CSI 프로비저너)의 인증 키를 식별합니다.

   # oc get secret rook-ceph-mds-ocs-storagecluster-cephfilesystem-a-keyring -ojson  | jq .data.keyring | xargs echo | base64 -d
   
   [mds.ocs-storagecluster-cephfilesystem-a]
   key = AQB3r8VgAtr6OhAAVhhXpNKqRTuEVdRoxG4uRA==
   caps mon = "allow profile mds"
   caps osd = "allow *"
   caps mds = "allow"

   키링 파일 /etc/ceph/ceph.client.admin.keyring 예:

   [mon.]
   	key = AQDxTF1hNgLTNxAAi51cCojs01b4I5E6v2H8Uw==
   	caps mon = "allow "
   [client.admin]
           key = AQDxTF1hpzguOxAA0sS8nN4udoO35OEbt3bqMQ==
           caps mds = "allow " caps mgr = "allow *" caps mon = "allow *" caps osd = "allow *" [mds.ocs-storagecluster-cephfilesystem-a] key = AQCKTV1horgjARAA8aF/BDh/4+eG4RCNBCl+aw== caps mds = "allow" caps mon = "allow profile mds" caps osd = "allow *" [mds.ocs-storagecluster-cephfilesystem-b] key = AQCKTV1hN4gKLBAA5emIVq3ncV7AMEM1c1RmGA== caps mds = "allow" caps mon = "allow profile mds" caps osd = "allow *" [client.rgw.ocs.storagecluster.cephobjectstore.a] key = AQCOkdBixmpiAxAA4X7zjn6SGTI9c1MBflszYA== caps mon = "allow rw" caps osd = "allow rwx" [mgr.a] key = AQBOTV1hGYOEORAA87471+eIZLZtptfkcHvTRg== caps mds = "allow *" caps mon = "allow profile mgr" caps osd = "allow *" [client.crash] key = AQBOTV1htO1aGRAAe2MPYcGdiAT+Oo4CNPSF1g== caps mgr = "allow rw" caps mon = "allow profile crash" [client.csi-cephfs-node] key = AQBOTV1hiAtuBBAAaPPBVgh1AqZJlDeHWdoFLw== caps mds = "allow rw" caps mgr = "allow rw" caps mon = "allow r" caps osd = "allow rw tag cephfs *=" [client.csi-cephfs-provisioner] key = AQBNTV1hHu6wMBAAzNXZv36aZJuE1iz7S7GfeQ== caps mgr = "allow rw" caps mon = "allow r" caps osd = "allow rw tag cephfs metadata="
   [client.csi-rbd-node]
   	key = AQBNTV1h+LnkIRAAWnpIN9bUAmSHOvJ0EJXHRw==
   	caps mgr = "allow rw"
   	caps mon = "profile rbd"
   	caps osd = "profile rbd"
   [client.csi-rbd-provisioner]
   	key = AQBNTV1hMNcsExAAvA3gHB2qaY33LOdWCvHG/A==
   	caps mgr = "allow rw"
   	caps mon = "profile rbd"
   	caps osd = "profile rbd"

   중요

   • client.csi 관련 키링은 해당 OpenShift Data Foundation 시크릿에서 키를 가져온 후 이전 키링 파일 출력을 참조하여 기본 한도 를 추가합니다.
   • OSD 인증 키는 자동으로 복구 후 추가됩니다.

10. mon-a 포드로 이동하여 monstore 에 monmap 이 있는지 확인합니다.

    1. mon-a 포드로 이동합니다.

       # oc rsh $(oc get po -l app=rook-ceph-mon,mon=a -oname)

    2. monstore 에 monmap 이 있는지 확인합니다.

       # ceph-monstore-tool /tmp/monstore get monmap -- --out /tmp/monmap

       # monmaptool /tmp/monmap --print

11. 선택 사항: monmap 이 없는 경우 새 monmap 을 만듭니다.

    # monmaptool --create --add <mon-a-id> <mon-a-ip> --add <mon-b-id> <mon-b-ip> --add <mon-c-id> <mon-c-ip> --enable-all-features --clobber /root/monmap --fsid <fsid>

    <mon-a-id>

    는 mon-a 포드의 ID입니다.

    <mon-a-ip>

    는 mon-a 포드의 IP 주소입니다.

    <mon-b-id>

    는 mon-b 포드의 ID입니다.

    <mon-b-ip>

    는 mon-b 포드의 IP 주소입니다.

    <mon-c-id>

    는 mon-c 포드의 ID입니다.

    <mon-c-ip>

    는 mon-c 포드의 IP 주소입니다.

    <fsid>

    는 파일 시스템 ID입니다.

12. monmap 을 확인합니다.

    # monmaptool /root/monmap --print

13. monmap 을 가져옵니다.

    중요

    이전에 생성된 인증 키 파일을 사용합니다.

    # ceph-monstore-tool /tmp/monstore rebuild -- --keyring /tmp/keyring --monmap /root/monmap

    # chown -R ceph:ceph /tmp/monstore

14. 이전 store.db 파일의 백업을 생성합니다.

    # mv /var/lib/ceph/mon/ceph-a/store.db /var/lib/ceph/mon/ceph-a/store.db.corrupted

    # mv /var/lib/ceph/mon/ceph-b/store.db /var/lib/ceph/mon/ceph-b/store.db.corrupted

    # mv /var/lib/ceph/mon/ceph-c/store.db /var/lib/ceph/mon/ceph-c/store.db.corrupted

15. 다시 빌드 store.db 파일을 monstore 디렉터리에 복사합니다.

    # mv /tmp/monstore/store.db /var/lib/ceph/mon/ceph-a/store.db

    # chown -R ceph:ceph /var/lib/ceph/mon/ceph-a/store.db

16. monstore 디렉터리를 다시 작성한 후 store.db 파일을 local에서 나머지 MON Pod로 복사합니다.

    # oc cp $(oc get po -l app=rook-ceph-mon,mon=a -oname | sed 's/pod\///g'):/var/lib/ceph/mon/ceph-a/store.db /tmp/store.db

    # oc cp /tmp/store.db $(oc get po -l app=rook-ceph-mon,mon=<id> -oname | sed 's/pod\///g'):/var/lib/ceph/mon/ceph-<id>

    <id>

    MON Pod의 ID입니다.

17. 나머지 MON 포드로 이동하여 복사한 수도원의 소유권을 변경합니다.

    # oc rsh $(oc get po -l app=rook-ceph-mon,mon=<id> -oname)

    # chown -R ceph:ceph /var/lib/ceph/mon/ceph-<id>/store.db

    <id>

    MON Pod의 ID입니다.

18. 패치된 변경 사항을 되돌립니다.

    • MON 배포의 경우:

      # oc replace --force -f <mon-deployment.yaml>

      <mon-deployment.yaml>

      MON 배포 yaml 파일입니다.

    • OSD 배포의 경우:

      # oc replace --force -f <osd-deployment.yaml>

      <osd-deployment.yaml>

      OSD 배포 yaml 파일입니다.

    • MGR 배포의 경우:

      # oc replace --force -f <mgr-deployment.yaml>

      <mgr-deployment.yaml>

      MGR 배포 yaml 파일입니다.

      중요

      MON, MGR, OSD Pod가 실행 중인지 확인합니다.

19. rook-ceph-operator 및 ocs-operator 배포를 확장합니다.

    # oc -n openshift-storage scale deployment ocs-operator --replicas=1

검증 단계

1. Ceph 상태를 확인하여 CephFS가 실행 중인지 확인합니다.

   # ceph -s

   출력 예:

   cluster:
      id:     f111402f-84d1-4e06-9fdb-c27607676e55
      health: HEALTH_ERR
               1 filesystem is offline
               1 filesystem is online with fewer MDS than max_mds
               3 daemons have recently crashed
   
      services:
        mon: 3 daemons, quorum b,c,a (age 15m)
        mgr: a(active, since 14m)
        mds: ocs-storagecluster-cephfilesystem:0
        osd: 3 osds: 3 up (since 15m), 3 in (since 2h)
   
      data:
        pools:   3 pools, 96 pgs
        objects: 500 objects, 1.1 GiB
        usage:   5.5 GiB used, 295 GiB / 300 GiB avail
        pgs:     96 active+clean

2. MCG(Multicloud Object Gateway) 상태를 확인합니다. 이는 활성 상태여야 하며 backingstore 및 bucketclass는 Ready 상태여야 합니다.

   noobaa status -n openshift-storage

   중요

   MCG가 활성 상태가 아니며 backingstore 및 bucketclass가 Ready 상태가 아닌 경우 모든 MCG 관련 Pod를 다시 시작해야 합니다. 자세한 내용은 11.1절. “Multicloud Object Gateway 복원”의 내용을 참조하십시오.

절차

1. monmap 을 수정할 때 mons 가 실패하지 않도록 rook-ceph-operator 를 중지합니다.

   # oc -n openshift-storage scale deployment rook-ceph-operator --replicas=0

2. 새 monmap 을 삽입합니다.

   주의

   monmap 을 매우 신중하게 삽입해야 합니다. 잘못 실행하면 클러스터를 영구적으로 삭제할 수 있습니다. Ceph monmap 은 mon 쿼럼을 추적합니다. monmap 은 정상 mon만 포함하도록 업데이트되었습니다. 이 예에서 정상 mon은 rook-ceph-mon-b 입니다. 비정상적인 mons 는 rook-ceph-mon-a 및 rook-ceph-mon-c 입니다.

   1. 현재 rook-ceph-mon-b 배포의 백업을 수행합니다.

      # oc -n openshift-storage get deployment rook-ceph-mon-b -o yaml > rook-ceph-mon-b-deployment.yaml

   2. YAML 파일을 열고 mon 컨테이너에서 명령 및 인수를 복사합니다(다음 예제의 컨테이너 목록 참조). 이는 monmap 변경에 필요합니다.

      [...]
        containers:
        - args:
          - --fsid=41a537f2-f282-428e-989f-a9e07be32e47
          - --keyring=/etc/ceph/keyring-store/keyring
          - --log-to-stderr=true
          - --err-to-stderr=true
          - --mon-cluster-log-to-stderr=true
          - '--log-stderr-prefix=debug '
          - --default-log-to-file=false
          - --default-mon-cluster-log-to-file=false
          - --mon-host=$(ROOK_CEPH_MON_HOST)
          - --mon-initial-members=$(ROOK_CEPH_MON_INITIAL_MEMBERS)
          - --id=b
          - --setuser=ceph
          - --setgroup=ceph
          - --foreground
          - --public-addr=10.100.13.242
          - --setuser-match-path=/var/lib/ceph/mon/ceph-b/store.db
          - --public-bind-addr=$(ROOK_POD_IP)
          command:
          - ceph-mon
      [...]

   3. 복사한 명령 및 args 필드를 정리하여 다음과 같이 붙여넣은 명령을 형성합니다.

      # ceph-mon \
          --fsid=41a537f2-f282-428e-989f-a9e07be32e47 \
          --keyring=/etc/ceph/keyring-store/keyring \
          --log-to-stderr=true \
          --err-to-stderr=true \
          --mon-cluster-log-to-stderr=true \
          --log-stderr-prefix=debug \
          --default-log-to-file=false \
          --default-mon-cluster-log-to-file=false \
          --mon-host=$ROOK_CEPH_MON_HOST \
          --mon-initial-members=$ROOK_CEPH_MON_INITIAL_MEMBERS \
          --id=b \
          --setuser=ceph \
          --setgroup=ceph \
          --foreground \
          --public-addr=10.100.13.242 \
          --setuser-match-path=/var/lib/ceph/mon/ceph-b/store.db \
          --public-bind-addr=$ROOK_POD_IP

      참고

      ROOK_CEPH_MON_HOST 변수, ROOK_CEPH_MON_MON_MON_MON_MON_MON_INITIAL_MEMBERS 및 ROOK_POD_IP 관련 단일 따옴표를 제거해야 합니다.

   4. rook-ceph- mon -b 배포를 패치하여 mon Pod를 삭제하지 않고 이 mon 의 작동을 중지합니다.

      # oc -n openshift-storage patch deployment rook-ceph-mon-b  --type='json' -p '[{"op":"remove", "path":"/spec/template/spec/containers/0/livenessProbe"}]'
      
      # oc -n openshift-storage patch deployment rook-ceph-mon-b -p '{"spec": {"template": {"spec": {"containers": [{"name": "mon", "command": ["sleep", "infinity"], "args": []}]}}}}'

   5. mon-b 포드에서 다음 단계를 수행합니다.

      1. 정상 mon Pod에 연결하고 다음 명령을 실행합니다.

         # oc -n openshift-storage exec -it <mon-pod> bash

      2. 변수를 설정합니다.

         # monmap_path=/tmp/monmap

      3. 좋은 mon 배포에서 ceph mon 명령을 붙여넣고 --extract- monmap =${monmap_path} 플래그를 추가하여 monmap 을 파일에 추출합니다.

         # ceph-mon \
                --fsid=41a537f2-f282-428e-989f-a9e07be32e47 \
                --keyring=/etc/ceph/keyring-store/keyring \
                --log-to-stderr=true \
                --err-to-stderr=true \
                --mon-cluster-log-to-stderr=true \
                --log-stderr-prefix=debug \
                --default-log-to-file=false \
                --default-mon-cluster-log-to-file=false \
                --mon-host=$ROOK_CEPH_MON_HOST \
                --mon-initial-members=$ROOK_CEPH_MON_INITIAL_MEMBERS \
                --id=b \
                --setuser=ceph \
                --setgroup=ceph \
                --foreground \
                --public-addr=10.100.13.242 \
                --setuser-match-path=/var/lib/ceph/mon/ceph-b/store.db \
                --public-bind-addr=$ROOK_POD_IP \
                --extract-monmap=${monmap_path}

      4. monmap 의 내용을 검토합니다.

         # monmaptool --print /tmp/monmap

      5. mon map 에서 잘못된 마우스를 제거합니다.

         # monmaptool ${monmap_path} --rm <bad_mon>

         이 예제에서는 mon0 및 mon2 를 제거합니다.

         # monmaptool ${monmap_path} --rm a
         # monmaptool ${monmap_path} --rm c

      6. ceph mon 명령을 붙여넣고 --inject- monmap =${ mon map_path} 플래그를 다음과 같이 추가하여 수정된 monmap을 좋은 monmap 에 주입합니다.

         # ceph-mon \
                --fsid=41a537f2-f282-428e-989f-a9e07be32e47 \
                --keyring=/etc/ceph/keyring-store/keyring \
                --log-to-stderr=true \
                --err-to-stderr=true \
                --mon-cluster-log-to-stderr=true \
                --log-stderr-prefix=debug \
                --default-log-to-file=false \
                --default-mon-cluster-log-to-file=false \
                --mon-host=$ROOK_CEPH_MON_HOST \
                --mon-initial-members=$ROOK_CEPH_MON_INITIAL_MEMBERS \
                --id=b \
                --setuser=ceph \
                --setgroup=ceph \
                --foreground \
                --public-addr=10.100.13.242 \
                --setuser-match-path=/var/lib/ceph/mon/ceph-b/store.db \
                --public-bind-addr=$ROOK_POD_IP \
                --inject-monmap=${monmap_path}

      7. 쉘을 종료하여 계속합니다.

3. Rook 구성 맵 을 편집합니다.

   1. Operator에서 mons 를 추적하는 데 사용하는 configmap 을 편집합니다.

      # oc -n openshift-storage edit configmap rook-ceph-mon-endpoints

   2. 데이터 요소에서 다음과 같은 세 개의 mons (또는 moncount에 따라)가 표시되는지 확인합니다.

      data: a=10.100.35.200:6789;b=10.100.13.242:6789;c=10.100.35.12:6789

   3. 목록에서 잘못된 마우스를 삭제하여 하나의 좋은 수도원으로 끝납니다. 예를 들면 다음과 같습니다.

      data: b=10.100.13.242:6789

   4. 파일을 저장하고 종료합니다.

   5. 이제 mons 및 기타 구성 요소에 사용되는 시크릿 을 조정해야 합니다.

      1. good_mon_id 변수 값을 설정합니다.

         예를 들면 다음과 같습니다.

         # good_mon_id=b

      2. oc patch 명령을 사용하여 rook-ceph-config 시크릿을 패치하고 두 개의 키/값 쌍 mon_host 및 mon_initial_members 를 업데이트할 수 있습니다.

         # mon_host=$(oc -n openshift-storage get svc rook-ceph-mon-b -o jsonpath='{.spec.clusterIP}')
         
         # oc -n openshift-storage patch secret rook-ceph-config -p '{"stringData": {"mon_host": "[v2:'"${mon_host}"':3300,v1:'"${mon_host}"':6789]", "mon_initial_members": "'"${good_mon_id}"'"}}'

         참고

         hostNetwork: true 를 사용하는 경우 mon_host var을 mon 이 고정한 노드 IP(nodeSelector)로 교체해야 합니다. "mode"에서 생성된 rook-ceph-mon-* 서비스가 없기 때문입니다.

4. mon 을 다시 시작합니다.

   원래 ceph- mon 명령을 사용하여 좋은 mon Pod를 다시 시작하여 변경 사항을 선택해야 합니다.

   1. mon 배포 YAML 파일의 백업에 oc replace 명령을 사용합니다.

      # oc replace --force -f rook-ceph-mon-b-deployment.yaml

      참고

      옵션 --force 는 배포를 삭제하고 새 배포를 생성합니다.

   2. 클러스터 상태를 확인합니다.

      상태에 쿼럼에서 하나의 mon 이 표시되어야 합니다. 상태가 정상이면 클러스터가 다시 정상이어야 합니다.

5. 더 이상 쿼럼에 있을 것으로 예상되지 않는 두 개의 mon 배포를 삭제합니다.

   예를 들면 다음과 같습니다.

   # oc delete deploy <rook-ceph-mon-1>
   # oc delete deploy <rook-ceph-mon-2>

   이 예제에서 삭제할 배포는 rook-ceph-mon-a 및 rook-ceph-mon-c 입니다.

6. Operator를 다시 시작합니다.

   1. rook Operator를 다시 시작하여 클러스터 상태를 모니터링합니다.

      참고

      이미 존재하는 많은 리소스가 존재하는 오류는 무시해도 됩니다.

      # oc -n openshift-storage scale deployment rook-ceph-operator --replicas=1

      Operator는 mon 수에 따라 쿼럼 크기를 다시 늘리기 위해 더 많은 mons 를 자동으로 추가합니다.