Replacing nodes

Red Hat OpenShift Data Foundation 4.10

OpenShift Data Foundation 클러스터에서 노드를 안전하게 교체하는 방법에 대한 지침입니다.

Red Hat Storage Documentation Team

초록

이 문서에서는 Red Hat OpenShift Data Foundation 클러스터에서 노드를 안전하게 교체하는 방법을 설명합니다.

보다 포괄적 수용을 위한 오픈 소스 용어 교체

Red Hat은 코드, 문서, 웹 속성에서 문제가 있는 용어를 교체하기 위해 최선을 다하고 있습니다. 먼저 마스터(master), 슬레이브(slave), 블랙리스트(blacklist), 화이트리스트(whitelist) 등 네 가지 용어를 교체하고 있습니다. 이러한 변경 작업은 작업 범위가 크므로 향후 여러 릴리스에 걸쳐 점차 구현할 예정입니다. 자세한 내용은 CTO Chris Wright의 메시지를 참조하십시오.

Red Hat 문서에 관한 피드백 제공

문서 개선을 위한 의견을 보내 주십시오. Red Hat이 이를 개선하는 방법을 알려 주십시오. 피드백을 제공하려면 다음을 수행하십시오.

  • 특정 문구에 대한 간단한 의견 작성 방법은 다음과 같습니다.

    1. 문서가 Multi-page HTML 형식으로 표시되는지 확인합니다. 또한 문서 오른쪽 상단에 피드백 버튼이 있는지 확인합니다.
    2. 마우스 커서를 사용하여 주석 처리하려는 텍스트 부분을 강조 표시합니다.
    3. 강조 표시된 텍스트 아래에 표시되는 피드백 추가 팝업을 클릭합니다.
    4. 표시된 지침을 따릅니다.

  • 보다 상세하게 피드백을 제출하려면 다음과 같이 Bugzilla 티켓을 생성하십시오.

    1. Bugzilla 웹 사이트로 이동하십시오.
    2. 구성 요소 섹션에서 문서 를 선택합니다.
    3. Description 필드에 문서 개선을 위한 제안 사항을 기입하십시오. 관련된 문서의 해당 부분 링크를 알려주십시오.
    4. Submit Bug를 클릭하십시오.

preface

OpenShift Data Foundation의 경우 노드 교체를 사전 예방적으로 수행하고 다음 배포를 위해 실패한 노드에 대해 능동적으로 노드 교체를 수행할 수 있습니다.

  • AWS(Amazon Web Services)의 경우

    • 사용자 프로비저닝 인프라
    • 설치 관리자 프로비저닝 인프라

  • VMware의 경우

    • 사용자 프로비저닝 인프라
    • 설치 관리자 프로비저닝 인프라

  • Red Hat Virtualization의 경우

    • 설치 관리자 프로비저닝 인프라

  • For Microsoft Azure

    • 설치 관리자 프로비저닝 인프라

  • 로컬 스토리지 장치의 경우

    • 베어 메탈
    • VMware
    • Red Hat Virtualization
    • IBM Power
  • 스토리지 노드를 외부 모드로 교체하려면 Red Hat Ceph Storage 설명서를 참조하십시오.

1장. 동적 장치를 사용하여 배포된 OpenShift Data Foundation

1.1. AWS에 배포된 OpenShift Data Foundation

1.1.1. 사용자 프로비저닝 인프라에서 작동 중인 AWS 노드 교체

AWS 사용자 프로비저닝 인프라에서 운영 노드를 교체하려면 다음 절차를 수행하십시오.

사전 요구 사항

  • Red Hat은 교체 중인 노드의 유사한 인프라와 리소스로 교체된 노드를 구성하는 것이 좋습니다.
  • RHOCP(OpenShift Container Platform) 클러스터에 로그인해야 합니다.

절차

  1. 교체해야 하는 노드를 확인합니다.

  2. 다음 명령을 사용하여 노드를 예약 불가능으로 표시합니다. 

    $ oc adm cordon <node_name>

  3. 다음 명령을 사용하여 노드를 드레이닝합니다. 

    $ oc adm drain <node_name> --force --delete-emptydir-data=true --ignore-daemonsets
    중요

    이 활동에는 최소 5-10분 이상 걸릴 수 있습니다. 이 기간 동안 생성된 Ceph 오류는 일시적이며 새 노드에 레이블이 지정되고 작동하는 경우 자동으로 해결됩니다.

  4. 다음 명령을 사용하여 노드를 삭제합니다. 

    $ oc delete nodes <node_name>
  5. 필요한 인프라를 사용하여 새 AWS 시스템 인스턴스를 생성합니다. 플랫폼 요구 사항을 참조하십시오.
  6. 새 AWS 머신 인스턴스를 사용하여 새 OpenShift Container Platform 노드를 생성합니다.

  7. Pending 상태인 OpenShift Container Platform과 관련된 CSR(인증서 서명 요청)을 확인합니다. 

    $ oc get csr

  8. 새 노드에 필요한 모든 OpenShift Container Platform CSR을 승인합니다. 

    $ oc adm certificate approve <Certificate_Name>
  9. 컴퓨팅 → 노드를 클릭하고 새 노드가 Ready 상태인지 확인합니다.

  10. OpenShift Data Foundation 레이블을 새 노드에 적용합니다.

    웹 사용자 인터페이스에서
    1. 새 노드의 경우 작업 메뉴 (PS) → 레이블 편집을클릭합니다.
    2. cluster.ocs.openshift.io/openshift-storage 를 추가하고 Save(저장 )를 클릭합니다.
    명령줄 인터페이스에서

    • 다음 명령을 실행하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다. 

      $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

검증 단계

  1. 다음 명령을 실행하고 새 노드가 출력에 있는지 확인합니다. 

    $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

  2. 워크로드 → Pod 를 클릭하여 새 노드의 다음 Pod가 Running 상태인지 확인합니다.

    • csi-cephfsplugin-*
    • csi-rbdplugin-*
  3. 기타 필요한 모든 OpenShift Data Foundation 포드가 Running 상태인지 확인합니다.

  4. 새 OSD 포드가 교체 노드에서 실행 중인지 확인합니다. 

    $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

  5. 선택 사항: 클러스터에서 클러스터 전체 암호화가 활성화된 경우 새 OSD 장치가 암호화되었는지 확인합니다.

    이전 단계에서 식별된 각 새 노드에 대해 다음을 수행합니다.

    1. 디버그 포드를 만들고 선택한 호스트에 대해 chroot 환경을 엽니다. 

      $ oc debug node/<node name>
$ chroot /host

    2. "lsblk"를 실행하고 ocs-deviceset 이름 옆의 "crypt" 키워드를 확인하십시오. 

      $ lsblk
  6. 확인 단계가 실패하는 경우 Red Hat 지원팀에 문의하십시오.

1.1.2. 설치 관리자가 프로비저닝한 인프라에서 작동 중인 AWS 노드 교체

AWS 설치 관리자 프로비저닝 인프라(IPI)에서 운영 노드를 교체하려면 다음 절차를 사용하십시오.

절차

  1. OpenShift 웹 콘솔에 로그인하고 컴퓨팅 → 노드를 클릭합니다.
  2. 교체해야 하는 노드를 확인합니다. Machine Name(시스템 이름 )을 기록합니다.

  3. 다음 명령을 사용하여 노드를 예약 불가능으로 표시합니다. 

    $ oc adm cordon <node_name>

  4. 다음 명령을 사용하여 노드를 드레이닝합니다. 

    $ oc adm drain <node_name> --force --delete-emptydir-data=true --ignore-daemonsets
    중요

    이 활동에는 최소 5-10분 이상 걸릴 수 있습니다. 이 기간 동안 생성된 Ceph 오류는 일시적이며 새 노드에 레이블이 지정되고 작동하는 경우 자동으로 해결됩니다.

  5. 컴퓨팅 → 머신을 클릭합니다. 필요한 시스템을 검색합니다.
  6. 필요한 시스템 외에도 작업 메뉴 (TI) → 머신 삭제를 클릭합니다.
  7. Delete(삭제 )를 클릭하여 머신 삭제를 확인합니다. 새 시스템이 자동으로 생성됩니다.

  8. 새 시스템이 시작되고 Running 상태로 전환될 때까지 기다립니다.

    중요

    이 활동에는 최소 5-10분 이상 걸릴 수 있습니다.

  9. 컴퓨팅 → 노드를 클릭하고 새 노드가 Ready 상태인지 확인합니다.

  10. 다음 중 하나를 사용하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다.

    출처: 사용자 인터페이스
    1. 새 노드의 경우 작업 메뉴 (PS) → 레이블 편집을클릭합니다.
    2. cluster.ocs.openshift.io/openshift-storage 를 추가하고 Save(저장 )를 클릭합니다.
    명령줄 인터페이스의

    • 다음 명령을 실행하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다. 

      $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

검증 단계

  1. 다음 명령을 실행하고 새 노드가 출력에 있는지 확인합니다. 

    $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

  2. 워크로드 → Pod 를 클릭하여 새 노드의 다음 Pod가 Running 상태인지 확인합니다.

    • csi-cephfsplugin-*
    • csi-rbdplugin-*
  3. 기타 필요한 모든 OpenShift Data Foundation 포드가 Running 상태인지 확인합니다.

  4. 새 OSD 포드가 교체 노드에서 실행 중인지 확인합니다. 

    $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

  5. 선택 사항: 클러스터에서 클러스터 전체 암호화가 활성화된 경우 새 OSD 장치가 암호화되었는지 확인합니다.

    이전 단계에서 식별된 각 새 노드에 대해 다음을 수행합니다.

    1. 디버그 포드를 만들고 선택한 호스트에 대해 chroot 환경을 엽니다. 

      $ oc debug node/<node name>
$ chroot /host

    2. "lsblk"를 실행하고 ocs-deviceset 이름 옆의 "crypt" 키워드를 확인하십시오. 

      $ lsblk
  6. 확인 단계가 실패하는 경우 Red Hat 지원팀에 문의하십시오.

1.1.3. 사용자 프로비저닝 인프라에서 실패한 AWS 노드 교체

OpenShift Data Foundation의 AWS 사용자 프로비저닝 인프라(UPI)에서 작동하지 않는 장애가 발생한 노드를 교체하려면 다음 절차를 수행하십시오.

사전 요구 사항

  • Red Hat은 교체 중인 노드의 유사한 인프라와 리소스로 교체된 노드를 구성하는 것이 좋습니다.
  • RHOCP(OpenShift Container Platform) 클러스터에 로그인해야 합니다.

절차

  1. 교체해야 하는 노드의 AWS 시스템 인스턴스를 식별합니다.
  2. AWS에 로그인하고 식별된 AWS 시스템 인스턴스를 종료합니다.
  3. 필요한 인프라를 사용하여 새 AWS 시스템 인스턴스를 생성합니다. 플랫폼 요구 사항을 확인하십시오.
  4. 새 AWS 머신 인스턴스를 사용하여 새 OpenShift Container Platform 노드를 생성합니다.

  5. Pending 상태인 OpenShift Container Platform과 관련된 CSR(인증서 서명 요청)을 확인합니다. 

    $ oc get csr

  6. 새 노드에 필요한 모든 OpenShift Container Platform CSR을 승인합니다. 

    $ oc adm certificate approve <Certificate_Name>
  7. 컴퓨팅 → 노드를 클릭하고 새 노드가 Ready 상태인지 확인합니다.

  8. 다음 중 하나를 사용하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다.

    출처: 사용자 인터페이스
    1. 새 노드의 경우 작업 메뉴 (PS) → 레이블 편집을클릭합니다.
    2. cluster.ocs.openshift.io/openshift-storage 를 추가하고 Save(저장 )를 클릭합니다.
    명령줄 인터페이스의

    • 다음 명령을 실행하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다. 

      $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

검증 단계

  1. 다음 명령을 실행하고 새 노드가 출력에 있는지 확인합니다. 

    $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

  2. 워크로드 → Pod 를 클릭하여 새 노드의 다음 Pod가 Running 상태인지 확인합니다.

    • csi-cephfsplugin-*
    • csi-rbdplugin-*
  3. 기타 필요한 모든 OpenShift Data Foundation 포드가 Running 상태인지 확인합니다.

  4. 새 OSD 포드가 교체 노드에서 실행 중인지 확인합니다. 

    $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

  5. 선택 사항: 클러스터에서 클러스터 전체 암호화가 활성화된 경우 새 OSD 장치가 암호화되었는지 확인합니다.

    이전 단계에서 식별된 각 새 노드에 대해 다음을 수행합니다.

    1. 디버그 포드를 만들고 선택한 호스트에 대해 chroot 환경을 엽니다. 

      $ oc debug node/<node name>
$ chroot /host

    2. "lsblk"를 실행하고 ocs-deviceset 이름 옆의 "crypt" 키워드를 확인하십시오. 

      $ lsblk
  6. 확인 단계가 실패하는 경우 Red Hat 지원팀에 문의하십시오.

1.1.4. 설치 관리자 프로비저닝 인프라에서 실패한 AWS 노드 교체

OpenShift Data Foundation의 AWS 설치 관리자 프로비저닝 인프라(IPI)에서 작동하지 않는 장애가 발생한 노드를 교체하려면 다음 절차를 수행하십시오.

절차

  1. OpenShift 웹 콘솔에 로그인하고 컴퓨팅 → 노드를 클릭합니다.
  2. 문제가 있는 노드를 식별하고 Machine Name(시스템 이름 )을 클릭합니다.
  3. 작업 → 주석 편집을 클릭하고 추가를 클릭합니다.
  4. machine.openshift.io/exclude-node-draining을 추가하고 저장을 클릭합니다.
  5. 작업 → 머신 삭제를 클릭하고 삭제 를 클릭합니다.

  6. 새 시스템이 자동으로 생성되고 새 머신이 시작될 때까지 기다립니다.

    중요

    이 활동에는 최소 5-10분 이상 걸릴 수 있습니다. 이 기간 동안 생성된 Ceph 오류는 일시적이며 새 노드에 레이블이 지정되고 작동하는 경우 자동으로 해결됩니다.

  7. 컴퓨팅 → 노드를 클릭하고 새 노드가 Ready 상태인지 확인합니다.

  8. 다음 중 하나를 사용하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다.

    출처: 사용자 인터페이스
    1. 새 노드의 경우 작업 메뉴 (PS) → 레이블 편집을클릭합니다.
    2. cluster.ocs.openshift.io/openshift-storage 를 추가하고 Save(저장 )를 클릭합니다.
    명령줄 인터페이스의

    • 다음 명령을 실행하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다. 

      $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""
  9. [선택 사항]: 실패한 AWS 인스턴스가 자동으로 제거되지 않으면 AWS 콘솔에서 인스턴스를 종료합니다.

검증 단계

  1. 다음 명령을 실행하고 새 노드가 출력에 있는지 확인합니다. 

    $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

  2. 워크로드 → Pod 를 클릭하여 새 노드의 다음 Pod가 Running 상태인지 확인합니다.

    • csi-cephfsplugin-*
    • csi-rbdplugin-*
  3. 기타 필요한 모든 OpenShift Data Foundation 포드가 Running 상태인지 확인합니다.

  4. 새 OSD 포드가 교체 노드에서 실행 중인지 확인합니다. 

    $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

  5. 선택 사항: 클러스터에서 클러스터 전체 암호화가 활성화된 경우 새 OSD 장치가 암호화되었는지 확인합니다.

    이전 단계에서 식별된 각 새 노드에 대해 다음을 수행합니다.

    1. 디버그 포드를 만들고 선택한 호스트에 대해 chroot 환경을 엽니다. 

      $ oc debug node/<node name>
$ chroot /host

    2. "lsblk"를 실행하고 ocs-deviceset 이름 옆의 "crypt" 키워드를 확인하십시오. 

      $ lsblk
  6. 확인 단계가 실패하는 경우 Red Hat 지원팀에 문의하십시오.

1.2. VMware에 배포된 OpenShift Data Foundation

1.2.1. 사용자 프로비저닝 인프라에서 작동 VMware 노드 교체

VMware 사용자 프로비저닝 인프라(UPI)에서 운영 노드를 교체하려면 다음 절차를 수행하십시오.

사전 요구 사항

  • Red Hat은 대체 노드는 교체 중인 노드에 유사한 인프라, 리소스 및 디스크로 구성되는 것이 좋습니다.
  • RHOCP(OpenShift Container Platform) 클러스터에 로그인해야 합니다.

절차

  1. 노드를 교체해야 하는 VM과 노드를 식별합니다.

  2. 다음 명령을 사용하여 노드를 예약 불가능으로 표시합니다. 

    $ oc adm cordon <node_name>

  3. 다음 명령을 사용하여 노드를 드레이닝합니다. 

    $ oc adm drain <node_name> --force --delete-emptydir-data=true --ignore-daemonsets
    중요

    이 활동에는 최소 5-10분 이상 걸릴 수 있습니다. 이 기간 동안 생성된 Ceph 오류는 일시적이며 새 노드에 레이블이 지정되고 작동하는 경우 자동으로 해결됩니다.

  4. 다음 명령을 사용하여 노드를 삭제합니다. 

    $ oc delete nodes <node_name>

  5. vSphere에 로그인하여 식별된 VM을 종료합니다.

    중요

    VM은 디스크가 아닌 인벤토리에서만 삭제해야 합니다.

  6. vSphere에 필요한 인프라를 사용하여 새 VM을 생성합니다. 플랫폼 요구 사항을 참조하십시오.
  7. 새 VM을 사용하여 새 OpenShift Container Platform 작업자 노드를 생성합니다.

  8. Pending 상태인 OpenShift Container Platform과 관련된 CSR(인증서 서명 요청)을 확인합니다. 

    $ oc get csr

  9. 새 노드에 필요한 모든 OpenShift Container Platform CSR을 승인합니다. 

    $ oc adm certificate approve <Certificate_Name>
  10. 컴퓨팅 → 노드를 클릭하고 새 노드가 Ready 상태인지 확인합니다.

  11. 다음 중 하나를 사용하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다.

    출처: 사용자 인터페이스
    1. 새 노드의 경우 작업 메뉴 (PS) → 레이블 편집을클릭합니다.
    2. cluster.ocs.openshift.io/openshift-storage 를 추가하고 Save(저장 )를 클릭합니다.
    명령줄 인터페이스의

    • 다음 명령을 실행하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다. 

      $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

검증 단계

  1. 다음 명령을 실행하고 새 노드가 출력에 있는지 확인합니다. 

    $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

  2. 워크로드 → Pod 를 클릭하여 새 노드의 다음 Pod가 Running 상태인지 확인합니다.

    • csi-cephfsplugin-*
    • csi-rbdplugin-*
  3. 기타 필요한 모든 OpenShift Data Foundation 포드가 Running 상태인지 확인합니다.

  4. 새 OSD 포드가 교체 노드에서 실행 중인지 확인합니다. 

    $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

  5. 선택 사항: 클러스터에서 클러스터 전체 암호화가 활성화된 경우 새 OSD 장치가 암호화되었는지 확인합니다.

    이전 단계에서 식별된 각 새 노드에 대해 다음을 수행합니다.

    1. 디버그 포드를 만들고 선택한 호스트에 대해 chroot 환경을 엽니다. 

      $ oc debug node/<node name>
$ chroot /host

    2. "lsblk"를 실행하고 ocs-deviceset 이름 옆의 "crypt" 키워드를 확인하십시오. 

      $ lsblk
  6. 확인 단계가 실패하는 경우 Red Hat 지원팀에 문의하십시오.

1.2.2. 설치 관리자가 프로비저닝한 인프라에서 작동 중인 VMware 노드 교체

VMware 설치 관리자 프로비저닝 인프라(IPI)에서 운영 노드를 교체하려면 다음 절차를 사용하십시오.

절차

  1. OpenShift 웹 콘솔에 로그인하고 컴퓨팅 → 노드를 클릭합니다.
  2. 교체해야 하는 노드를 확인합니다. Machine Name(시스템 이름 )을 기록합니다.

  3. 다음 명령을 사용하여 노드를 예약 불가능으로 표시합니다. 

    $ oc adm cordon <node_name>

  4. 다음 명령을 사용하여 노드를 드레이닝합니다. 

    $ oc adm drain <node_name> --force --delete-emptydir-data=true --ignore-daemonsets
    중요

    이 활동에는 최소 5-10분 이상 걸릴 수 있습니다. 이 기간 동안 생성된 Ceph 오류는 일시적이며 새 노드에 레이블이 지정되고 작동하는 경우 자동으로 해결됩니다.

  5. 컴퓨팅 → 머신을 클릭합니다. 필요한 시스템을 검색합니다.
  6. 필요한 시스템 외에도 작업 메뉴 (TI) → 머신 삭제를 클릭합니다.
  7. Delete(삭제 )를 클릭하여 머신 삭제를 확인합니다. 새 시스템이 자동으로 생성됩니다.

  8. 새 시스템이 시작되고 Running 상태로 전환될 때까지 기다립니다.

    중요

    이 활동에는 최소 5-10분 이상 걸릴 수 있습니다.

  9. 컴퓨팅 → 노드를 클릭하고 새 노드가 Ready 상태인지 확인합니다.

  10. 다음 중 하나를 사용하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다.

    출처: 사용자 인터페이스
    1. 새 노드의 경우 작업 메뉴 (PS) → 레이블 편집을클릭합니다.
    2. cluster.ocs.openshift.io/openshift-storage 를 추가하고 Save(저장 )를 클릭합니다.
    명령줄 인터페이스의

    • 다음 명령을 실행하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다. 

      $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

검증 단계

  1. 다음 명령을 실행하고 새 노드가 출력에 있는지 확인합니다. 

    $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

  2. 워크로드 → Pod 를 클릭하여 새 노드의 다음 Pod가 Running 상태인지 확인합니다.

    • csi-cephfsplugin-*
    • csi-rbdplugin-*
  3. 기타 필요한 모든 OpenShift Data Foundation 포드가 Running 상태인지 확인합니다.

  4. 새 OSD 포드가 교체 노드에서 실행 중인지 확인합니다. 

    $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

  5. 선택 사항: 클러스터에서 클러스터 전체 암호화가 활성화된 경우 새 OSD 장치가 암호화되었는지 확인합니다.

    이전 단계에서 식별된 각 새 노드에 대해 다음을 수행합니다.

    1. 디버그 포드를 만들고 선택한 호스트에 대해 chroot 환경을 엽니다. 

      $ oc debug node/<node name>
$ chroot /host

    2. "lsblk"를 실행하고 ocs-deviceset 이름 옆의 "crypt" 키워드를 확인하십시오. 

      $ lsblk
  6. 확인 단계가 실패하는 경우 Red Hat 지원팀에 문의하십시오.

1.2.3. 사용자 프로비저닝 인프라에서 실패한 VMware 노드 교체

VMware 사용자 프로비저닝 인프라(UPI)에서 장애가 발생한 노드를 교체하려면 다음 절차를 수행합니다.

사전 요구 사항

  • Red Hat은 대체 노드는 교체 중인 노드에 유사한 인프라, 리소스 및 디스크로 구성되는 것이 좋습니다.
  • RHOCP(OpenShift Container Platform) 클러스터에 로그인해야 합니다.

절차

  1. 노드를 교체해야 하는 VM과 노드를 식별합니다.

  2. 다음 명령을 사용하여 노드를 삭제합니다. 

    $ oc delete nodes <node_name>

  3. vSphere에 로그인하여 식별된 VM을 종료합니다.

    중요

    VM은 디스크가 아닌 인벤토리에서만 삭제해야 합니다.

  4. vSphere에 필요한 인프라를 사용하여 새 VM을 생성합니다. 플랫폼 요구 사항을 참조하십시오.
  5. 새 VM을 사용하여 새 OpenShift Container Platform 작업자 노드를 생성합니다.

  6. Pending 상태인 OpenShift Container Platform과 관련된 CSR(인증서 서명 요청)을 확인합니다. 

    $ oc get csr

  7. 새 노드에 필요한 모든 OpenShift Container Platform CSR을 승인합니다. 

    $ oc adm certificate approve <Certificate_Name>
  8. 컴퓨팅 → 노드를 클릭하고 새 노드가 Ready 상태인지 확인합니다.

  9. 다음 중 하나를 사용하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다.

    출처: 사용자 인터페이스
    1. 새 노드의 경우 작업 메뉴 (PS) → 레이블 편집을클릭합니다.
    2. cluster.ocs.openshift.io/openshift-storage 를 추가하고 Save(저장 )를 클릭합니다.
    명령줄 인터페이스의

    • 다음 명령을 실행하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다. 

      $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

검증 단계

  1. 다음 명령을 실행하고 새 노드가 출력에 있는지 확인합니다. 

    $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

  2. 워크로드 → Pod 를 클릭하여 새 노드의 다음 Pod가 Running 상태인지 확인합니다.

    • csi-cephfsplugin-*
    • csi-rbdplugin-*
  3. 기타 필요한 모든 OpenShift Data Foundation 포드가 Running 상태인지 확인합니다.

  4. 새 OSD 포드가 교체 노드에서 실행 중인지 확인합니다. 

    $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

  5. 선택 사항: 클러스터에서 클러스터 전체 암호화가 활성화된 경우 새 OSD 장치가 암호화되었는지 확인합니다.

    이전 단계에서 식별된 각 새 노드에 대해 다음을 수행합니다.

    1. 디버그 포드를 만들고 선택한 호스트에 대해 chroot 환경을 엽니다. 

      $ oc debug node/<node name>
$ chroot /host

    2. "lsblk"를 실행하고 ocs-deviceset 이름 옆의 "crypt" 키워드를 확인하십시오. 

      $ lsblk
  6. 확인 단계가 실패하는 경우 Red Hat 지원팀에 문의하십시오.

1.2.4. 설치 관리자 프로비저닝 인프라에서 실패한 VMware 노드 교체

OpenShift Data Foundation의 VMware 설치 관리자 프로비저닝 인프라(IPI)에서 작동하지 않는 장애가 발생한 노드를 교체하려면 다음 절차를 수행하십시오.

절차

  1. OpenShift 웹 콘솔에 로그인하고 컴퓨팅 → 노드를 클릭합니다.
  2. 문제가 있는 노드를 식별하고 Machine Name(시스템 이름 )을 클릭합니다.
  3. 작업 → 주석 편집을 클릭하고 추가를 클릭합니다.
  4. machine.openshift.io/exclude-node-draining을 추가하고 저장을 클릭합니다.
  5. 작업 → 머신 삭제를 클릭하고 삭제 를 클릭합니다.

  6. 새 시스템이 자동으로 생성되고 새 머신이 시작될 때까지 기다립니다.

    중요

    이 활동에는 최소 5-10분 이상 걸릴 수 있습니다. 이 기간 동안 생성된 Ceph 오류는 일시적이며 새 노드에 레이블이 지정되고 작동하는 경우 자동으로 해결됩니다.

  7. 컴퓨팅 → 노드를 클릭하고 새 노드가 Ready 상태인지 확인합니다.

  8. 다음 중 하나를 사용하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다.

    출처: 사용자 인터페이스
    1. 새 노드의 경우 작업 메뉴 (PS) → 레이블 편집을클릭합니다.
    2. cluster.ocs.openshift.io/openshift-storage 를 추가하고 Save(저장 )를 클릭합니다.
    명령줄 인터페이스의

    • 다음 명령을 실행하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다. 

      $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""
  9. [선택 사항]: 실패한 VM이 자동으로 제거되지 않으면 vSphere에서 VM을 종료합니다.

검증 단계

  1. 다음 명령을 실행하고 새 노드가 출력에 있는지 확인합니다. 

    $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

  2. 워크로드 → Pod 를 클릭하여 새 노드의 다음 Pod가 Running 상태인지 확인합니다.

    • csi-cephfsplugin-*
    • csi-rbdplugin-*
  3. 기타 필요한 모든 OpenShift Data Foundation 포드가 Running 상태인지 확인합니다.

  4. 새 OSD 포드가 교체 노드에서 실행 중인지 확인합니다. 

    $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

  5. 선택 사항: 클러스터에서 클러스터 전체 암호화가 활성화된 경우 새 OSD 장치가 암호화되었는지 확인합니다.

    이전 단계에서 식별된 각 새 노드에 대해 다음을 수행합니다.

    1. 디버그 포드를 만들고 선택한 호스트에 대해 chroot 환경을 엽니다. 

      $ oc debug node/<node name>
$ chroot /host

    2. "lsblk"를 실행하고 ocs-deviceset 이름 옆의 "crypt" 키워드를 확인하십시오. 

      $ lsblk
  6. 확인 단계가 실패하는 경우 Red Hat 지원팀에 문의하십시오.

1.3. Red Hat Virtualization에 배포된 OpenShift Data Foundation

1.3.1. 설치 관리자가 프로비저닝한 인프라에서 작동하는 Red Hat Virtualization 노드 교체

Red Hat Virtualization 설치 관리자 프로비저닝 인프라(IPI)에서 운영 노드를 교체하려면 다음 절차를 사용하십시오.

절차

  1. OpenShift 웹 콘솔에 로그인하고 컴퓨팅 → 노드를 클릭합니다.
  2. 교체해야 하는 노드를 확인합니다. Machine Name(시스템 이름 )을 기록합니다.

  3. 다음 명령을 사용하여 노드를 예약 불가능으로 표시합니다. 

    $ oc adm cordon <node_name>

  4. 다음 명령을 사용하여 노드를 드레이닝합니다. 

    $ oc adm drain <node_name> --force --delete-emptydir-data=true --ignore-daemonsets
    중요

    이 활동에는 최소 5-10분 이상 걸릴 수 있습니다. 이 기간 동안 생성된 Ceph 오류는 일시적이며 새 노드에 레이블이 지정되고 작동하는 경우 자동으로 해결됩니다.

  5. 컴퓨팅 → 머신을 클릭합니다. 필요한 시스템을 검색합니다.
  6. 필요한 시스템 외에도 작업 메뉴 (TI) → 머신 삭제를 클릭합니다.

  7. Delete(삭제 )를 클릭하여 머신 삭제를 확인합니다. 새 시스템이 자동으로 생성됩니다. 새 시스템이 시작되고 Running 상태로 전환될 때까지 기다립니다.

    중요

    이 활동에는 최소 5-10분 이상 걸릴 수 있습니다.

  8. 컴퓨팅 → 노드를 클릭하고 새 노드가 Ready 상태인지 확인합니다.

  9. 다음 중 하나를 사용하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다.

    출처: 사용자 인터페이스
    1. 새 노드의 경우 작업 메뉴 (PS) → 레이블 편집을 클릭합니다.
    2. cluster.ocs.openshift.io/openshift-storage 를 추가하고 Save(저장 )를 클릭합니다.
    명령줄 인터페이스의
    • 다음 명령을 실행하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다. 
    $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

검증 단계

  1. 다음 명령을 실행하고 새 노드가 출력에 있는지 확인합니다. 

    $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

  2. 워크로드 → Pod 를 클릭하여 새 노드의 다음 Pod가 Running 상태인지 확인합니다.

    • csi-cephfsplugin-*
    • csi-rbdplugin-*
  3. 기타 필요한 모든 OpenShift Data Foundation 포드가 Running 상태인지 확인합니다.

  4. 새 OSD 포드가 교체 노드에서 실행 중인지 확인합니다. 

    $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

  5. 선택 사항: 클러스터에서 클러스터 전체 암호화가 활성화된 경우 새 OSD 장치가 암호화되었는지 확인합니다.

    이전 단계에서 식별된 각 새 노드에 대해 다음을 수행합니다.

    1. 디버그 포드를 만들고 선택한 호스트에 대해 chroot 환경을 엽니다. 

      $ oc debug node/<node name>
$ chroot /host

    2. "lsblk"를 실행하고 ocs-deviceset 이름 옆의 "crypt" 키워드를 확인하십시오. 

      $ lsblk
  6. 확인 단계가 실패하는 경우 Red Hat 지원팀에 문의하십시오.

1.3.2. 설치 관리자 프로비저닝 인프라에서 실패한 Red Hat Virtualization 노드 교체

OpenShift Data Foundation의 Red Hat Virtualization 설치 관리자 프로비저닝 인프라(IPI)에서 작동하지 않는 장애가 발생한 노드를 교체하려면 다음 절차를 수행하십시오.

절차

  1. OpenShift 웹 콘솔에 로그인하고 컴퓨팅 → 노드를 클릭합니다.
  2. 문제가 있는 노드를 식별합니다. Machine Name(시스템 이름 )을 기록합니다.

  3. Red Hat Virtualization 관리 포털에 로그인하고 실패한 가상 시스템에서 mon 및 OSD 와 연결된 가상 디스크를 제거합니다.

    이 단계는 머신 삭제 단계의 일부로 VM 인스턴스가 삭제될 때 디스크를 삭제하지 않도록 해야 합니다.

    중요

    디스크를 제거할 때 Remove Permanently(영구 제거) 옵션을 선택하지 마십시오.

  4. OpenShift 웹 콘솔에서 컴퓨팅 → 머신을 클릭합니다. 필요한 시스템을 검색합니다.
  5. 작업 → 주석 편집을 클릭하고 추가를 클릭합니다.
  6. machine.openshift.io/exclude-node-draining을 추가하고 저장을 클릭합니다.

  7. 작업 → 머신 삭제를 클릭하고 삭제 를 클릭합니다.

    새 시스템이 자동으로 생성되고 새 머신이 시작될 때까지 기다립니다.

    중요

    이 활동에는 최소 5-10분 이상 걸릴 수 있습니다. 이 기간 동안 생성된 Ceph 오류는 일시적이며 새 노드에 레이블이 지정되고 작동하는 경우 자동으로 해결됩니다.

  8. 컴퓨팅 → 노드를 클릭하고 새 노드가 Ready 상태인지 확인합니다.

  9. 다음 중 하나를 사용하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다.

    출처: 사용자 인터페이스
    1. 새 노드의 경우 작업 메뉴 (PS) → 레이블 편집을 클릭합니다.
    2. cluster.ocs.openshift.io/openshift-storage 를 추가하고 Save(저장 )를 클릭합니다.
    명령줄 인터페이스의

    • 다음 명령을 실행하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다. 

      $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""
  10. 선택 사항: 실패한 VM이 자동으로 제거되지 않으면 Red Hat Virtualization 관리 포털에서 VM을 제거합니다.

검증 단계

  1. 다음 명령을 실행하고 새 노드가 출력에 있는지 확인합니다. 

    $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

  2. 워크로드 → Pod 를 클릭하여 새 노드의 다음 Pod가 Running 상태인지 확인합니다.

    • csi-cephfsplugin-*
    • csi-rbdplugin-*
  3. 기타 필요한 모든 OpenShift Data Foundation 포드가 Running 상태인지 확인합니다.

  4. 새 OSD 포드가 교체 노드에서 실행 중인지 확인합니다. 

    $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

  5. 선택 사항: 클러스터에서 클러스터 전체 암호화가 활성화된 경우 새 OSD 장치가 암호화되었는지 확인합니다.

    이전 단계에서 식별된 각 새 노드에 대해 다음을 수행합니다.

    1. 디버그 포드를 만들고 선택한 호스트에 대해 chroot 환경을 엽니다. 

      $ oc debug node/<node name>
$ chroot /host

    2. "lsblk"를 실행하고 ocs-deviceset 이름 옆의 "crypt" 키워드를 확인하십시오. 

      $ lsblk
  6. 확인 단계가 실패하는 경우 Red Hat 지원팀에 문의하십시오.

1.4. Microsoft Azure에 배포된 OpenShift Data Foundation

1.4.1. Azure 설치 관리자 프로비저닝 인프라에서 운영 노드 교체

다음 절차를 사용하여 Azure 설치 관리자 프로비저닝 인프라(IPI)에서 운영 노드를 교체하십시오.

절차

  1. OpenShift 웹 콘솔에 로그인하고 컴퓨팅 → 노드를 클릭합니다.
  2. 교체해야 하는 노드를 확인합니다. Machine Name(시스템 이름 )을 기록합니다.

  3. 다음 명령을 사용하여 노드를 예약 불가능으로 표시합니다. 

    $ oc adm cordon <node_name>

  4. 다음 명령을 사용하여 노드를 드레이닝합니다. 

    $ oc adm drain <node_name> --force --delete-emptydir-data=true --ignore-daemonsets
    중요

    이 활동에는 최소 5-10분 이상 걸릴 수 있습니다. 이 기간 동안 생성된 Ceph 오류는 일시적이며 새 노드에 레이블이 지정되고 작동하는 경우 자동으로 해결됩니다.

  5. 컴퓨팅 → 머신을 클릭합니다. 필요한 시스템을 검색합니다.
  6. 필요한 시스템 외에도 작업 메뉴 (TI) → 머신 삭제를 클릭합니다.
  7. Delete(삭제 )를 클릭하여 머신 삭제를 확인합니다. 새 시스템이 자동으로 생성됩니다.

  8. 새 시스템이 시작되고 Running 상태로 전환될 때까지 기다립니다.

    중요

    이 활동에는 최소 5-10분 이상 걸릴 수 있습니다.

  9. 컴퓨팅 → 노드를 클릭하고 새 노드가 Ready 상태인지 확인합니다.

  10. 다음 중 하나를 사용하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다.

    출처: 사용자 인터페이스
    1. 새 노드의 경우 작업 메뉴 (PS) → 레이블 편집을클릭합니다.
    2. cluster.ocs.openshift.io/openshift-storage 를 추가하고 Save(저장 )를 클릭합니다.
    명령줄 인터페이스의

    • 다음 명령을 실행하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다. 

      $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

검증 단계

  1. 다음 명령을 실행하고 새 노드가 출력에 있는지 확인합니다. 

    $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

  2. 워크로드 → Pod 를 클릭하여 새 노드의 다음 Pod가 Running 상태인지 확인합니다.

    • csi-cephfsplugin-*
    • csi-rbdplugin-*
  3. 기타 필요한 모든 OpenShift Data Foundation 포드가 Running 상태인지 확인합니다.

  4. 새 OSD 포드가 교체 노드에서 실행 중인지 확인합니다. 

    $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

  5. 선택 사항: 클러스터에서 클러스터 전체 암호화가 활성화된 경우 새 OSD 장치가 암호화되었는지 확인합니다.

    이전 단계에서 식별된 각 새 노드에 대해 다음을 수행합니다.

    1. 디버그 포드를 만들고 선택한 호스트에 대해 chroot 환경을 엽니다. 

      $ oc debug node/<node name>
$ chroot /host

    2. "lsblk"를 실행하고 ocs-deviceset 이름 옆의 "crypt" 키워드를 확인하십시오. 

      $ lsblk
  6. 확인 단계가 실패하는 경우 Red Hat 지원팀에 문의하십시오.

1.4.2. Azure 설치 관리자 프로비저닝 인프라에서 실패한 노드 교체

OpenShift Data Foundation의 Azure 설치 관리자 프로비저닝 인프라(IPI)에서 작동하지 않는 장애가 발생한 노드를 교체하려면 다음 절차를 수행하십시오.

절차

  1. OpenShift 웹 콘솔에 로그인하고 컴퓨팅 → 노드를 클릭합니다.
  2. 문제가 있는 노드를 식별하고 Machine Name(시스템 이름 )을 클릭합니다.
  3. 작업 → 주석 편집을 클릭하고 추가를 클릭합니다.
  4. machine.openshift.io/exclude-node-draining을 추가하고 저장을 클릭합니다.
  5. 작업 → 머신 삭제를 클릭하고 삭제 를 클릭합니다.

  6. 새 시스템이 자동으로 생성되고 새 머신이 시작될 때까지 기다립니다.

    중요

    이 활동에는 최소 5-10분 이상 걸릴 수 있습니다. 이 기간 동안 생성된 Ceph 오류는 일시적이며 새 노드에 레이블이 지정되고 작동하는 경우 자동으로 해결됩니다.

  7. 컴퓨팅 → 노드를 클릭하고 새 노드가 Ready 상태인지 확인합니다.

  8. 다음 중 하나를 사용하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다.

    출처: 사용자 인터페이스
    1. 새 노드의 경우 작업 메뉴 (PS) → 레이블 편집을클릭합니다.
    2. cluster.ocs.openshift.io/openshift-storage 를 추가하고 Save(저장 )를 클릭합니다.
    명령줄 인터페이스의

    • 다음 명령을 실행하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다. 

      $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""
  9. [선택 사항]: 실패한 Azure 인스턴스가 자동으로 제거되지 않으면 Azure 콘솔에서 인스턴스를 종료합니다.

검증 단계

  1. 다음 명령을 실행하고 새 노드가 출력에 있는지 확인합니다. 

    $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

  2. 워크로드 → Pod 를 클릭하여 새 노드의 다음 Pod가 Running 상태인지 확인합니다.

    • csi-cephfsplugin-*
    • csi-rbdplugin-*
  3. 기타 필요한 모든 OpenShift Data Foundation 포드가 Running 상태인지 확인합니다.

  4. 새 OSD 포드가 교체 노드에서 실행 중인지 확인합니다. 

    $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

  5. 선택 사항: 클러스터에서 클러스터 전체 암호화가 활성화된 경우 새 OSD 장치가 암호화되었는지 확인합니다.

    이전 단계에서 식별된 각 새 노드에 대해 다음을 수행합니다.

    1. 디버그 포드를 만들고 선택한 호스트에 대해 chroot 환경을 엽니다. 

      $ oc debug node/<node name>
$ chroot /host

    2. "lsblk"를 실행하고 ocs-deviceset 이름 옆의 "crypt" 키워드를 확인하십시오. 

      $ lsblk
  6. 확인 단계가 실패하는 경우 Red Hat 지원팀에 문의하십시오.

2장. 로컬 스토리지 장치를 사용하여 배포된 OpenShift Data Foundation

2.1. 베어 메탈 인프라에서 스토리지 노드 교체

2.1.1. 베어 메탈 사용자 프로비저닝 인프라에서 운영 노드 교체

사전 요구 사항

  • Red Hat은 대체 노드는 교체 중인 노드에 유사한 인프라, 리소스 및 디스크로 구성되는 것이 좋습니다.
  • RHOCP(OpenShift Container Platform) 클러스터에 로그인해야 합니다.

절차

  1. 교체할 노드에서 NODE 및 get 레이블을 식별합니다. 

    $ oc get nodes --show-labels | grep <node_name>

  2. 교체할 노드에서 실행 중인 mon (있는 경우) 및 OSD를 식별합니다. 

    $ oc get pods -n openshift-storage -o wide | grep -i <node_name>

  3. 이전 단계에서 식별된 포드의 배포를 축소합니다.

    예를 들면 다음과 같습니다. 

    $ oc scale deployment rook-ceph-mon-c --replicas=0 -n openshift-storage
$ oc scale deployment rook-ceph-osd-0 --replicas=0 -n openshift-storage
$ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name>  --replicas=0 -n openshift-storage

  4. 노드를 예약 불가능으로 표시합니다. 

    $ oc adm cordon <node_name>

  5. 노드를 드레이닝합니다. 

    $ oc adm drain <node_name> --force --delete-emptydir-data=true --ignore-daemonsets

  6. 노드를 삭제합니다. 

    $ oc delete node <node_name>

  7. 필수 인프라로 새로운 베어 메탈 시스템 확보. 베어 메탈에 클러스터 설치를 참조하십시오.

    중요

    3노드 OpenShift 압축 베어 메탈 클러스터에 OpenShift Data Foundation을 설치할 때 마스터 노드를 교체하는 방법에 대한 자세한 내용은 OpenShift Container Platform 설명서의 백업 및 복원 가이드를 참조하십시오.

  8. 새 베어 메탈 머신을 사용하여 새 OpenShift Container Platform 노드를 생성합니다.

  9. Pending 상태인 OpenShift Container Platform과 관련된 CSR(인증서 서명 요청)을 확인합니다. 

    $ oc get csr

  10. 새 노드에 필요한 모든 OpenShift Container Platform CSR을 승인합니다. 

    $ oc adm certificate approve <Certificate_Name>
  11. OpenShift 웹 콘솔에서 Compute → Nodes (컴퓨팅 → 노드)를 클릭하고 새 노드가 Ready 상태인지 확인합니다.

  12. 다음 중 하나를 사용하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다.

    출처: 사용자 인터페이스
    1. 새 노드의 경우 작업 메뉴 (PS) → 레이블 편집을 클릭합니다.
    2. cluster.ocs.openshift.io/openshift-storage 를 추가하고 Save(저장 )를 클릭합니다.
    명령줄 인터페이스의

    • 다음 명령을 실행하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다. 

      $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

  13. OpenShift 로컬 스토리지 운영자가 설치된 네임스페이스를 식별하고 local_storage_project 변수에 할당합니다. 

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)

    예를 들면 다음과 같습니다. 

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)
echo $local_storage_project
openshift-local-storage

  14. localVolumeDiscovery 및 localVolume Set 에 새 작업자 노드를 추가합니다.

    1. 새 노드를 포함하고 실패한 노드를 제거하도록 localVolumeDiscovery 정의를 업데이트합니다. 

      # oc edit -n $local_storage_project localvolumediscovery auto-discover-devices
[...]
   nodeSelector:
    nodeSelectorTerms:
      - matchExpressions:
          - key: kubernetes.io/hostname
            operator: In
            values:
            - server1.example.com
            - server2.example.com
            #- server3.example.com
            - newnode.example.com
[...]

      편집기를 종료하기 전에 저장해야 합니다.

      위의 예에서 server3.example.com 이 제거되었으며 newnode.example.com 이 새 노드입니다.

    2. 편집할 localVolumeSet 을 확인합니다. 

      # oc get -n $local_storage_project localvolumeset
NAME          AGE
localblock   25h

    3. 새 노드를 포함하고 실패한 노드를 제거하도록 localVolumeSet 정의를 업데이트합니다. 

      # oc edit -n $local_storage_project localvolumeset localblock
[...]
   nodeSelector:
    nodeSelectorTerms:
      - matchExpressions:
          - key: kubernetes.io/hostname
            operator: In
            values:
            - server1.example.com
            - server2.example.com
            #- server3.example.com
            - newnode.example.com
[...]

      편집기를 종료하기 전에 저장해야 합니다.

      위의 예에서 server3.example.com 이 제거되었으며 newnode.example.com 이 새 노드입니다.

  15. 새 localblock PV를 사용할 수 있는지 확인합니다. 

    $oc get pv | grep localblock | grep Available
local-pv-551d950     512Gi    RWO    Delete  Available
localblock     26s

  16. openshift-storage 프로젝트로 변경합니다. 

    $ oc project openshift-storage

  17. 클러스터에서 실패한 OSD를 제거합니다. 필요한 경우 여러 개의 실패한 OSD를 지정할 수 있습니다. 

    $ oc process -n openshift-storage ocs-osd-removal \
-p FAILED_OSD_IDS=<failed_osd_id> -p FORCE_OSD_REMOVAL=true | oc create -n openshift-storage -f -
    <failed_osd_id>

    rook-ceph-osd 접두사 바로 뒤에 있는 Pod 이름의 정수입니다.

    명령에 쉼표로 구분된 OSD ID를 추가하여 OSD(예: FAILED_OSD _IDS=0,1,2)와 같이 두 개 이상의 OSD 를 제거할 수 있습니다.

  18. ocs-osd-removal-job 포드 상태를 확인하여 OSD가 제거되었는지 확인합니다.

    상태가 Completed 인지 확인합니다. OSD 제거 작업이 성공했는지 확인합니다. 

    # oc get pod -l job-name=ocs-osd-removal-job -n openshift-storage

  19. OSD 제거가 완료되었는지 확인합니다. 

    $ oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1 | egrep -i 'completed removal'

    출력 예: 

    2022-05-10 06:50:04.501511 I | cephosd: completed removal of OSD 0
    중요

    ocs-osd-removal-job 이 실패하고 Pod가 expected Completed 상태가 아닌 경우 Pod 로그에서 추가 디버깅을 확인합니다.

    예를 들면 다음과 같습니다. 

    # oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1

  20. ocs-osd-removal-job 을 삭제합니다. 

    # oc delete -n openshift-storage job ocs-osd-removal-job

    출력 예: 

    job.batch "ocs-osd-removal-job" deleted

검증 단계

  1. 다음 명령을 실행하고 새 노드가 출력에 있는지 확인합니다. 

    $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

  2. 워크로드 → Pod 를 클릭하여 새 노드의 다음 Pod가 Running 상태인지 확인합니다.

    • csi-cephfsplugin-*
    • csi-rbdplugin-*

  3. 기타 필요한 모든 OpenShift Data Foundation 포드가 Running 상태인지 확인합니다.

    새 incremental mon 이 생성되었으며 Running(실행 중) 상태인지 확인합니다. 

    $ oc get pod -n openshift-storage | grep mon

    출력 예: 

    rook-ceph-mon-a-cd575c89b-b6k66         2/2     Running
0          38m
rook-ceph-mon-b-6776bc469b-tzzt8        2/2     Running
0          38m
rook-ceph-mon-d-5ff5d488b5-7v8xh        2/2     Running
0          4m8s

    OSD 및 Mon은 Running (실행 중) 상태가 되는 데 몇 분이 걸릴 수 있습니다.

  4. 새 OSD 포드가 교체 노드에서 실행 중인지 확인합니다. 

    $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

  5. 선택 사항: 클러스터에서 클러스터 전체 암호화가 활성화된 경우 새 OSD 장치가 암호화되었는지 확인합니다.

    이전 단계에서 식별된 각 새 노드에 대해 다음을 수행합니다.

    1. 디버그 포드를 만들고 선택한 호스트에 대해 chroot 환경을 엽니다. 

      $ oc debug node/<node name>
$ chroot /host

    2. "lsblk"를 실행하고 ocs-deviceset 이름 옆의 "crypt" 키워드를 확인하십시오. 

      $ lsblk
  6. 확인 단계가 실패하는 경우 Red Hat 지원팀에 문의하십시오.

2.1.2. 베어 메탈 사용자 프로비저닝 인프라에서 실패한 노드 교체

사전 요구 사항

  • Red Hat은 대체 노드는 교체 중인 노드에 유사한 인프라, 리소스 및 디스크로 구성되는 것이 좋습니다.
  • RHOCP(OpenShift Container Platform) 클러스터에 로그인해야 합니다.

절차

  1. 교체할 노드에서 NODE 및 get 레이블을 식별합니다. 

    $ oc get nodes --show-labels | grep <node_name>

  2. 교체할 노드에서 실행 중인 mon (있는 경우) 및 OSD를 식별합니다. 

    $ oc get pods -n openshift-storage -o wide | grep -i <node_name>

  3. 이전 단계에서 식별된 포드의 배포를 축소합니다.

    예를 들면 다음과 같습니다. 

    $ oc scale deployment rook-ceph-mon-c --replicas=0 -n openshift-storage
$ oc scale deployment rook-ceph-osd-0 --replicas=0 -n openshift-storage
$ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name>  --replicas=0 -n openshift-storage

  4. 노드를 예약 불가능으로 표시합니다. 

    $ oc adm cordon <node_name>

  5. 종료 상태인 Pod를 제거합니다. 

    $ oc get pods -A -o wide | grep -i <node_name> |  awk '{if ($4 == "Terminating") system ("oc -n " $1 " delete pods " $2  " --grace-period=0 " " --force ")}'

  6. 노드를 드레이닝합니다. 

    $ oc adm drain <node_name> --force --delete-emptydir-data=true --ignore-daemonsets

  7. 노드를 삭제합니다. 

    $ oc delete node <node_name>

  8. 필수 인프라로 새로운 베어 메탈 시스템 확보. 베어 메탈에 클러스터 설치를 참조하십시오.

    중요

    3노드 OpenShift 압축 베어 메탈 클러스터에 OpenShift Data Foundation을 설치할 때 마스터 노드를 교체하는 방법에 대한 자세한 내용은 OpenShift Container Platform 설명서의 백업 및 복원 가이드를 참조하십시오.

  9. 새 베어 메탈 머신을 사용하여 새 OpenShift Container Platform 노드를 생성합니다.

  10. Pending 상태인 OpenShift Container Platform과 관련된 CSR(인증서 서명 요청)을 확인합니다. 

    $ oc get csr

  11. 새 노드에 필요한 모든 OpenShift Container Platform CSR을 승인합니다. 

    $ oc adm certificate approve <Certificate_Name>
  12. OpenShift 웹 콘솔에서 Compute → Nodes (컴퓨팅 → 노드)를 클릭하고 새 노드가 Ready 상태인지 확인합니다.

  13. 다음 중 하나를 사용하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다.

    출처: 사용자 인터페이스
    1. 새 노드의 경우 작업 메뉴 (PS) → 레이블 편집을 클릭합니다.
    2. cluster.ocs.openshift.io/openshift-storage 를 추가하고 Save(저장 )를 클릭합니다.
    명령줄 인터페이스의

    • 다음 명령을 실행하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다. 

      $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

  14. OpenShift 로컬 스토리지 운영자가 설치된 네임스페이스를 식별하고 local_storage_project 변수에 할당합니다. 

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)

    예를 들면 다음과 같습니다. 

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)
echo $local_storage_project
openshift-local-storage

  15. localVolumeDiscovery 및 localVolume Set 에 새 작업자 노드를 추가합니다.

    1. 새 노드를 포함하고 실패한 노드를 제거하도록 localVolumeDiscovery 정의를 업데이트합니다. 

      # oc edit -n $local_storage_project localvolumediscovery auto-discover-devices
[...]
   nodeSelector:
    nodeSelectorTerms:
      - matchExpressions:
          - key: kubernetes.io/hostname
            operator: In
            values:
            - server1.example.com
            - server2.example.com
            #- server3.example.com
            - newnode.example.com
[...]

      편집기를 종료하기 전에 저장해야 합니다.

      위의 예에서 server3.example.com 이 제거되었으며 newnode.example.com 이 새 노드입니다.

    2. 편집할 localVolumeSet 을 확인합니다. 

      # oc get -n $local_storage_project localvolumeset
NAME          AGE
localblock   25h

    3. 새 노드를 포함하고 실패한 노드를 제거하도록 localVolumeSet 정의를 업데이트합니다. 

      # oc edit -n $local_storage_project localvolumeset localblock
[...]
   nodeSelector:
    nodeSelectorTerms:
      - matchExpressions:
          - key: kubernetes.io/hostname
            operator: In
            values:
            - server1.example.com
            - server2.example.com
            #- server3.example.com
            - newnode.example.com
[...]

      편집기를 종료하기 전에 저장해야 합니다.

      위의 예에서 server3.example.com 이 제거되었으며 newnode.example.com 이 새 노드입니다.

  16. 새 localblock PV를 사용할 수 있는지 확인합니다. 

    $oc get pv | grep localblock | grep Available
local-pv-551d950     512Gi    RWO    Delete  Available
localblock     26s

  17. openshift-storage 프로젝트로 변경합니다. 

    $ oc project openshift-storage

  18. 클러스터에서 실패한 OSD를 제거합니다. 필요한 경우 여러 개의 실패한 OSD를 지정할 수 있습니다. 

    $ oc process -n openshift-storage ocs-osd-removal \
-p FAILED_OSD_IDS=<failed_osd_id> -p FORCE_OSD_REMOVAL=true | oc create -n openshift-storage -f -
    <failed_osd_id>

    rook-ceph-osd 접두사 바로 뒤에 있는 Pod 이름의 정수입니다.

    명령에 쉼표로 구분된 OSD ID를 추가하여 OSD(예: FAILED_OSD _IDS=0,1,2)와 같이 두 개 이상의 OSD 를 제거할 수 있습니다.

  19. ocs-osd-removal-job 포드 상태를 확인하여 OSD가 제거되었는지 확인합니다.

    상태가 Completed 인지 확인합니다. OSD 제거 작업이 성공했는지 확인합니다. 

    # oc get pod -l job-name=ocs-osd-removal-job -n openshift-storage

  20. OSD 제거가 완료되었는지 확인합니다. 

    $ oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1 | egrep -i 'completed removal'

    출력 예: 

    2022-05-10 06:50:04.501511 I | cephosd: completed removal of OSD 0
    중요

    ocs-osd-removal-job 이 실패하고 Pod가 expected Completed 상태가 아닌 경우 Pod 로그에서 추가 디버깅을 확인합니다.

    예를 들면 다음과 같습니다. 

    # oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1

  21. ocs-osd-removal-job 을 삭제합니다. 

    # oc delete -n openshift-storage job ocs-osd-removal-job

    출력 예: 

    job.batch "ocs-osd-removal-job" deleted

검증 단계

  1. 다음 명령을 실행하고 새 노드가 출력에 있는지 확인합니다. 

    $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

  2. 워크로드 → Pod 를 클릭하여 새 노드의 다음 Pod가 Running 상태인지 확인합니다.

    • csi-cephfsplugin-*
    • csi-rbdplugin-*

  3. 기타 필요한 모든 OpenShift Data Foundation 포드가 Running 상태인지 확인합니다.

    새 incremental mon 이 생성되었으며 Running(실행 중) 상태인지 확인합니다. 

    $ oc get pod -n openshift-storage | grep mon

    출력 예: 

    rook-ceph-mon-a-cd575c89b-b6k66         2/2     Running
0          38m
rook-ceph-mon-b-6776bc469b-tzzt8        2/2     Running
0          38m
rook-ceph-mon-d-5ff5d488b5-7v8xh        2/2     Running
0          4m8s

    OSD 및 Mon은 Running (실행 중) 상태가 되는 데 몇 분이 걸릴 수 있습니다.

  4. 새 OSD 포드가 교체 노드에서 실행 중인지 확인합니다. 

    $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

  5. 선택 사항: 클러스터에서 클러스터 전체 암호화가 활성화된 경우 새 OSD 장치가 암호화되었는지 확인합니다.

    이전 단계에서 식별된 각 새 노드에 대해 다음을 수행합니다.

    1. 디버그 포드를 만들고 선택한 호스트에 대해 chroot 환경을 엽니다. 

      $ oc debug node/<node name>
$ chroot /host

    2. "lsblk"를 실행하고 ocs-deviceset 이름 옆의 "crypt" 키워드를 확인하십시오. 

      $ lsblk
  6. 확인 단계가 실패하는 경우 Red Hat 지원팀에 문의하십시오.

2.2. IBM Z 또는 LinuxONE 인프라에서 스토리지 노드 교체

다음 절차 중 하나를 선택하여 스토리지 노드를 교체할 수 있습니다.

2.2.1. IBM Z 또는 LinuxONE 인프라에서 운영 노드 교체

IBM Z 또는 LinuxONE 인프라에서 운영 노드를 교체하려면 다음 절차를 사용하십시오.

절차

  1. OpenShift 웹 콘솔에 로그인합니다.
  2. 컴퓨팅 → 노드를 클릭합니다.
  3. 교체해야 하는 노드를 확인합니다. Machine Name(시스템 이름 )을 기록합니다.

  4. 다음 명령을 사용하여 노드를 예약 불가능으로 표시합니다. 

    $ oc adm cordon <node_name>

  5. 다음 명령을 사용하여 노드를 드레이닝합니다. 

    $ oc adm drain <node_name> --force --delete-emptydir-data=true --ignore-daemonsets
    중요

    이 활동에는 최소 5-10분이 걸릴 수 있습니다. 이 기간 동안 생성된 Ceph 오류는 일시적이며 새 노드에 레이블이 지정되고 작동하는 경우 자동으로 해결됩니다.

  6. 컴퓨팅 → 머신을 클릭합니다. 필요한 시스템을 검색합니다.
  7. 필요한 시스템 외에도 작업 메뉴 (TI) → 머신 삭제를 클릭합니다.
  8. Delete(삭제 )를 클릭하여 머신 삭제를 확인합니다. 새 시스템이 자동으로 생성됩니다.

  9. 새 시스템이 시작되고 Running 상태로 전환될 때까지 기다립니다.

    중요

    이 활동에는 최소 5-10분이 걸릴 수 있습니다.

  10. 컴퓨팅 → 노드를 클릭하고 새 노드가 Ready 상태인지 확인합니다.

  11. 다음 중 하나를 사용하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다.

    출처: 사용자 인터페이스
    1. 새 노드의 경우 작업 메뉴 (PS) → 레이블 편집을클릭합니다.
    2. cluster.ocs.openshift.io/openshift-storage 를 추가하고 Save(저장 )를 클릭합니다.
    명령행 인터페이스의

    • 다음 명령을 실행하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다. 

      $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

검증 단계

  1. 다음 명령을 실행하고 새 노드가 출력에 있는지 확인합니다. 

    $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

  2. 워크로드 → Pod 를 클릭하여 새 노드의 다음 Pod가 Running 상태인지 확인합니다.

    • csi-cephfsplugin-*
    • csi-rbdplugin-*
  3. 기타 필요한 모든 OpenShift Data Foundation 포드가 Running 상태인지 확인합니다.

  4. 새 OSD 포드가 교체 노드에서 실행 중인지 확인합니다. 

    $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

  5. 선택 사항: 클러스터에서 데이터 암호화가 활성화된 경우 새 OSD 장치가 암호화되었는지 확인합니다.

    이전 단계에서 식별된 각 새 노드에 대해 다음을 수행합니다.

    1. 디버그 포드를 만들고 선택한 호스트에 대해 chroot 환경을 엽니다. 

      $ oc debug node/<node name>
$ chroot /host

    2. "lsblk"를 실행하고 ocs-deviceset 이름 옆의 "crypt" 키워드를 확인하십시오. 

      $ lsblk
  6. 확인 단계가 실패하는 경우 Red Hat 지원팀에 문의하십시오.

2.2.2. IBM Z 또는 LinuxONE 인프라에서 실패한 노드 교체

OpenShift Data Foundation용 IBM Z 또는 LinuxONE 인프라에서 작동하지 않는 장애가 발생한 노드를 교체하려면 다음 절차를 수행하십시오.

절차

  1. OpenShift 웹 콘솔에 로그인하고 컴퓨팅 → 노드를 클릭합니다.
  2. 문제가 있는 노드를 식별하고 Machine Name(시스템 이름 )을 클릭합니다.
  3. 작업 → 주석 편집을 클릭하고 추가를 클릭합니다.
  4. machine.openshift.io/exclude-node-draining을 추가하고 저장을 클릭합니다.
  5. 작업 → 머신 삭제를 클릭하고 삭제 를 클릭합니다.

  6. 새 시스템이 자동으로 생성되고 새 머신이 시작될 때까지 기다립니다.

    중요

    이 활동에는 최소 5-10분이 걸릴 수 있습니다. 이 기간 동안 생성된 Ceph 오류는 일시적이며 새 노드에 레이블이 지정되고 작동하는 경우 자동으로 해결됩니다.

  7. 컴퓨팅 → 노드를 클릭하고 새 노드가 Ready 상태인지 확인합니다.

  8. 다음 중 하나를 사용하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다.

    웹 사용자 인터페이스에서
    1. 새 노드의 경우 작업 메뉴 (PS) → 레이블 편집을클릭합니다.
    2. cluster.ocs.openshift.io/openshift-storage 를 추가하고 Save(저장 )를 클릭합니다.
    명령줄 인터페이스에서

    • 다음 명령을 실행하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다. 

      $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

  9. 다음 명령을 실행하고 새 노드가 출력에 있는지 확인합니다. 

    $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= | cut -d' ' -f1

  10. 워크로드 → Pod 를 클릭하여 새 노드의 다음 Pod가 Running 상태인지 확인합니다.

    • csi-cephfsplugin-*
    • csi-rbdplugin-*
  11. 기타 필요한 모든 OpenShift Data Foundation 포드가 Running 상태인지 확인합니다.

  12. 새 OSD 포드가 교체 노드에서 실행 중인지 확인합니다. 

    $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

  13. 선택 사항: 클러스터에서 데이터 암호화가 활성화된 경우 새 OSD 장치가 암호화되었는지 확인합니다.

    이전 단계에서 식별된 각 새 노드에 대해 다음을 수행합니다.

    1. 디버그 포드를 만들고 선택한 호스트에 대해 chroot 환경을 엽니다. 

      $ oc debug node/<node name>
$ chroot /host

    2. "lsblk"를 실행하고 ocs-deviceset 이름 옆의 "crypt" 키워드를 확인하십시오. 

      $ lsblk
  14. 확인 단계가 실패하는 경우 Red Hat 지원팀에 문의하십시오.

2.3. IBM Power 인프라에서 스토리지 노드 교체

OpenShift Data Foundation의 경우 운영 노드에 대해 노드 교체를 사전에 수행하고 IBM Power 관련 배포에 실패한 노드에 대해 반응적으로 수행될 수 있습니다.

2.3.1. IBM Power에서 운영 또는 실패한 스토리지 노드 교체

사전 요구 사항

  • Red Hat은 교체 중인 노드의 유사한 인프라와 리소스로 교체된 노드를 구성하는 것이 좋습니다.
  • RHOCP(OpenShift Container Platform) 클러스터에 로그인해야 합니다.

절차

  1. 교체할 노드에서 노드와 get 레이블을 식별합니다. 

    $ oc get nodes --show-labels | grep <node_name>

  2. 교체할 노드에서 실행 중인 mon (있는 경우) 및 개체 스토리지 장치(OSD) 포드를 식별합니다. 

    $ oc get pods -n openshift-storage -o wide | grep -i <node_name>

  3. 이전 단계에서 식별된 포드의 배포를 축소합니다.

    예를 들면 다음과 같습니다. 

    $ oc scale deployment rook-ceph-mon-a --replicas=0 -n openshift-storage
$ oc scale deployment rook-ceph-osd-1 --replicas=0 -n openshift-storage
$ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name> --replicas=0 -n openshift-storage

  4. 노드를 예약 불가능으로 표시합니다. 

    $ oc adm cordon <node_name>

  5. 종료 상태인 Pod를 제거합니다. 

    $ oc get pods -A -o wide | grep -i <node_name> |  awk '{if ($4 == "Terminating") system ("oc -n " $1 " delete pods " $2  " --grace-period=0 " " --force ")}'

  6. 노드를 드레이닝합니다. 

    $ oc adm drain <node_name> --force --delete-emptydir-data=true --ignore-daemonsets

  7. 노드를 삭제합니다. 

    $ oc delete node <node_name>
  8. 필수 인프라로 새로운 IBM Power 시스템 확보. IBM Power에 클러스터 설치를 참조하십시오.
  9. 새 IBM Power 머신을 사용하여 새 OpenShift Container Platform 노드를 생성합니다.

  10. Pending 상태인 OpenShift Container Platform과 관련된 CSR(인증서 서명 요청)을 확인합니다. 

    $ oc get csr

  11. 새 노드에 필요한 모든 OpenShift Container Platform CSR을 승인합니다. 

    $ oc adm certificate approve <Certificate_Name>
  12. OpenShift 웹 콘솔에서 Compute → Nodes (컴퓨팅 → 노드)를 클릭하고 새 노드가 Ready 상태인지 확인합니다.

  13. 다음 중 하나를 사용하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다.

    출처: 사용자 인터페이스
    1. 새 노드의 경우 작업 메뉴 (PS) → 레이블 편집을 클릭합니다.
    2. cluster.ocs.openshift.io/openshift-storage 를 추가하고 Save(저장 )를 클릭합니다.
    명령줄 인터페이스의
    1. 다음 명령을 실행하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다. 
    $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=''

  14. OpenShift 로컬 스토리지 운영자가 설치된 네임스페이스를 식별하고 local_storage_project 변수에 할당합니다. 

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)

    예를 들면 다음과 같습니다. 

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)
echo $local_storage_project
openshift-local-storage

  15. 새로 추가된 작업자 노드를 localVolume에 추가합니다.

    1. 편집할 localVolume 을 확인합니다. 

      # oc get -n $local_storage_project localvolume
NAME           AGE
localblock    25h

    2. 새 노드를 포함하고 실패한 노드를 제거하도록 localVolume 정의를 업데이트합니다. 

      # oc edit -n $local_storage_project localvolume localblock
[...]
    nodeSelector:
    nodeSelectorTerms:
      - matchExpressions:
          - key: kubernetes.io/hostname
            operator: In
            values:
            #- worker-0
            - worker-1
            - worker-2
            - worker-3
[...]

      편집기를 종료하기 전에 저장해야 합니다.

      위의 예에서 worker-0 이 제거되었으며 worker-3 은 새 노드입니다.

  16. 새 localblock PV를 사용할 수 있는지 확인합니다. 

    $ oc get pv | grep localblock
NAME              CAPACITY   ACCESSMODES RECLAIMPOLICY STATUS     CLAIM             STORAGECLASS                 AGE
local-pv-3e8964d3    500Gi    RWO         Delete       Bound      ocs-deviceset-localblock-2-data-0-mdbg9  localblock     25h
local-pv-414755e0    500Gi    RWO         Delete       Bound      ocs-deviceset-localblock-1-data-0-4cslf  localblock     25h
local-pv-b481410    500Gi     RWO        Delete       Available                                            localblock     3m24s
local-pv-5c9b8982    500Gi    RWO         Delete       Bound      ocs-deviceset-localblock-0-data-0-g2mmc  localblock     25h

  17. openshift-storage 프로젝트로 변경합니다. 

    $ oc project openshift-storage

  18. 클러스터에서 실패한 OSD를 제거합니다. 필요한 경우 여러 개의 실패한 OSD를 지정할 수 있습니다.

    1. 나중에 PVC를 식별하고 해당 특정 PVC와 연결된 PV를 삭제해야 합니다. 

      $ osd_id_to_remove=1
$ oc get -n openshift-storage -o yaml deployment rook-ceph-osd-${osd_id_to_remove} | grep ceph.rook.io/pvc

      여기서 osd_id_to_remove 는 rook-ceph-osd 접두사 바로 뒤에 있는 Pod 이름의 정수입니다. 이 예에서 배포 이름은 rook-ceph-osd-1 입니다.

      출력 예: 

      ceph.rook.io/pvc: ocs-deviceset-localblock-0-data-0-g2mmc
    ceph.rook.io/pvc: ocs-deviceset-localblock-0-data-0-g2mmc

      이 예에서 PVC 이름은 ocs-deviceset-localblock-0-data-0-g2mmc 입니다.

    2. 클러스터에서 실패한 OSD를 제거합니다. 필요한 경우 여러 개의 실패한 OSD를 지정할 수 있습니다. 

      $ oc process -n openshift-storage ocs-osd-removal \
-p FAILED_OSD_IDS=<failed_osd_id> -p FORCE_OSD_REMOVAL=true | oc create -n openshift-storage -f -
      <failed_osd_id>

      rook-ceph-osd 접두사 바로 뒤에 있는 Pod 이름의 정수입니다. 명령에 쉼표로 구분된 OSD ID를 추가하여 OSD(예: FAILED_OSD _IDS=0,1,2)와 같이 두 개 이상의 OSD 를 제거할 수 있습니다.

      주의

      이 단계에서는 OSD가 클러스터에서 완전히 제거됩니다. osd_id_to_remove 의 올바른 값이 제공되었는지 확인합니다.

  19. ocs-osd-removal-job 포드 상태를 확인하여 OSD가 제거되었는지 확인합니다.

    상태가 Completed 인지 확인합니다. OSD 제거 작업이 성공했는지 확인합니다. 

    # oc get pod -l job-name=ocs-osd-removal-job -n openshift-storage

  20. OSD 제거가 완료되었는지 확인합니다. 

    $ oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1 | egrep -i 'completed removal'

    출력 예: 

    2022-05-10 06:50:04.501511 I | cephosd: completed removal of OSD 0
    중요

    ocs-osd-removal-job 이 실패하고 Pod가 expected Completed 상태가 아닌 경우 Pod 로그에서 추가 디버깅을 확인합니다.

    예를 들면 다음과 같습니다. 

    # oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1

  21. 오류가 발생한 노드와 연결된 PV를 삭제합니다.

    1. PVC와 연결된 PV를 식별합니다.

      PVC 이름은 클러스터에서 실패한 OSD를 제거하는 동안 가져온 이름과 동일해야 합니다. 

      # oc get pv -L kubernetes.io/hostname | grep localblock | grep Released
local-pv-5c9b8982  500Gi  RWO  Delete  Released  openshift-storage/ocs-deviceset-localblock-0-data-0-g2mmc  localblock  24h  worker-0

    2. Released 상태의 PV가 있는 경우 삭제합니다. 

      # oc delete pv <persistent-volume>

      예를 들면 다음과 같습니다. 

      # oc delete pv local-pv-5c9b8982
persistentvolume "local-pv-5c9b8982" deleted

  22. crashcollector 포드 배포를 식별합니다. 

    $ oc get deployment --selector=app=rook-ceph-crashcollector,node_name=<failed_node_name> -n openshift-storage

    기존 crashcollector 포드 배포가 있는 경우 삭제합니다. 

    $ oc delete deployment --selector=app=rook-ceph-crashcollector,node_name=<failed_node_name> -n openshift-storage

  23. ocs-osd-removal-job 을 삭제합니다. 

    # oc delete -n openshift-storage job ocs-osd-removal-job

    출력 예: 

    job.batch "ocs-osd-removal-job" deleted

검증 단계

  1. 다음 명령을 실행하고 새 노드가 출력에 있는지 확인합니다. 

    $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

  2. 워크로드 → Pod 를 클릭하여 새 노드의 다음 Pod가 Running 상태인지 확인합니다.

    • csi-cephfsplugin-*
    • csi-rbdplugin-*

  3. 기타 필요한 모든 OpenShift Data Foundation 포드가 Running 상태인지 확인합니다.

    새 incremental mon 이 생성되었으며 Running (실행 중) 상태인지 확인합니다. 

    $ oc get pod -n openshift-storage | grep mon

    출력 예: 

    rook-ceph-mon-b-74f6dc9dd6-4llzq                                   1/1     Running     0          6h14m
rook-ceph-mon-c-74948755c-h7wtx                                    1/1     Running     0          4h24m
rook-ceph-mon-d-598f69869b-4bv49                                   1/1     Running     0          162m

    OSD 및 Mon은 Running (실행 중) 상태가 되는 데 몇 분이 걸릴 수 있습니다.

  4. 새 OSD 포드가 교체 노드에서 실행 중인지 확인합니다. 

    $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

  5. 선택 사항: 클러스터에서 클러스터 전체 암호화가 활성화된 경우 새 OSD 장치가 암호화되었는지 확인합니다.

    이전 단계에서 식별된 각 새 노드에 대해 다음을 수행합니다.

    1. 디버그 포드를 만들고 선택한 호스트에 대해 chroot 환경을 엽니다. 

      $ oc debug node/<node name>
$ chroot /host

    2. "lsblk"를 실행하고 ocs-deviceset 이름 옆의 "crypt" 키워드를 확인하십시오. 

      $ lsblk
  6. 확인 단계가 실패하는 경우 Red Hat 지원팀에 문의하십시오.

2.4. VMware 인프라에서 스토리지 노드 교체

2.4.1. VMware 사용자 프로비저닝 인프라에서 운영 노드 교체

사전 요구 사항

  • Red Hat은 대체 노드는 교체 중인 노드에 유사한 인프라, 리소스 및 디스크로 구성되는 것이 좋습니다.
  • RHOCP(OpenShift Container Platform) 클러스터에 로그인해야 합니다.

절차

  1. 교체할 노드에서 NODE 및 get 레이블을 식별합니다. 

    $ oc get nodes --show-labels | grep <node_name>

  2. 교체할 노드에서 실행 중인 mon (있는 경우) 및 OSD를 식별합니다. 

    $ oc get pods -n openshift-storage -o wide | grep -i <node_name>

  3. 이전 단계에서 식별된 포드의 배포를 축소합니다.

    예를 들면 다음과 같습니다. 

    $ oc scale deployment rook-ceph-mon-c --replicas=0 -n openshift-storage
$ oc scale deployment rook-ceph-osd-0 --replicas=0 -n openshift-storage
$ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name>  --replicas=0 -n openshift-storage

  4. 노드를 예약 불가능으로 표시합니다. 

    $ oc adm cordon <node_name>

  5. 노드를 드레이닝합니다. 

    $ oc adm drain <node_name> --force --delete-emptydir-data=true --ignore-daemonsets

  6. 노드를 삭제합니다. 

    $ oc delete node <node_name>
  7. vSphere에 로그인하여 식별된 VM을 종료합니다.
  8. VMware에서 필요한 인프라를 사용하여 새 VM을 만듭니다. 지원되는 인프라 및 플랫폼 보기.
  9. 새 VM을 사용하여 새 OpenShift Container Platform 작업자 노드를 생성합니다.

  10. Pending 상태인 OpenShift Container Platform과 관련된 CSR(인증서 서명 요청)을 확인합니다. 

    $ oc get csr

  11. 새 노드에 필요한 모든 OpenShift Container Platform CSR을 승인합니다. 

    $ oc adm certificate approve <Certificate_Name>
  12. OpenShift 웹 콘솔에서 Compute → Nodes (컴퓨팅 → 노드)를 클릭하고 새 노드가 Ready 상태인지 확인합니다.

  13. 다음 중 하나를 사용하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다.

    출처: 사용자 인터페이스
    1. 새 노드의 경우 작업 메뉴 (PS) → 레이블 편집을 클릭합니다.
    2. cluster.ocs.openshift.io/openshift-storage 를 추가하고 Save(저장 )를 클릭합니다.
    명령줄 인터페이스의

    • 다음 명령을 실행하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다. 

      $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

  14. OpenShift 로컬 스토리지 운영자가 설치된 네임스페이스를 식별하고 local_storage_project 변수에 할당합니다. 

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)

    예를 들면 다음과 같습니다. 

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)
echo $local_storage_project
openshift-local-storage

  15. localVolumeDiscovery 및 localVolume Set 에 새 작업자 노드를 추가합니다.

    1. 새 노드를 포함하고 실패한 노드를 제거하도록 localVolumeDiscovery 정의를 업데이트합니다. 

      # oc edit -n $local_storage_project localvolumediscovery auto-discover-devices
[...]
   nodeSelector:
    nodeSelectorTerms:
      - matchExpressions:
          - key: kubernetes.io/hostname
            operator: In
            values:
            - server1.example.com
            - server2.example.com
            #- server3.example.com
            - newnode.example.com
[...]

      편집기를 종료하기 전에 저장해야 합니다.

      위의 예에서 server3.example.com 이 제거되었으며 newnode.example.com 이 새 노드입니다.

    2. 편집할 localVolumeSet 을 확인합니다. 

      # oc get -n $local_storage_project localvolumeset
NAME          AGE
localblock   25h

    3. 새 노드를 포함하고 실패한 노드를 제거하도록 localVolumeSet 정의를 업데이트합니다. 

      # oc edit -n $local_storage_project localvolumeset localblock
[...]
   nodeSelector:
    nodeSelectorTerms:
      - matchExpressions:
          - key: kubernetes.io/hostname
            operator: In
            values:
            - server1.example.com
            - server2.example.com
            #- server3.example.com
            - newnode.example.com
[...]

      편집기를 종료하기 전에 저장해야 합니다.

      위의 예에서 server3.example.com 이 제거되었으며 newnode.example.com 이 새 노드입니다.

  16. 새 localblock PV를 사용할 수 있는지 확인합니다. 

    $oc get pv | grep localblock | grep Available
local-pv-551d950     512Gi    RWO    Delete  Available
localblock     26s

  17. openshift-storage 프로젝트로 변경합니다. 

    $ oc project openshift-storage

  18. 클러스터에서 실패한 OSD를 제거합니다. 필요한 경우 여러 개의 실패한 OSD를 지정할 수 있습니다. 

    $ oc process -n openshift-storage ocs-osd-removal \
-p FAILED_OSD_IDS=<failed_osd_id> -p FORCE_OSD_REMOVAL=true | oc create -n openshift-storage -f -
    <failed_osd_id>

    rook-ceph-osd 접두사 바로 뒤에 있는 Pod 이름의 정수입니다.

    명령에 쉼표로 구분된 OSD ID를 추가하여 OSD(예: FAILED_OSD _IDS=0,1,2)와 같이 두 개 이상의 OSD 를 제거할 수 있습니다.

  19. ocs-osd-removal-job 포드 상태를 확인하여 OSD가 제거되었는지 확인합니다.

    상태가 Completed 인지 확인합니다. OSD 제거 작업이 성공했는지 확인합니다. 

    # oc get pod -l job-name=ocs-osd-removal-job -n openshift-storage

  20. OSD 제거가 완료되었는지 확인합니다. 

    $ oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1 | egrep -i 'completed removal'

    출력 예: 

    2022-05-10 06:50:04.501511 I | cephosd: completed removal of OSD 0
    중요

    ocs-osd-removal-job 이 실패하고 Pod가 expected Completed 상태가 아닌 경우 Pod 로그에서 추가 디버깅을 확인합니다.

    예를 들면 다음과 같습니다. 

    # oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1

  21. ocs-osd-removal-job 을 삭제합니다. 

    # oc delete -n openshift-storage job ocs-osd-removal-job

    출력 예: 

    job.batch "ocs-osd-removal-job" deleted

검증 단계

  1. 다음 명령을 실행하고 새 노드가 출력에 있는지 확인합니다. 

    $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

  2. 워크로드 → Pod 를 클릭하여 새 노드의 다음 Pod가 Running 상태인지 확인합니다.

    • csi-cephfsplugin-*
    • csi-rbdplugin-*

  3. 기타 필요한 모든 OpenShift Data Foundation 포드가 Running 상태인지 확인합니다.

    새 incremental mon 이 생성되었으며 Running(실행 중) 상태인지 확인합니다. 

    $ oc get pod -n openshift-storage | grep mon

    출력 예: 

    rook-ceph-mon-a-cd575c89b-b6k66         2/2     Running
0          38m
rook-ceph-mon-b-6776bc469b-tzzt8        2/2     Running
0          38m
rook-ceph-mon-d-5ff5d488b5-7v8xh        2/2     Running
0          4m8s

    OSD 및 Mon은 Running (실행 중) 상태가 되는 데 몇 분이 걸릴 수 있습니다.

  4. 새 OSD 포드가 교체 노드에서 실행 중인지 확인합니다. 

    $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

  5. 선택 사항: 클러스터에서 클러스터 전체 암호화가 활성화된 경우 새 OSD 장치가 암호화되었는지 확인합니다.

    이전 단계에서 식별된 각 새 노드에 대해 다음을 수행합니다.

    1. 디버그 포드를 만들고 선택한 호스트에 대해 chroot 환경을 엽니다. 

      $ oc debug node/<node name>
$ chroot /host

    2. "lsblk"를 실행하고 ocs-deviceset 이름 옆의 "crypt" 키워드를 확인하십시오. 

      $ lsblk
  6. 확인 단계가 실패하는 경우 Red Hat 지원팀에 문의하십시오.

2.4.2. VMware 설치 관리자 프로비저닝 인프라에서 운영 노드 교체

사전 요구 사항

  • 교체 노드는 교체 중인 노드에 유사한 인프라, 리소스 및 디스크로 구성해야 합니다.
  • RHOCP(OpenShift Container Platform) 클러스터에 로그인해야 합니다.

절차

  1. OpenShift 웹 콘솔에 로그인하고 컴퓨팅 → 노드를 클릭합니다.
  2. 교체해야 하는 노드를 확인합니다. Machine Name(시스템 이름 )을 기록합니다.

  3. 교체할 노드의 레이블을 가져옵니다. 

    $ oc get nodes --show-labels | grep <node_name>

  4. 교체할 노드에서 실행 중인 mon (있는 경우) 및 OSD를 식별합니다. 

    $ oc get pods -n openshift-storage -o wide | grep -i <node_name>

  5. 이전 단계에서 식별된 포드의 배포를 축소합니다.

    예를 들면 다음과 같습니다. 

    $ oc scale deployment rook-ceph-mon-c --replicas=0 -n openshift-storage
$ oc scale deployment rook-ceph-osd-0 --replicas=0 -n openshift-storage
$ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name>  --replicas=0 -n openshift-storage

  6. 노드를 예약 불가능으로 표시합니다. 

    $ oc adm cordon <node_name>

  7. 노드를 드레이닝합니다. 

    $ oc adm drain <node_name> --force --delete-emptydir-data=true --ignore-daemonsets
  8. 컴퓨팅 → 머신을 클릭합니다. 필요한 시스템을 검색합니다.
  9. 필요한 시스템 외에도 작업 메뉴 (TI) → 머신 삭제를 클릭합니다.
  10. Delete(삭제 )를 클릭하여 머신 삭제를 확인합니다. 새 시스템이 자동으로 생성됩니다.

  11. 새 시스템이 시작되고 Running 상태로 전환될 때까지 기다립니다.

    중요

    이 활동에는 최소 5-10분 이상 걸릴 수 있습니다.

  12. OpenShift 웹 콘솔에서 Compute → Nodes (컴퓨팅 → 노드)를 클릭하고 새 노드가 Ready 상태인지 확인합니다.
  13. 물리적으로 새 장치를 노드에 추가합니다.

  14. 다음 중 하나를 사용하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다.

    출처: 사용자 인터페이스
    1. 새 노드의 경우 작업 메뉴 (PS) → 레이블 편집을 클릭합니다.
    2. cluster.ocs.openshift.io/openshift-storage 를 추가하고 Save(저장 )를 클릭합니다.
    명령줄 인터페이스의

    • 다음 명령을 실행하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다. 

      $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

  15. OpenShift 로컬 스토리지 운영자가 설치된 네임스페이스를 식별하고 local_storage_project 변수에 할당합니다. 

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)

    예를 들면 다음과 같습니다. 

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)
echo $local_storage_project
openshift-local-storage

  16. localVolumeDiscovery 및 localVolume Set 에 새 작업자 노드를 추가합니다.

    1. 새 노드를 포함하고 실패한 노드를 제거하도록 localVolumeDiscovery 정의를 업데이트합니다. 

      # oc edit -n $local_storage_project localvolumediscovery auto-discover-devices
[...]
   nodeSelector:
    nodeSelectorTerms:
      - matchExpressions:
          - key: kubernetes.io/hostname
            operator: In
            values:
            - server1.example.com
            - server2.example.com
            #- server3.example.com
            - newnode.example.com
[...]

      편집기를 종료하기 전에 저장해야 합니다.

      위의 예에서 server3.example.com 이 제거되었으며 newnode.example.com 이 새 노드입니다.

    2. 편집할 localVolumeSet 을 확인합니다. 

      # oc get -n $local_storage_project localvolumeset
NAME          AGE
localblock   25h

    3. 새 노드를 포함하고 실패한 노드를 제거하도록 localVolumeSet 정의를 업데이트합니다. 

      # oc edit -n $local_storage_project localvolumeset localblock
[...]
   nodeSelector:
    nodeSelectorTerms:
      - matchExpressions:
          - key: kubernetes.io/hostname
            operator: In
            values:
            - server1.example.com
            - server2.example.com
            #- server3.example.com
            - newnode.example.com
[...]

      편집기를 종료하기 전에 저장해야 합니다.

      위의 예에서 server3.example.com 이 제거되었으며 newnode.example.com 이 새 노드입니다.

  17. 새 localblock PV를 사용할 수 있는지 확인합니다. 

    $oc get pv | grep localblock | grep Available
local-pv-551d950     512Gi    RWO    Delete  Available
localblock     26s

  18. openshift-storage 프로젝트로 변경합니다. 

    $ oc project openshift-storage

  19. 클러스터에서 실패한 OSD를 제거합니다. 필요한 경우 여러 개의 실패한 OSD를 지정할 수 있습니다. 

    $ oc process -n openshift-storage ocs-osd-removal \
-p FAILED_OSD_IDS=<failed_osd_id> -p FORCE_OSD_REMOVAL=true | oc create -n openshift-storage -f -
    <failed_osd_id>

    rook-ceph-osd 접두사 바로 뒤에 있는 Pod 이름의 정수입니다.

    명령에 쉼표로 구분된 OSD ID를 추가하여 OSD(예: FAILED_OSD _IDS=0,1,2)와 같이 두 개 이상의 OSD 를 제거할 수 있습니다.

  20. ocs-osd-removal-job 포드 상태를 확인하여 OSD가 제거되었는지 확인합니다.

    상태가 Completed 인지 확인합니다. OSD 제거 작업이 성공했는지 확인합니다. 

    # oc get pod -l job-name=ocs-osd-removal-job -n openshift-storage

  21. OSD 제거가 완료되었는지 확인합니다. 

    $ oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1 | egrep -i 'completed removal'

    출력 예: 

    2022-05-10 06:50:04.501511 I | cephosd: completed removal of OSD 0
    중요

    ocs-osd-removal-job 이 실패하고 Pod가 expected Completed 상태가 아닌 경우 Pod 로그에서 추가 디버깅을 확인합니다.

    예를 들면 다음과 같습니다. 

    # oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1

  22. PVC와 연결된 PV를 식별합니다. 

    #oc get pv -L kubernetes.io/hostname | grep localblock | grep Released
local-pv-d6bf175b  1490Gi  RWO  Delete  Released  openshift-storage/ocs-deviceset-0-data-0-6c5pw  localblock  2d22h  compute-1

    Released 상태의 PV가 있는 경우 삭제합니다. 

    # oc delete pv <persistent-volume>

    예를 들면 다음과 같습니다. 

    #oc delete pv local-pv-d6bf175b
persistentvolume "local-pv-d9c5cbd6" deleted

  23. crashcollector 포드 배포를 식별합니다. 

    $ oc get deployment --selector=app=rook-ceph-crashcollector,node_name=failed-node-name -n openshift-storage

    기존 crashcollector 포드 배포가 있는 경우 삭제합니다. 

    $ oc delete deployment --selector=app=rook-ceph-crashcollector,node_name=failed-node-name -n openshift-storage

  24. ocs-osd-removal-job 을 삭제합니다. 

    # oc delete -n openshift-storage job ocs-osd-removal-job

    출력 예: 

    job.batch "ocs-osd-removal-job" deleted

검증 단계

  1. 다음 명령을 실행하고 새 노드가 출력에 있는지 확인합니다. 

    $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

  2. 워크로드 → Pod 를 클릭하여 새 노드의 다음 Pod가 Running 상태인지 확인합니다.

    • csi-cephfsplugin-*
    • csi-rbdplugin-*

  3. 기타 필요한 모든 OpenShift Data Foundation 포드가 Running 상태인지 확인합니다.

    새 incremental mon 이 생성되었으며 Running(실행 중) 상태인지 확인합니다. 

    $ oc get pod -n openshift-storage | grep mon

    출력 예: 

    rook-ceph-mon-a-cd575c89b-b6k66         2/2     Running
0          38m
rook-ceph-mon-b-6776bc469b-tzzt8        2/2     Running
0          38m
rook-ceph-mon-d-5ff5d488b5-7v8xh        2/2     Running
0          4m8s

    OSD 및 Mon은 Running (실행 중) 상태가 되는 데 몇 분이 걸릴 수 있습니다.

  4. 새 OSD 포드가 교체 노드에서 실행 중인지 확인합니다. 

    $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

  5. 선택 사항: 클러스터에서 클러스터 전체 암호화가 활성화된 경우 새 OSD 장치가 암호화되었는지 확인합니다.

    이전 단계에서 식별된 각 새 노드에 대해 다음을 수행합니다.

    1. 디버그 포드를 만들고 선택한 호스트에 대해 chroot 환경을 엽니다. 

      $ oc debug node/<node name>
$ chroot /host

    2. "lsblk"를 실행하고 ocs-deviceset 이름 옆의 "crypt" 키워드를 확인하십시오. 

      $ lsblk
  6. 확인 단계가 실패하는 경우 Red Hat 지원팀에 문의하십시오.

2.4.3. VMware 사용자 프로비저닝 인프라에서 실패한 노드 교체

사전 요구 사항

  • Red Hat은 대체 노드는 교체 중인 노드에 유사한 인프라, 리소스 및 디스크로 구성되는 것이 좋습니다.
  • RHOCP(OpenShift Container Platform) 클러스터에 로그인해야 합니다.

절차

  1. 교체할 노드에서 NODE 및 get 레이블을 식별합니다. 

    $ oc get nodes --show-labels | grep <node_name>

  2. 교체할 노드에서 실행 중인 mon (있는 경우) 및 OSD를 식별합니다. 

    $ oc get pods -n openshift-storage -o wide | grep -i <node_name>

  3. 이전 단계에서 식별된 포드의 배포를 축소합니다.

    예를 들면 다음과 같습니다. 

    $ oc scale deployment rook-ceph-mon-c --replicas=0 -n openshift-storage
$ oc scale deployment rook-ceph-osd-0 --replicas=0 -n openshift-storage
$ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name>  --replicas=0 -n openshift-storage

  4. 노드를 예약 불가능으로 표시합니다. 

    $ oc adm cordon <node_name>

  5. 종료 상태인 Pod를 제거합니다. 

    $ oc get pods -A -o wide | grep -i <node_name> |  awk '{if ($4 == "Terminating") system ("oc -n " $1 " delete pods " $2  " --grace-period=0 " " --force ")}'

  6. 노드를 드레이닝합니다. 

    $ oc adm drain <node_name> --force --delete-emptydir-data=true --ignore-daemonsets

  7. 노드를 삭제합니다. 

    $ oc delete node <node_name>
  8. vSphere에 로그인하여 식별된 VM을 종료합니다.
  9. VMware에서 필요한 인프라를 사용하여 새 VM을 만듭니다. 지원되는 인프라 및 플랫폼 보기.
  10. 새 VM을 사용하여 새 OpenShift Container Platform 작업자 노드를 생성합니다.

  11. Pending 상태인 OpenShift Container Platform과 관련된 CSR(인증서 서명 요청)을 확인합니다. 

    $ oc get csr

  12. 새 노드에 필요한 모든 OpenShift Container Platform CSR을 승인합니다. 

    $ oc adm certificate approve <Certificate_Name>
  13. OpenShift 웹 콘솔에서 Compute → Nodes (컴퓨팅 → 노드)를 클릭하고 새 노드가 Ready 상태인지 확인합니다.

  14. 다음 중 하나를 사용하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다.

    출처: 사용자 인터페이스
    1. 새 노드의 경우 작업 메뉴 (PS) → 레이블 편집을 클릭합니다.
    2. cluster.ocs.openshift.io/openshift-storage 를 추가하고 Save(저장 )를 클릭합니다.
    명령줄 인터페이스의

    • 다음 명령을 실행하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다. 

      $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

  15. OpenShift 로컬 스토리지 운영자가 설치된 네임스페이스를 식별하고 local_storage_project 변수에 할당합니다. 

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)

    예를 들면 다음과 같습니다. 

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)
echo $local_storage_project
openshift-local-storage

  16. localVolumeDiscovery 및 localVolume Set 에 새 작업자 노드를 추가합니다.

    1. 새 노드를 포함하고 실패한 노드를 제거하도록 localVolumeDiscovery 정의를 업데이트합니다. 

      # oc edit -n $local_storage_project localvolumediscovery auto-discover-devices
[...]
   nodeSelector:
    nodeSelectorTerms:
      - matchExpressions:
          - key: kubernetes.io/hostname
            operator: In
            values:
            - server1.example.com
            - server2.example.com
            #- server3.example.com
            - newnode.example.com
[...]

      편집기를 종료하기 전에 저장해야 합니다.

      위의 예에서 server3.example.com 이 제거되었으며 newnode.example.com 이 새 노드입니다.

    2. 편집할 localVolumeSet 을 확인합니다. 

      # oc get -n $local_storage_project localvolumeset
NAME          AGE
localblock   25h

    3. 새 노드를 포함하고 실패한 노드를 제거하도록 localVolumeSet 정의를 업데이트합니다. 

      # oc edit -n $local_storage_project localvolumeset localblock
[...]
   nodeSelector:
    nodeSelectorTerms:
      - matchExpressions:
          - key: kubernetes.io/hostname
            operator: In
            values:
            - server1.example.com
            - server2.example.com
            #- server3.example.com
            - newnode.example.com
[...]

      편집기를 종료하기 전에 저장해야 합니다.

      위의 예에서 server3.example.com 이 제거되었으며 newnode.example.com 이 새 노드입니다.

  17. 새 localblock PV를 사용할 수 있는지 확인합니다. 

    $oc get pv | grep localblock | grep Available
local-pv-551d950     512Gi    RWO    Delete  Available
localblock     26s

  18. openshift-storage 프로젝트로 변경합니다. 

    $ oc project openshift-storage

  19. 클러스터에서 실패한 OSD를 제거합니다. 필요한 경우 여러 개의 실패한 OSD를 지정할 수 있습니다. 

    $ oc process -n openshift-storage ocs-osd-removal \
-p FAILED_OSD_IDS=<failed_osd_id> -p FORCE_OSD_REMOVAL=true | oc create -n openshift-storage -f -
    <failed_osd_id>

    rook-ceph-osd 접두사 바로 뒤에 있는 Pod 이름의 정수입니다.

    명령에 쉼표로 구분된 OSD ID를 추가하여 OSD(예: FAILED_OSD _IDS=0,1,2)와 같이 두 개 이상의 OSD 를 제거할 수 있습니다.

  20. ocs-osd-removal-job 포드 상태를 확인하여 OSD가 제거되었는지 확인합니다.

    상태가 Completed 인지 확인합니다. OSD 제거 작업이 성공했는지 확인합니다. 

    # oc get pod -l job-name=ocs-osd-removal-job -n openshift-storage

  21. OSD 제거가 완료되었는지 확인합니다. 

    $ oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1 | egrep -i 'completed removal'

    출력 예: 

    2022-05-10 06:50:04.501511 I | cephosd: completed removal of OSD 0
    중요

    ocs-osd-removal-job 이 실패하고 Pod가 expected Completed 상태가 아닌 경우 Pod 로그에서 추가 디버깅을 확인합니다.

    예를 들면 다음과 같습니다. 

    # oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1

  22. ocs-osd-removal-job 을 삭제합니다. 

    # oc delete -n openshift-storage job ocs-osd-removal-job

    출력 예: 

    job.batch "ocs-osd-removal-job" deleted

검증 단계

  1. 다음 명령을 실행하고 새 노드가 출력에 있는지 확인합니다. 

    $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

  2. 워크로드 → Pod 를 클릭하여 새 노드의 다음 Pod가 Running 상태인지 확인합니다.

    • csi-cephfsplugin-*
    • csi-rbdplugin-*

  3. 기타 필요한 모든 OpenShift Data Foundation 포드가 Running 상태인지 확인합니다.

    새 incremental mon 이 생성되었으며 Running(실행 중) 상태인지 확인합니다. 

    $ oc get pod -n openshift-storage | grep mon

    출력 예: 

    rook-ceph-mon-a-cd575c89b-b6k66         2/2     Running
0          38m
rook-ceph-mon-b-6776bc469b-tzzt8        2/2     Running
0          38m
rook-ceph-mon-d-5ff5d488b5-7v8xh        2/2     Running
0          4m8s

    OSD 및 Mon은 Running (실행 중) 상태가 되는 데 몇 분이 걸릴 수 있습니다.

  4. 새 OSD 포드가 교체 노드에서 실행 중인지 확인합니다. 

    $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

  5. 선택 사항: 클러스터에서 클러스터 전체 암호화가 활성화된 경우 새 OSD 장치가 암호화되었는지 확인합니다.

    이전 단계에서 식별된 각 새 노드에 대해 다음을 수행합니다.

    1. 디버그 포드를 만들고 선택한 호스트에 대해 chroot 환경을 엽니다. 

      $ oc debug node/<node name>
$ chroot /host

    2. "lsblk"를 실행하고 ocs-deviceset 이름 옆의 "crypt" 키워드를 확인하십시오. 

      $ lsblk
  6. 확인 단계가 실패하는 경우 Red Hat 지원팀에 문의하십시오.

2.4.4. VMware 설치 관리자 프로비저닝 인프라에서 실패한 노드 교체

사전 요구 사항

  • Red Hat은 대체 노드는 교체 중인 노드에 유사한 인프라, 리소스 및 디스크로 구성되는 것이 좋습니다.
  • RHOCP(OpenShift Container Platform) 클러스터에 로그인해야 합니다.

절차

  1. OpenShift 웹 콘솔에 로그인하고 컴퓨팅 → 노드를 클릭합니다.
  2. 교체해야 하는 노드를 확인합니다. Machine Name(시스템 이름 )을 기록합니다.

  3. 교체할 노드의 레이블을 가져옵니다. 

    $ oc get nodes --show-labels | grep <node_name>

  4. 교체할 노드에서 실행 중인 mon (있는 경우) 및 OSD를 식별합니다. 

    $ oc get pods -n openshift-storage -o wide | grep -i <node_name>

  5. 이전 단계에서 식별된 포드의 배포를 축소합니다.

    예를 들면 다음과 같습니다. 

    $ oc scale deployment rook-ceph-mon-c --replicas=0 -n openshift-storage
$ oc scale deployment rook-ceph-osd-0 --replicas=0 -n openshift-storage
$ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name>  --replicas=0 -n openshift-storage

  6. 노드를 예약 불가능으로 표시합니다. 

    $ oc adm cordon <node_name>

  7. 종료 상태인 Pod를 제거합니다. 

    $ oc get pods -A -o wide | grep -i <node_name> |  awk '{if ($4 == "Terminating") system ("oc -n " $1 " delete pods " $2  " --grace-period=0 " " --force ")}'

  8. 노드를 드레이닝합니다. 

    $ oc adm drain <node_name> --force --delete-emptydir-data=true --ignore-daemonsets
  9. 컴퓨팅 → 머신을 클릭합니다. 필요한 시스템을 검색합니다.
  10. 필요한 시스템 외에도 작업 메뉴 (TI) → 머신 삭제를 클릭합니다.
  11. Delete(삭제 )를 클릭하여 머신 삭제를 확인합니다. 새 시스템이 자동으로 생성됩니다.

  12. 새 시스템이 시작되고 Running 상태로 전환될 때까지 기다립니다.

    중요

    이 활동에는 최소 5-10분 이상 걸릴 수 있습니다.

  13. OpenShift 웹 콘솔에서 Compute → Nodes (컴퓨팅 → 노드)를 클릭하고 새 노드가 Ready 상태인지 확인합니다.
  14. 물리적으로 새 장치를 노드에 추가합니다.

  15. 다음 중 하나를 사용하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다.

    출처: 사용자 인터페이스
    1. 새 노드의 경우 작업 메뉴 (PS) → 레이블 편집을 클릭합니다.
    2. cluster.ocs.openshift.io/openshift-storage 를 추가하고 Save(저장 )를 클릭합니다.
    명령줄 인터페이스의

    • 다음 명령을 실행하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다. 

      $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

  16. OpenShift 로컬 스토리지 운영자가 설치된 네임스페이스를 식별하고 local_storage_project 변수에 할당합니다. 

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)

    예를 들면 다음과 같습니다. 

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)
echo $local_storage_project
openshift-local-storage

  17. localVolumeDiscovery 및 localVolume Set 에 새 작업자 노드를 추가합니다.

    1. 새 노드를 포함하고 실패한 노드를 제거하도록 localVolumeDiscovery 정의를 업데이트합니다. 

      # oc edit -n $local_storage_project localvolumediscovery auto-discover-devices
[...]
   nodeSelector:
    nodeSelectorTerms:
      - matchExpressions:
          - key: kubernetes.io/hostname
            operator: In
            values:
            - server1.example.com
            - server2.example.com
            #- server3.example.com
            - newnode.example.com
[...]

      편집기를 종료하기 전에 저장해야 합니다.

      위의 예에서 server3.example.com 이 제거되었으며 newnode.example.com 이 새 노드입니다.

    2. 편집할 localVolumeSet 을 확인합니다. 

      # oc get -n $local_storage_project localvolumeset
NAME          AGE
localblock   25h

    3. 새 노드를 포함하고 실패한 노드를 제거하도록 localVolumeSet 정의를 업데이트합니다. 

      # oc edit -n $local_storage_project localvolumeset localblock
[...]
   nodeSelector:
    nodeSelectorTerms:
      - matchExpressions:
          - key: kubernetes.io/hostname
            operator: In
            values:
            - server1.example.com
            - server2.example.com
            #- server3.example.com
            - newnode.example.com
[...]

      편집기를 종료하기 전에 저장해야 합니다.

      위의 예에서 server3.example.com 이 제거되었으며 newnode.example.com 이 새 노드입니다.

  18. 새 localblock PV를 사용할 수 있는지 확인합니다. 

    $oc get pv | grep localblock | grep Available
local-pv-551d950     512Gi    RWO    Delete  Available
localblock     26s

  19. openshift-storage 프로젝트로 변경합니다. 

    $ oc project openshift-storage

  20. 클러스터에서 실패한 OSD를 제거합니다. 필요한 경우 여러 개의 실패한 OSD를 지정할 수 있습니다. 

    $ oc process -n openshift-storage ocs-osd-removal \
-p FAILED_OSD_IDS=<failed_osd_id> -p FORCE_OSD_REMOVAL=true | oc create -n openshift-storage -f -
    <failed_osd_id>

    rook-ceph-osd 접두사 바로 뒤에 있는 Pod 이름의 정수입니다.

    명령에 쉼표로 구분된 OSD ID를 추가하여 OSD(예: FAILED_OSD _IDS=0,1,2)와 같이 두 개 이상의 OSD 를 제거할 수 있습니다.

  21. ocs-osd-removal-job 포드 상태를 확인하여 OSD가 제거되었는지 확인합니다.

    상태가 Completed 인지 확인합니다. OSD 제거 작업이 성공했는지 확인합니다. 

    # oc get pod -l job-name=ocs-osd-removal-job -n openshift-storage

  22. OSD 제거가 완료되었는지 확인합니다. 

    $ oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1 | egrep -i 'completed removal'

    출력 예: 

    2022-05-10 06:50:04.501511 I | cephosd: completed removal of OSD 0
    중요

    ocs-osd-removal-job 이 실패하고 Pod가 expected Completed 상태가 아닌 경우 Pod 로그에서 추가 디버깅을 확인합니다.

    예를 들면 다음과 같습니다. 

    # oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1

  23. PVC와 연결된 PV를 식별합니다. 

    #oc get pv -L kubernetes.io/hostname | grep localblock | grep Released
local-pv-d6bf175b  1490Gi  RWO  Delete  Released  openshift-storage/ocs-deviceset-0-data-0-6c5pw  localblock  2d22h  compute-1

    Released 상태의 PV가 있는 경우 삭제합니다. 

    # oc delete pv <persistent-volume>

    예를 들면 다음과 같습니다. 

    #oc delete pv local-pv-d6bf175b
persistentvolume "local-pv-d9c5cbd6" deleted

  24. crashcollector 포드 배포를 식별합니다. 

    $ oc get deployment --selector=app=rook-ceph-crashcollector,node_name=failed-node-name -n openshift-storage

    기존 crashcollector 포드 배포가 있는 경우 삭제합니다. 

    $ oc delete deployment --selector=app=rook-ceph-crashcollector,node_name=failed-node-name -n openshift-storage

  25. ocs-osd-removal-job 을 삭제합니다. 

    # oc delete -n openshift-storage job ocs-osd-removal-job

    출력 예: 

    job.batch "ocs-osd-removal-job" deleted

검증 단계

  1. 다음 명령을 실행하고 새 노드가 출력에 있는지 확인합니다. 

    $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

  2. 워크로드 → Pod 를 클릭하여 새 노드의 다음 Pod가 Running 상태인지 확인합니다.

    • csi-cephfsplugin-*
    • csi-rbdplugin-*

  3. 기타 필요한 모든 OpenShift Data Foundation 포드가 Running 상태인지 확인합니다.

    새 incremental mon 이 생성되었으며 Running(실행 중) 상태인지 확인합니다. 

    $ oc get pod -n openshift-storage | grep mon

    출력 예: 

    rook-ceph-mon-a-cd575c89b-b6k66         2/2     Running
0          38m
rook-ceph-mon-b-6776bc469b-tzzt8        2/2     Running
0          38m
rook-ceph-mon-d-5ff5d488b5-7v8xh        2/2     Running
0          4m8s

    OSD 및 Mon은 Running (실행 중) 상태가 되는 데 몇 분이 걸릴 수 있습니다.

  4. 새 OSD 포드가 교체 노드에서 실행 중인지 확인합니다. 

    $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

  5. 선택 사항: 클러스터에서 클러스터 전체 암호화가 활성화된 경우 새 OSD 장치가 암호화되었는지 확인합니다.

    이전 단계에서 식별된 각 새 노드에 대해 다음을 수행합니다.

    1. 디버그 포드를 만들고 선택한 호스트에 대해 chroot 환경을 엽니다. 

      $ oc debug node/<node name>
$ chroot /host

    2. "lsblk"를 실행하고 ocs-deviceset 이름 옆의 "crypt" 키워드를 확인하십시오. 

      $ lsblk
  6. 확인 단계가 실패하는 경우 Red Hat 지원팀에 문의하십시오.

2.5. Red Hat Virtualization 인프라에서 스토리지 노드 교체

2.5.1. Red Hat Virtualization 설치 관리자 프로비저닝 인프라에서 운영 노드 교체

Red Hat Virtualization 설치 관리자 프로비저닝 인프라(IPI)에서 운영 노드를 교체하려면 다음 절차를 사용하십시오.

사전 요구 사항

  • Red Hat은 대체 노드는 교체 중인 노드의 유사한 인프라, 리소스 및 디스크로 구성되는 것이 좋습니다.
  • RHOCP(OpenShift Container Platform) 클러스터에 로그인해야 합니다.

절차

  1. OpenShift 웹 콘솔에 로그인하고 컴퓨팅 → 노드를 클릭합니다.
  2. 교체해야 하는 노드를 확인합니다. Machine Name(시스템 이름 )을 기록합니다.

  3. 교체할 노드의 레이블을 가져옵니다. 

    $ oc get nodes --show-labels | grep <node_name>

  4. 교체할 노드에서 실행 중인 mon(있는 경우) 및 OSD를 식별합니다. 

    $ oc get pods -n openshift-storage -o wide | grep -i <node_name>

  5. 이전 단계에서 식별된 포드의 배포를 축소합니다.

    예를 들면 다음과 같습니다. 

    $ oc scale deployment rook-ceph-mon-c --replicas=0 -n openshift-storage
$ oc scale deployment rook-ceph-osd-0 --replicas=0 -n openshift-storage
$ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name>  --replicas=0 -n openshift-storage

  6. 노드를 예약 불가능으로 표시합니다. 

    $ oc adm cordon <node_name>

  7. 노드를 드레이닝합니다. 

    $ oc adm drain <node_name> --force --delete-emptydir-data=true --ignore-daemonsets
  8. 컴퓨팅 → 머신을 클릭합니다. 필요한 시스템을 검색합니다.
  9. 필요한 시스템 외에도 작업 메뉴 (TI) → 머신 삭제를 클릭합니다.

  10. Delete(삭제 )를 클릭하여 머신 삭제를 확인합니다. 새 시스템이 자동으로 생성됩니다. 새 시스템이 시작되고 Running 상태로 전환될 때까지 기다립니다.

    중요

    이 활동에는 최소 5-10분 이상 걸릴 수 있습니다.

  11. OpenShift 웹 콘솔에서 컴퓨팅 → 노드를 클릭합니다. 새 노드가 Ready 상태인지 확인합니다.
  12. 새 장치를 노드에 물리적으로 추가합니다.

  13. 다음 중 하나를 사용하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다.

    출처: 사용자 인터페이스
    1. 새 노드의 경우 작업 메뉴 (PS) → 레이블 편집을 클릭합니다.
    2. cluster.ocs.openshift.io/openshift-storage 를 추가하고 Save(저장 )를 클릭합니다.
    명령줄 인터페이스의
    • 다음 명령을 실행하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다. 
    $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

  14. OpenShift 로컬 스토리지 운영자가 설치된 네임스페이스를 식별하고 local_storage_project 변수에 할당합니다. 

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)

    예를 들면 다음과 같습니다. 

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)
echo $local_storage_project
openshift-local-storage

  15. localVolumeDiscovery 및 localVolume Set 에 새 작업자 노드를 추가합니다.

    1. 새 노드를 포함하고 실패한 노드를 제거하도록 localVolumeDiscovery 정의를 업데이트합니다. 

      # oc edit -n $local_storage_project localvolumediscovery auto-discover-devices
[...]
   nodeSelector:
    nodeSelectorTerms:
      - matchExpressions:
          - key: kubernetes.io/hostname
            operator: In
            values:
            - server1.example.com
            - server2.example.com
            #- server3.example.com
            - newnode.example.com
[...]

      편집기를 종료하기 전에 저장해야 합니다.

      위의 예에서 server3.example.com 이 제거되었으며 newnode.example.com 이 새 노드입니다.

    2. 편집할 localVolumeSet 을 확인합니다. 

      # oc get -n $local_storage_project localvolumeset
NAME          AGE
localblock   25h

    3. 새 노드를 포함하고 실패한 노드를 제거하도록 localVolumeSet 정의를 업데이트합니다. 

      # oc edit -n $local_storage_project localvolumeset localblock
[...]
   nodeSelector:
    nodeSelectorTerms:
      - matchExpressions:
          - key: kubernetes.io/hostname
            operator: In
            values:
            - server1.example.com
            - server2.example.com
            #- server3.example.com
            - newnode.example.com
[...]

      편집기를 종료하기 전에 저장해야 합니다.

      위의 예에서 server3.example.com 이 제거되었으며 newnode.example.com 이 새 노드입니다.

  16. 새 localblock PV를 사용할 수 있는지 확인합니다. 

    $oc get pv | grep localblock | grep Available
local-pv-551d950     512Gi    RWO    Delete  Available
localblock     26s

  17. openshift-storage 프로젝트로 변경합니다. 

    $ oc project openshift-storage

  18. 클러스터에서 실패한 OSD를 제거합니다. 필요한 경우 여러 개의 실패한 OSD를 지정할 수 있습니다. 

    $ oc process -n openshift-storage ocs-osd-removal \
-p FAILED_OSD_IDS=<failed_osd_id> -p FORCE_OSD_REMOVAL=true | oc create -n openshift-storage -f -
    <failed_osd_id>

    rook-ceph-osd 접두사 바로 뒤에 있는 Pod 이름의 정수입니다.

    명령에 쉼표로 구분된 OSD ID를 추가하여 OSD(예: FAILED_OSD _IDS=0,1,2)와 같이 두 개 이상의 OSD 를 제거할 수 있습니다.

  19. ocs-osd-removal-job 포드 상태를 확인하여 OSD가 제거되었는지 확인합니다.

    상태가 Completed 인지 확인합니다. OSD 제거 작업이 성공했는지 확인합니다. 

    # oc get pod -l job-name=ocs-osd-removal-job -n openshift-storage

  20. OSD 제거가 완료되었는지 확인합니다. 

    $ oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1 | egrep -i 'completed removal'

    출력 예: 

    2022-05-10 06:50:04.501511 I | cephosd: completed removal of OSD 0
    중요

    ocs-osd-removal-job 이 실패하고 Pod가 expected Completed 상태가 아닌 경우 Pod 로그에서 추가 디버깅을 확인합니다.

    예를 들면 다음과 같습니다. 

    # oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1

  21. PVC와 연결된 PV를 식별합니다. 

    # oc get pv -L kubernetes.io/hostname | grep localblock | grep Released
local-pv-d6bf175b  512Gi  RWO  Delete  Released  openshift-storage/ocs-deviceset-0-data-0-6c5pw  localblock  2d22h  server3.example.com

    Released 상태의 PV가 있는 경우 삭제합니다. 

    # oc delete pv <persistent-volume>

    예를 들면 다음과 같습니다. 

    # oc delete pv local-pv-d6bf175b
persistentvolume "local-pv-d6bf175b" deleted

  22. crashcollector 포드 배포를 식별합니다. 

    $ oc get deployment --selector=app=rook-ceph-crashcollector,node_name=failed-node-name -n openshift-storage

    기존 crashcollector Pod가 있는 경우 삭제합니다. 

    $ oc delete deployment --selector=app=rook-ceph-crashcollector,node_name=failed-node-name -n openshift-storage

  23. ocs-osd-removal 작업을 삭제합니다. 

    # oc delete -n openshift-storage job ocs-osd-removal-job

    출력 예: 

    job.batch "ocs-osd-removal-job" deleted

검증 단계

  1. 다음 명령을 실행하고 새 노드가 출력에 있는지 확인합니다. 

    $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

  2. 워크로드 → Pod 를 클릭하여 새 노드의 다음 Pod가 Running 상태인지 확인합니다.

    • csi-cephfsplugin-*
    • csi-rbdplugin-*

  3. 기타 필요한 모든 OpenShift Data Foundation 포드가 Running 상태인지 확인합니다.

    새 incremental mon 이 생성되었으며 Running(실행 중) 상태인지 확인합니다. 

    $ oc get pod -n openshift-storage | grep mon

    출력 예: 

    rook-ceph-mon-a-cd575c89b-b6k66         2/2     Running  0  38m
rook-ceph-mon-b-6776bc469b-tzzt8        2/2     Running  0  38m
rook-ceph-mon-d-5ff5d488b5-7v8xh        2/2     Running  0  4m8s

    OSD 및 Mon은 Running (실행 중) 상태가 되는 데 몇 분이 걸릴 수 있습니다.

  4. 새 OSD 포드가 교체 노드에서 실행 중인지 확인합니다. 

    $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

  5. 선택 사항: 클러스터에서 클러스터 전체 암호화가 활성화된 경우 새 OSD 장치가 암호화되었는지 확인합니다.

    이전 단계에서 식별된 각 새 노드에 대해 다음을 수행합니다.

    1. 디버그 포드를 만들고 선택한 호스트에 대해 chroot 환경을 엽니다. 

      $ oc debug node/<node name>
$ chroot /host

    2. "lsblk"를 실행하고 ocs-deviceset 이름 옆의 "crypt" 키워드를 확인하십시오. 

      $ lsblk
  6. 확인 단계가 실패하는 경우 Red Hat 지원팀에 문의하십시오.

2.5.2. Red Hat Virtualization 설치 관리자 프로비저닝 인프라에서 실패한 노드 교체

OpenShift Data Foundation의 Red Hat Virtualization 설치 관리자 프로비저닝 인프라(IPI)에서 작동하지 않는 장애가 발생한 노드를 교체하려면 다음 절차를 수행하십시오.

사전 요구 사항

  • Red Hat은 대체 노드는 교체 중인 노드의 유사한 인프라, 리소스 및 디스크로 구성되는 것이 좋습니다.
  • RHOCP(OpenShift Container Platform) 클러스터에 로그인해야 합니다.

절차

  1. OpenShift 웹 콘솔에 로그인하고 컴퓨팅 → 노드를 클릭합니다.
  2. 교체해야 하는 노드를 확인합니다. Machine Name(시스템 이름 )을 기록합니다.

  3. 교체할 노드의 레이블을 가져옵니다. 

    $ oc get nodes --show-labels | grep <node_name>

  4. 교체할 노드에서 실행 중인 mon(있는 경우) 및 OSD를 식별합니다. 

    $ oc get pods -n openshift-storage -o wide | grep -i <node_name>

  5. 이전 단계에서 식별된 포드의 배포를 축소합니다.

    예를 들면 다음과 같습니다. 

    $ oc scale deployment rook-ceph-mon-c --replicas=0 -n openshift-storage
$ oc scale deployment rook-ceph-osd-0 --replicas=0 -n openshift-storage
$ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name>  --replicas=0 -n openshift-storage

  6. 노드를 예약 불가능으로 표시합니다. 

    $ oc adm cordon <node_name>

  7. Terminating 상태에 있는 Pod를 제거합니다. 

    $ oc get pods -A -o wide | grep -i <node_name> |  awk '{if ($4 == "Terminating") system ("oc -n " $1 " delete pods " $2  " --grace-period=0 " " --force ")}'

  8. 노드를 드레이닝합니다. 

    $ oc adm drain <node_name> --force --delete-emptydir-data=true --ignore-daemonsets
  9. 컴퓨팅 → 머신을 클릭합니다. 필요한 시스템을 검색합니다.
  10. 필요한 시스템 외에도 작업 메뉴 (TI) → 머신 삭제를 클릭합니다.

  11. Delete(삭제 )를 클릭하여 머신 삭제를 확인합니다. 새 시스템이 자동으로 생성됩니다. 새 시스템이 시작되고 Running 상태로 전환될 때까지 기다립니다.

    중요

    이 활동에는 최소 5-10분 이상 걸릴 수 있습니다.

  12. OpenShift 웹 콘솔에서 컴퓨팅 → 노드를 클릭합니다. 새 노드가 Ready 상태인지 확인합니다.
  13. 새 장치를 노드에 물리적으로 추가합니다.

  14. 다음 중 하나를 사용하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다.

    출처: 사용자 인터페이스
    1. 새 노드의 경우 작업 메뉴 (PS) → 레이블 편집을 클릭합니다.
    2. cluster.ocs.openshift.io/openshift-storage를 추가하고 Save(저장)를 클릭합니다.
    명령줄 인터페이스의
    • 다음 명령을 실행하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다. 
    $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

  15. OpenShift 로컬 스토리지 운영자가 설치된 네임스페이스를 식별하고 local_storage_project 변수에 할당합니다. 

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)

    예를 들면 다음과 같습니다. 

    $ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)
echo $local_storage_project
openshift-local-storage

  16. localVolumeDiscovery 및 localVolume Set 에 새 작업자 노드를 추가합니다.

    1. 새 노드를 포함하고 실패한 노드를 제거하도록 localVolumeDiscovery 정의를 업데이트합니다. 

      # oc edit -n $local_storage_project localvolumediscovery auto-discover-devices
[...]
   nodeSelector:
    nodeSelectorTerms:
      - matchExpressions:
          - key: kubernetes.io/hostname
            operator: In
            values:
            - server1.example.com
            - server2.example.com
            #- server3.example.com
            - newnode.example.com
[...]

      편집기를 종료하기 전에 저장해야 합니다.

      위의 예에서 server3.example.com 이 제거되었으며 newnode.example.com 이 새 노드입니다.

    2. 편집할 localVolumeSet 을 확인합니다. 

      # oc get -n $local_storage_project localvolumeset
NAME          AGE
localblock   25h

    3. 새 노드를 포함하고 실패한 노드를 제거하도록 localVolumeSet 정의를 업데이트합니다. 

      # oc edit -n $local_storage_project localvolumeset localblock
[...]
   nodeSelector:
    nodeSelectorTerms:
      - matchExpressions:
          - key: kubernetes.io/hostname
            operator: In
            values:
            - server1.example.com
            - server2.example.com
            #- server3.example.com
            - newnode.example.com
[...]

      편집기를 종료하기 전에 저장해야 합니다.

      위의 예에서 server3.example.com 이 제거되었으며 newnode.example.com 이 새 노드입니다.

  17. 새 localblock PV를 사용할 수 있는지 확인합니다. 

    $oc get pv | grep localblock | grep Available
local-pv-551d950     512Gi    RWO    Delete  Available
localblock     26s

  18. openshift-storage 프로젝트로 변경합니다. 

    $ oc project openshift-storage

  19. 클러스터에서 실패한 OSD를 제거합니다. 필요한 경우 여러 개의 실패한 OSD를 지정할 수 있습니다. 

    $ oc process -n openshift-storage ocs-osd-removal \
-p FAILED_OSD_IDS=<failed_osd_id> -p FORCE_OSD_REMOVAL=true | oc create -n openshift-storage -f -
    <failed_osd_id>

    rook-ceph-osd 접두사 바로 뒤에 있는 Pod 이름의 정수입니다.

    명령에 쉼표로 구분된 OSD ID를 추가하여 OSD(예: FAILED_OSD _IDS=0,1,2)와 같이 두 개 이상의 OSD 를 제거할 수 있습니다.

  20. ocs-osd-removal-job 포드 상태를 확인하여 OSD가 제거되었는지 확인합니다.

    상태가 Completed 인지 확인합니다. OSD 제거 작업이 성공했는지 확인합니다. 

    # oc get pod -l job-name=ocs-osd-removal-job -n openshift-storage

  21. OSD 제거가 완료되었는지 확인합니다. 

    $ oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1 | egrep -i 'completed removal'

    출력 예: 

    2022-05-10 06:50:04.501511 I | cephosd: completed removal of OSD 0
    중요

    ocs-osd-removal-job 이 실패하고 Pod가 expected Completed 상태가 아닌 경우 Pod 로그에서 추가 디버깅을 확인합니다.

    예를 들면 다음과 같습니다. 

    # oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1

  22. PVC와 연결된 PV를 식별합니다. 

    # oc get pv -L kubernetes.io/hostname | grep localblock | grep Released
local-pv-d6bf175b  512Gi  RWO  Delete  Released  openshift-storage/ocs-deviceset-0-data-0-6c5pw  localblock  2d22h  server3.example.com

    Released 상태의 PV가 있는 경우 삭제합니다. 

    # oc delete pv <persistent-volume>

    예를 들면 다음과 같습니다. 

    # oc delete pv local-pv-d6bf175b
persistentvolume "local-pv-d6bf175b" deleted

  23. crashcollector 포드 배포를 식별합니다. 

    $ oc get deployment --selector=app=rook-ceph-crashcollector,node_name=failed-node-name -n openshift-storage

    기존 crashcollector 포드 배포가 있는 경우 삭제합니다. 

    $ oc delete deployment --selector=app=rook-ceph-crashcollector,node_name=failed-node-name -n openshift-storage

  24. ocs-osd-removal 작업을 삭제합니다. 

    # oc delete -n openshift-storage job ocs-osd-removal-job

    출력 예: 

    job.batch "ocs-osd-removal-job" deleted

검증 단계

  1. 다음 명령을 실행하고 새 노드가 출력에 있는지 확인합니다. 

    $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

  2. 워크로드 → Pod 를 클릭하여 새 노드의 다음 Pod가 Running 상태인지 확인합니다.

    • csi-cephfsplugin-*
    • csi-rbdplugin-*

  3. 기타 필요한 모든 OpenShift Data Foundation 포드가 Running 상태인지 확인합니다.

    새 incremental mon 이 생성되었으며 Running(실행 중) 상태인지 확인합니다. 

    $ oc get pod -n openshift-storage | grep mon

    출력 예: 

    rook-ceph-mon-a-cd575c89b-b6k66         2/2     Running  0   38m

rook-ceph-mon-b-6776bc469b-tzzt8        2/2     Running  0   38m

rook-ceph-mon-d-5ff5d488b5-7v8xh        2/2     Running  0   4m8s

    OSD 및 Mon은 Running (실행 중) 상태가 되는 데 몇 분이 걸릴 수 있습니다.

  4. 새 OSD 포드가 교체 노드에서 실행 중인지 확인합니다. 

    $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

  5. 선택 사항: 클러스터에서 클러스터 전체 암호화가 활성화된 경우 새 OSD 장치가 암호화되었는지 확인합니다.

    이전 단계에서 식별된 각 새 노드에 대해 다음을 수행합니다.

    1. 디버그 포드를 만들고 선택한 호스트에 대해 chroot 환경을 엽니다. 

      $ oc debug node/<node name>
$ chroot /host

    2. "lsblk"를 실행하고 ocs-deviceset 이름 옆의 "crypt" 키워드를 확인하십시오. 

      $ lsblk
  6. 확인 단계가 실패하는 경우 Red Hat 지원팀에 문의하십시오.