Replacing nodes
OpenShift Data Foundation 클러스터에서 노드를 안전하게 교체하는 방법을 설명합니다.
초록
보다 포괄적 수용을 위한 오픈 소스 용어 교체
Red Hat은 코드, 문서, 웹 속성에서 문제가 있는 용어를 교체하기 위해 최선을 다하고 있습니다. 먼저 마스터(master), 슬레이브(slave), 블랙리스트(blacklist), 화이트리스트(whitelist) 등 네 가지 용어를 교체하고 있습니다. 이러한 변경 작업은 작업 범위가 크므로 향후 여러 릴리스에 걸쳐 점차 구현할 예정입니다. 자세한 내용은 CTO Chris Wright의 메시지를 참조하십시오.
Red Hat 문서에 관한 피드백 제공
문서 개선을 위한 의견을 보내 주십시오. 개선할 내용에 대해 알려주십시오. 피드백을 보내주시려면 다음을 확인하십시오.
특정 문구에 대한 간단한 의견 작성 방법은 다음과 같습니다.
- 문서가 Multi-page HTML 형식으로 표시되는지 확인합니다. 또한 문서 오른쪽 상단에 피드백 버튼이 있는지 확인합니다.
- 마우스 커서를 사용하여 주석 처리하려는 텍스트 부분을 강조 표시합니다.
- 강조 표시된 텍스트 아래에 표시되는 피드백 추가 팝업을 클릭합니다.
- 표시된 지침을 따릅니다.
보다 상세하게 피드백을 제출하려면 다음과 같이 Bugzilla 티켓을 생성하십시오.
- Bugzilla 웹 사이트로 이동하십시오.
- 구성 요소 섹션에서 설명서를 선택합니다.
- 설명 필드에 문서 개선을 위한 제안 사항을 기입하십시오. 관련된 문서의 해당 부분 링크를 알려주십시오.
- 버그 제출을 클릭합니다.
머리말
OpenShift Data Foundation의 경우 운영 노드에 대해 노드 교체를 사전에 수행하고 다음 배포에 대해 오류가 발생한 노드에 다시 활성화될 수 있습니다.
AWS(Amazon Web Services)의 경우
- 사용자 프로비저닝 인프라
- 설치 관리자 프로비저닝 인프라
VMware의 경우
- 사용자 프로비저닝 인프라
- 설치 관리자 프로비저닝 인프라
Red Hat Virtualization의 경우
- 설치 관리자 프로비저닝 인프라
Microsoft Azure의 경우
- 설치 관리자 프로비저닝 인프라
로컬 스토리지 장치의 경우
- 베어 메탈
- VMware
- Red Hat Virtualization
- IBM Power
- 외부 모드에서 스토리지 노드를 교체하려면 Red Hat Ceph Storage 설명서를 참조하십시오.
1장. 동적 장치를 사용하여 배포된 OpenShift Data Foundation
1.1. AWS에 배포된 OpenShift Data Foundation
운영 노드를 교체하려면 다음을 참조하십시오.
오류가 발생한 노드를 교체하려면 다음을 참조하십시오.
1.1.1. 사용자 프로비저닝 인프라에서 작동 중인 AWS 노드 교체
사전 요구 사항
- 교체 노드가 교체한 노드와 유사한 인프라 및 리소스로 구성되어 있는지 확인합니다.
- OpenShift Container Platform 클러스터에 로그인해야 합니다.
절차
- 교체해야 하는 노드를 식별합니다.
노드를 예약 불가능으로 표시합니다.
$ oc adm cordon <node_name><node_name>- 교체해야 하는 노드 이름을 지정합니다.
노드를 드레이닝합니다.
$ oc adm drain <node_name> --force --delete-emptydir-data=true --ignore-daemonsets중요이 활동에는 최소 5-10분 이상이 걸릴 수 있습니다. 이 기간 동안 생성된 Ceph 오류는 임시이며 새 노드에 레이블을 지정할 때 자동으로 해결되며 기능이 작동합니다.
노드를 제거합니다.
$ oc delete nodes <node_name>- 필요한 인프라를 사용하여 새 AWS(Amazon Web Service) 머신 인스턴스를 생성합니다. 플랫폼 요구 사항을 참조하십시오.
- 새 AWS 머신 인스턴스를 사용하여 새 OpenShift Container Platform 노드를 생성합니다.
Pending상태인 OpenShift Container Platform과 관련된 CSR(인증서 서명 요청)이 있는지 확인합니다.$ oc get csr
새 노드에 필요한 모든 OpenShift Container Platform CSR을 승인합니다.
$ oc adm certificate approve <certificate_name><certificate_name>- CSR의 이름을 지정합니다.
- 컴퓨팅 → 노드를 클릭합니다. 새 노드가 Ready 상태인지 확인합니다.
다음 중 하나를 사용하여 새 노드에 OpenShift Data Foundation 레이블을 적용합니다.
- 사용자 인터페이스에서
- 새 노드의 Action Menu (ECDHE) → Edit Labels 를 클릭합니다.
-
cluster.ocs.openshift.io/openshift-storage를 추가하고 저장을 클릭합니다.
- 명령줄 인터페이스
- OpenShift Data Foundation 레이블을 새 노드에 적용합니다.
$ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""<new_node_name>- 새 노드의 이름을 지정합니다.
검증 단계
새 노드가 출력에 있는지 확인합니다.
$ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1
워크로드 → 포드 를 클릭합니다. 새 노드의 다음 Pod가 Running 상태인지 확인합니다.
-
csi-cephfsplugin-* -
csi-rbdplugin-*
-
- 기타 필요한 모든 OpenShift Data Foundation Pod가 Running 상태인지 확인합니다.
새 OSD(Object Storage Device) Pod가 대체 노드에서 실행 중인지 확인합니다.
$ oc get pods -o wide -n openshift-storage| egrep -i <new_node_name> | egrep osd선택 사항: 클러스터에서 클러스터 전체 암호화를 사용하는 경우 새 OSD 장치가 암호화되었는지 확인합니다.
이전 단계에서 확인된 각 새 노드에 대해 다음을 수행합니다.
디버그 Pod를 생성하고 하나 이상의 선택한 호스트에 대한 chroot 환경을 엽니다.
$ oc debug node/<node_name>$ chroot /host
사용 가능한 블록 장치 목록을 표시합니다.
$ lsblk
하나 이상의
ocs-deviceset이름 옆에crypt키워드가 있는지 확인합니다.
- 검증 단계가 실패하면 Red Hat 지원팀에 문의하십시오.
1.1.2. 설치 관리자 프로비저닝 인프라에서 작동 중인 AWS 노드 교체
절차
- OpenShift 웹 콘솔에 로그인하고 컴퓨팅 → 노드를 클릭합니다.
- 교체해야 하는 노드를 식별합니다. 해당 머신 이름을 기록해 둡니다.
노드를 예약 불가능으로 표시합니다.
$ oc adm cordon <node_name><node_name>- 교체해야 하는 노드 이름을 지정합니다.
노드를 드레이닝합니다.
$ oc adm drain <node_name> --force --delete-emptydir-data=true --ignore-daemonsets중요이 활동에는 최소 5-10분 이상이 걸릴 수 있습니다. 이 기간 동안 생성된 Ceph 오류는 임시이며 새 노드에 레이블을 지정할 때 자동으로 해결되며 기능이 작동합니다.
- 컴퓨팅 → 머신을 클릭합니다. 필요한 시스템을 검색합니다.
- 필요한 머신 외에도 작업 메뉴 (ECDHE) → 머신 삭제를 클릭합니다.
- Delete 를 클릭하여 시스템이 삭제되었는지 확인합니다. 새 머신이 자동으로 생성됩니다.
새 머신이 시작되고 Running 상태로 전환될 때까지 기다립니다.
중요이 활동에는 최소 5-10분 이상이 걸릴 수 있습니다.
- 컴퓨팅 → 노드를 클릭합니다. 새 노드가 Ready 상태인지 확인합니다.
OpenShift Data Foundation 레이블을 새 노드에 적용합니다.
- 사용자 인터페이스에서
- 새 노드의 Action Menu (ECDHE) → Edit Labels 를 클릭합니다.
-
cluster.ocs.openshift.io/openshift-storage를 추가하고 저장을 클릭합니다.
- 명령줄 인터페이스
- OpenShift Data Foundation 레이블을 새 노드에 적용합니다.
$ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""<new_node_name>- 새 노드의 이름을 지정합니다.
검증 단계
새 노드가 출력에 있는지 확인합니다.
$ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1
워크로드 → 포드 를 클릭합니다. 새 노드의 다음 Pod가 Running 상태인지 확인합니다.
-
csi-cephfsplugin-* -
csi-rbdplugin-*
-
- 기타 필요한 모든 OpenShift Data Foundation Pod가 Running 상태인지 확인합니다.
새 OSD(Object Storage Device) Pod가 대체 노드에서 실행 중인지 확인합니다.
$ oc get pods -o wide -n openshift-storage| egrep -i <new_node_name> | egrep osd선택 사항: 클러스터에서 클러스터 전체 암호화를 사용하는 경우 새 OSD 장치가 암호화되었는지 확인합니다.
이전 단계에서 확인된 각 새 노드에 대해 다음을 수행합니다.
디버그 Pod를 생성하고 하나 이상의 선택한 호스트에 대한 chroot 환경을 엽니다.
$ oc debug node/<node_name>$ chroot /host
사용 가능한 블록 장치 목록을 표시합니다.
$ lsblk
하나 이상의
ocs-deviceset이름 옆에crypt키워드가 있는지 확인합니다.
- 검증 단계가 실패하면 Red Hat 지원팀에 문의하십시오.
1.1.3. 사용자 프로비저닝 인프라에서 실패한 AWS 노드 교체
사전 요구 사항
- 교체 노드가 교체한 노드와 유사한 인프라 및 리소스로 구성되어 있는지 확인합니다.
- OpenShift Container Platform 클러스터에 로그인해야 합니다.
절차
- 교체해야 하는 노드의 AWS(Amazon Web Service) 머신 인스턴스를 확인합니다.
- AWS에 로그인하고 사용자가 식별한 AWS 머신 인스턴스를 종료합니다.
- 필요한 인프라를 사용하여 새 AWS 머신 인스턴스를 생성합니다. 플랫폼 요구 사항을 참조하십시오.
- 새 AWS 머신 인스턴스를 사용하여 새 OpenShift Container Platform 노드를 생성합니다.
Pending상태인 OpenShift Container Platform과 관련된 CSR(인증서 서명 요청)이 있는지 확인합니다.$ oc get csr
새 노드에 필요한 모든 OpenShift Container Platform CSR을 승인합니다.
$ oc adm certificate approve <certificate_name><certificate_name>- CSR의 이름을 지정합니다.
- 컴퓨팅 → 노드를 클릭합니다. 새 노드가 Ready 상태인지 확인합니다.
다음 중 하나를 사용하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다.
- 사용자 인터페이스에서
- 새 노드의 Action Menu (ECDHE) → Edit Labels 를 클릭합니다.
-
cluster.ocs.openshift.io/openshift-storage를 추가하고 저장을 클릭합니다.
- 명령줄 인터페이스
- 다음 명령을 실행하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다.
$ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""<new_node_name>- 새 노드의 이름을 지정합니다.
검증 단계
새 노드가 출력에 있는지 확인합니다.
$ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1
워크로드 → 포드 를 클릭합니다. 새 노드의 다음 Pod가 Running 상태인지 확인합니다.
-
csi-cephfsplugin-* -
csi-rbdplugin-*
-
- 기타 필요한 모든 OpenShift Data Foundation Pod가 Running 상태인지 확인합니다.
새 OSD(Object Storage Device) Pod가 대체 노드에서 실행 중인지 확인합니다.
$ oc get pods -o wide -n openshift-storage| egrep -i <new_node_name> | egrep osd선택 사항: 클러스터에서 클러스터 전체 암호화를 사용하는 경우 새 OSD 장치가 암호화되었는지 확인합니다.
이전 단계에서 확인된 각 새 노드에 대해 다음을 수행합니다.
디버그 Pod를 생성하고 하나 이상의 선택한 호스트에 대한 chroot 환경을 엽니다.
$ oc debug node/<node_name>$ chroot /host
사용 가능한 블록 장치 목록을 표시합니다.
$ lsblk
하나 이상의
ocs-deviceset이름 옆에crypt키워드가 있는지 확인합니다.
- 검증 단계가 실패하면 Red Hat 지원팀에 문의하십시오.
1.1.4. 설치 관리자 프로비저닝 인프라에서 실패한 AWS 노드 교체
절차
- OpenShift 웹 콘솔에 로그인하고 컴퓨팅 → 노드를 클릭합니다.
- 결함이 있는 노드를 식별하고 해당 머신 이름을 클릭합니다.
- 작업 → 주석 편집을 클릭하고 추가를 클릭합니다.
-
machine.openshift.io/exclude-node-draining을 추가하고 저장을 클릭합니다. - 작업 → 머신 삭제를 클릭하고 삭제 를 클릭합니다.
새 머신이 자동으로 생성되어 새 머신이 시작될 때까지 기다립니다.
중요이 활동에는 최소 5-10분 이상이 걸릴 수 있습니다. 이 기간 동안 생성된 Ceph 오류는 임시이며 새 노드에 레이블을 지정하면 자동으로 해결됩니다.
- 컴퓨팅 → 노드를 클릭합니다. 새 노드가 Ready 상태인지 확인합니다.
다음 중 하나를 사용하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다.
- 사용자 인터페이스에서
- 새 노드의 Action Menu (ECDHE) → Edit Labels 를 클릭합니다.
-
cluster.ocs.openshift.io/openshift-storage를 추가하고 저장을 클릭합니다.
- 명령줄 인터페이스
- OpenShift Data Foundation 레이블을 새 노드에 적용합니다.
$ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""<new_node_name>- 새 노드의 이름을 지정합니다.
- 선택 사항: 실패한 AWS(Amazon Web Service) 인스턴스가 자동으로 제거되지 않으면 AWS 콘솔에서 인스턴스를 종료합니다.
검증 단계
새 노드가 출력에 있는지 확인합니다.
$ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1
워크로드 → 포드 를 클릭합니다. 새 노드의 다음 Pod가 Running 상태인지 확인합니다.
-
csi-cephfsplugin-* -
csi-rbdplugin-*
-
- 기타 필요한 모든 OpenShift Data Foundation Pod가 Running 상태인지 확인합니다.
새 OSD(Object Storage Device) Pod가 대체 노드에서 실행 중인지 확인합니다.
$ oc get pods -o wide -n openshift-storage| egrep -i <new_node_name> | egrep osd선택 사항: 클러스터에서 클러스터 전체 암호화를 사용하는 경우 새 OSD 장치가 암호화되었는지 확인합니다.
이전 단계에서 확인된 각 새 노드에 대해 다음을 수행합니다.
디버그 Pod를 생성하고 하나 이상의 선택한 호스트에 대한 chroot 환경을 엽니다.
$ oc debug node/<node_name>$ chroot /host
사용 가능한 블록 장치 목록을 표시합니다.
$ lsblk
하나 이상의
ocs-deviceset이름 옆에crypt키워드가 있는지 확인합니다.
- 검증 단계가 실패하면 Red Hat 지원팀에 문의하십시오.
1.2. VMware에 배포된 OpenShift Data Foundation
운영 노드를 교체하려면 다음을 참조하십시오.
오류가 발생한 노드를 교체하려면 다음을 참조하십시오.
1.2.1. 사용자 프로비저닝 인프라에서 작동 중인 VMware 노드 교체
사전 요구 사항
- 교체 노드가 교체한 노드와 유사한 인프라 및 리소스로 구성되어 있는지 확인합니다.
- OpenShift Container Platform 클러스터에 로그인해야 합니다.
절차
- 교체가 필요한 노드와 해당 VM(가상 머신)을 식별합니다.
노드를 예약 불가능으로 표시합니다.
$ oc adm cordon <node_name><node_name>- 교체해야 하는 노드 이름을 지정합니다.
노드를 드레이닝합니다.
$ oc adm drain <node_name> --force --delete-emptydir-data=true --ignore-daemonsets중요이 활동에는 최소 5-10분 이상이 걸릴 수 있습니다. 이 기간 동안 생성된 Ceph 오류는 임시이며 새 노드에 레이블을 지정할 때 자동으로 해결되며 기능이 작동합니다.
노드를 제거합니다.
$ oc delete nodes <node_name>VMware vSphere에 로그인하고 사용자가 식별한 VM을 종료합니다.
중요VM을 인벤토리에서만 삭제하고 디스크에서는 삭제합니다.
- 필요한 인프라를 사용하여 VMware vSphere에 새 VM을 생성합니다. 플랫폼 요구 사항을 참조하십시오.
- 새 VM을 사용하여 새 OpenShift Container Platform 작업자 노드를 생성합니다.
Pending상태인 OpenShift Container Platform과 관련된 CSR(인증서 서명 요청)이 있는지 확인합니다.$ oc get csr
새 노드에 필요한 모든 OpenShift Container Platform CSR을 승인합니다.
$ oc adm certificate approve <certificate_name>
<certificate_name>- CSR의 이름을 지정합니다.
- 컴퓨팅 → 노드를 클릭합니다. 새 노드가 Ready 상태인지 확인합니다.
다음 중 하나를 사용하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다.
- 사용자 인터페이스에서
- 새 노드의 Action Menu (ECDHE) → Edit Labels 를 클릭합니다.
-
cluster.ocs.openshift.io/openshift-storage를 추가하고 저장을 클릭합니다.
- 명령줄 인터페이스
- OpenShift Data Foundation 레이블을 새 노드에 적용합니다.
$ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""<new_node_name>- 새 노드의 이름을 지정합니다.
검증 단계
새 노드가 출력에 있는지 확인합니다.
$ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1
워크로드 → 포드 를 클릭합니다. 새 노드의 다음 Pod가 Running 상태인지 확인합니다.
-
csi-cephfsplugin-* -
csi-rbdplugin-*
-
- 기타 필요한 모든 OpenShift Data Foundation Pod가 Running 상태인지 확인합니다.
새 OSD(Object Storage Device) Pod가 대체 노드에서 실행 중인지 확인합니다.
$ oc get pods -o wide -n openshift-storage| egrep -i <new_node_name> | egrep osd선택 사항: 클러스터에서 클러스터 전체 암호화를 사용하는 경우 새 OSD 장치가 암호화되었는지 확인합니다.
이전 단계에서 확인된 각 새 노드에 대해 다음을 수행합니다.
디버그 Pod를 생성하고 하나 이상의 선택한 호스트에 대한 chroot 환경을 엽니다.
$ oc debug node/<node_name>$ chroot /host
사용 가능한 블록 장치 목록을 표시합니다.
$ lsblk
하나 이상의
ocs-deviceset이름 옆에crypt키워드가 있는지 확인합니다.
- 검증 단계가 실패하면 Red Hat 지원팀에 문의하십시오.
1.2.2. 설치 관리자 프로비저닝 인프라에서 운영 중인 VMware 노드 교체
절차
- OpenShift 웹 콘솔에 로그인하고 컴퓨팅 → 노드를 클릭합니다.
- 교체해야 하는 노드를 식별합니다. 해당 머신 이름을 기록해 둡니다.
노드를 예약 불가능으로 표시합니다.
$ oc adm cordon <node_name><node_name>- 교체해야 하는 노드 이름을 지정합니다.
노드를 드레이닝합니다.
$ oc adm drain <node_name> --force --delete-emptydir-data=true --ignore-daemonsets중요이 활동에는 최소 5-10분 이상이 걸릴 수 있습니다. 이 기간 동안 생성된 Ceph 오류는 임시이며 새 노드에 레이블을 지정할 때 자동으로 해결되며 기능이 작동합니다.
- 컴퓨팅 → 머신을 클릭합니다. 필요한 시스템을 검색합니다.
- 필요한 머신 외에도 작업 메뉴 (ECDHE) → 머신 삭제를 클릭합니다.
- Delete 를 클릭하여 시스템이 삭제되었는지 확인합니다. 새 머신이 자동으로 생성됩니다.
새 머신이 시작되고 Running 상태로 전환될 때까지 기다립니다.
중요이 활동에는 최소 5-10분 이상이 걸릴 수 있습니다.
- 컴퓨팅 → 노드를 클릭합니다. 새 노드가 Ready 상태인지 확인합니다.
다음 중 하나를 사용하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다.
- 사용자 인터페이스에서
- 새 노드의 Action Menu (ECDHE) → Edit Labels 를 클릭합니다.
-
cluster.ocs.openshift.io/openshift-storage를 추가하고 저장을 클릭합니다.
- 명령줄 인터페이스
- OpenShift Data Foundation 레이블을 새 노드에 적용합니다.
$ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""<new_node_name>- 새 노드의 이름을 지정합니다.
검증 단계
새 노드가 출력에 있는지 확인합니다.
$ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1
워크로드 → 포드 를 클릭합니다. 새 노드의 다음 Pod가 Running 상태인지 확인합니다.
-
csi-cephfsplugin-* -
csi-rbdplugin-*
-
- 기타 필요한 모든 OpenShift Data Foundation Pod가 Running 상태인지 확인합니다.
새 OSD(Object Storage Device) Pod가 대체 노드에서 실행 중인지 확인합니다.
$ oc get pods -o wide -n openshift-storage| egrep -i <new_node_name> | egrep osd선택 사항: 클러스터에서 클러스터 전체 암호화를 사용하는 경우 새 OSD 장치가 암호화되었는지 확인합니다.
이전 단계에서 확인된 각 새 노드에 대해 다음을 수행합니다.
디버그 Pod를 생성하고 하나 이상의 선택한 호스트에 대한 chroot 환경을 엽니다.
$ oc debug node/<node_name>$ chroot /host
사용 가능한 블록 장치 목록을 표시합니다.
$ lsblk
하나 이상의
ocs-deviceset이름 옆에crypt키워드가 있는지 확인합니다.
- 검증 단계가 실패하면 Red Hat 지원팀에 문의하십시오.
1.2.3. 사용자 프로비저닝 인프라에서 오류가 발생한 VMware 노드 교체
사전 요구 사항
- 교체 노드가 교체한 노드와 유사한 인프라 및 리소스로 구성되어 있는지 확인합니다.
- OpenShift Container Platform 클러스터에 로그인해야 합니다.
절차
- 교체해야 하는 노드와 해당 VM(가상 머신)을 식별합니다.
노드를 제거합니다.
$ oc delete nodes <node_name><node_name>- 교체해야 하는 노드 이름을 지정합니다.
VMware vSphere에 로그인하고 식별한 VM을 종료합니다.
중요VM을 인벤토리에서만 삭제하고 디스크에서는 삭제합니다.
- 필요한 인프라를 사용하여 VMware vSphere에 새 VM을 생성합니다. 플랫폼 요구 사항을 참조하십시오.
- 새 VM을 사용하여 새 OpenShift Container Platform 작업자 노드를 생성합니다.
Pending상태인 OpenShift Container Platform과 관련된 CSR(인증서 서명 요청)이 있는지 확인합니다.$ oc get csr
새 노드에 필요한 모든 OpenShift Container Platform CSR을 승인합니다.
$ oc adm certificate approve <certificate_name><certificate_name>- CSR의 이름을 지정합니다.
- 컴퓨팅 → 노드를 클릭합니다. 새 노드가 Ready 상태인지 확인합니다.
다음 중 하나를 사용하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다.
- 사용자 인터페이스에서
- 새 노드의 Action Menu (ECDHE) → Edit Labels 를 클릭합니다.
-
cluster.ocs.openshift.io/openshift-storage를 추가하고 저장을 클릭합니다.
- 명령줄 인터페이스
- OpenShift Data Foundation 레이블을 새 노드에 적용합니다.
$ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""<new_node_name>- 새 노드의 이름을 지정합니다.
검증 단계
새 노드가 출력에 있는지 확인합니다.
$ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1
워크로드 → 포드 를 클릭합니다. 새 노드의 다음 Pod가 Running 상태인지 확인합니다.
-
csi-cephfsplugin-* -
csi-rbdplugin-*
-
- 기타 필요한 모든 OpenShift Data Foundation Pod가 Running 상태인지 확인합니다.
새 OSD(Object Storage Device) Pod가 대체 노드에서 실행 중인지 확인합니다.
$ oc get pods -o wide -n openshift-storage| egrep -i <new_node_name> | egrep osd선택 사항: 클러스터에서 클러스터 전체 암호화를 사용하는 경우 새 OSD 장치가 암호화되었는지 확인합니다.
이전 단계에서 확인된 각 새 노드에 대해 다음을 수행합니다.
디버그 Pod를 생성하고 하나 이상의 선택한 호스트에 대한 chroot 환경을 엽니다.
$ oc debug node/<node_name>$ chroot /host
사용 가능한 블록 장치 목록을 표시합니다.
$ lsblk
하나 이상의
ocs-deviceset이름 옆에crypt키워드가 있는지 확인합니다.
- 검증 단계가 실패하면 Red Hat 지원팀에 문의하십시오.
1.2.4. 설치 관리자 프로비저닝 인프라에서 오류가 발생한 VMware 노드 교체
절차
- OpenShift 웹 콘솔에 로그인하고 컴퓨팅 → 노드를 클릭합니다.
- 결함이 있는 노드를 식별하고 해당 머신 이름을 클릭합니다.
- 작업 → 주석 편집을 클릭하고 추가를 클릭합니다.
-
machine.openshift.io/exclude-node-draining을 추가하고 저장을 클릭합니다. - 작업 → 머신 삭제를 클릭하고 삭제 를 클릭합니다.
새 머신이 자동으로 생성됩니다. te 새 머신이 시작될 때까지 기다립니다.
중요이 활동에는 최소 5-10분 이상이 걸릴 수 있습니다. 이 기간 동안 생성된 Ceph 오류는 임시이며 새 노드에 레이블을 지정할 때 자동으로 해결되며 기능이 작동합니다.
- 컴퓨팅 → 노드를 클릭합니다. 새 노드가 Ready 상태인지 확인합니다.
다음 중 하나를 사용하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다.
- 사용자 인터페이스에서
- 새 노드의 Action Menu (ECDHE) → Edit Labels 를 클릭합니다.
-
cluster.ocs.openshift.io/openshift-storage를 추가하고 저장을 클릭합니다.
- 명령줄 인터페이스
- OpenShift Data Foundation 레이블을 새 노드에 적용합니다.
$ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""<new_node_name>- 새 노드의 이름을 지정합니다.
- 선택 사항: 실패한 VM(가상 머신)이 자동으로 제거되지 않으면 VMware vSphere에서 VM을 종료합니다.
검증 단계
새 노드가 출력에 있는지 확인합니다.
$ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1
워크로드 → 포드 를 클릭합니다. 새 노드의 다음 Pod가 Running 상태인지 확인합니다.
-
csi-cephfsplugin-* -
csi-rbdplugin-*
-
- 기타 필요한 모든 OpenShift Data Foundation Pod가 Running 상태인지 확인합니다.
새 OSD(Object Storage Device) Pod가 대체 노드에서 실행 중인지 확인합니다.
$ oc get pods -o wide -n openshift-storage| egrep -i <new_node_name> | egrep osd선택 사항: 클러스터에서 클러스터 전체 암호화를 사용하는 경우 새 OSD 장치가 암호화되었는지 확인합니다.
이전 단계에서 확인된 각 새 노드에 대해 다음을 수행합니다.
디버그 Pod를 생성하고 하나 이상의 선택한 호스트에 대한 chroot 환경을 엽니다.
$ oc debug node/<node_name>$ chroot /host
사용 가능한 블록 장치 목록을 표시합니다.
$ lsblk
하나 이상의
ocs-deviceset이름 옆에crypt키워드가 있는지 확인합니다.
- 검증 단계가 실패하면 Red Hat 지원팀에 문의하십시오.
1.3. Red Hat Virtualization에 배포된 OpenShift Data Foundation
1.3.1. 설치 관리자 프로비저닝 인프라에서 작동하는 Red Hat Virtualization 노드 교체
절차
- OpenShift 웹 콘솔에 로그인하고 컴퓨팅 → 노드를 클릭합니다.
- 교체해야 하는 노드를 식별합니다. 해당 머신 이름을 기록해 둡니다.
노드를 예약 불가능으로 표시합니다.
$ oc adm cordon <node_name><node_name>- 교체해야 하는 노드 이름을 지정합니다.
노드를 드레이닝합니다.
$ oc adm drain <node_name> --force --delete-emptydir-data=true --ignore-daemonsets중요이 활동에는 최소 5-10분 이상이 걸릴 수 있습니다. 이 기간 동안 생성된 Ceph 오류는 임시이며 새 노드에 레이블을 지정할 때 자동으로 해결되며 기능이 작동합니다.
- 컴퓨팅 → 머신을 클릭합니다. 필요한 시스템을 검색합니다.
- 필요한 머신 외에도 작업 메뉴 (ECDHE) → 머신 삭제를 클릭합니다.
Delete 를 클릭하여 시스템이 삭제되었는지 확인합니다. 새 머신이 자동으로 생성됩니다. 새 머신이 시작되고
Running상태로 전환될 때까지 기다립니다.중요이 활동에는 최소 5-10분 이상이 걸릴 수 있습니다.
- 컴퓨팅 → 노드를 클릭합니다. 새 노드가 Ready 상태인지 확인합니다.
다음 중 하나를 사용하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다.
- 사용자 인터페이스에서
- 새 노드의 Action Menu (ECDHE) → Edit Labels 를 클릭합니다.
-
cluster.ocs.openshift.io/openshift-storage를 추가하고 저장을 클릭합니다.
- 명령줄 인터페이스
- OpenShift Data Foundation 레이블을 새 노드에 적용합니다.
$ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""<new_node_name>- 새 노드의 이름을 지정합니다.
검증 단계
새 노드가 출력에 있는지 확인합니다.
$ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1
워크로드 → 포드 를 클릭합니다. 새 노드의 다음 Pod가 Running 상태인지 확인합니다.
-
csi-cephfsplugin-* -
csi-rbdplugin-*
-
- 기타 필요한 모든 OpenShift Data Foundation Pod가 Running 상태인지 확인합니다.
새 OSD(Object Storage Device) Pod가 대체 노드에서 실행 중인지 확인합니다.
$ oc get pods -o wide -n openshift-storage| egrep -i <new_node_name> | egrep osd선택 사항: 클러스터에서 클러스터 전체 암호화를 사용하는 경우 새 OSD 장치가 암호화되었는지 확인합니다.
이전 단계에서 확인된 각 새 노드에 대해 다음을 수행합니다.
디버그 Pod를 생성하고 하나 이상의 선택한 호스트에 대한 chroot 환경을 엽니다.
$ oc debug node/<node_name>$ chroot /host
사용 가능한 블록 장치 목록을 표시합니다.
$ lsblk
하나 이상의
ocs-deviceset이름 옆에crypt키워드가 있는지 확인합니다.
- 검증 단계가 실패하면 Red Hat 지원팀에 문의하십시오.
1.3.2. 설치 관리자가 프로비저닝한 인프라에서 실패한 Red Hat Virtualization 노드 교체
절차
- OpenShift 웹 콘솔에 로그인하고 컴퓨팅 → 노드를 클릭합니다.
- 결함이 있는 노드를 식별합니다. 해당 머신 이름을 기록해 둡니다.
VM(가상 머신) 인스턴스를 삭제할 때 디스크가 삭제되지 않는지 확인합니다.
Red Hat Virtualization 관리 포털에 로그인하고 실패한 VM에서 모니터 Pod 및 OSD(오브젝트 스토리지 장치)와 연결된 가상 디스크를 제거합니다.
중요하나 이상의 디스크를 제거할 때는 영구 제거 옵션을 선택하지 마십시오.
- OpenShift 웹 콘솔에서 컴퓨팅 → 머신을 클릭합니다. 필요한 시스템을 검색합니다.
- 작업 → 주석 편집을 클릭하고 추가를 클릭합니다.
-
machine.openshift.io/exclude-node-draining을 추가하고 저장을 클릭합니다. 작업 → 머신 삭제를 클릭하고 삭제 를 클릭합니다.
새 머신이 자동으로 생성됩니다. 새 머신이 시작될 때까지 기다립니다.
중요이 활동에는 최소 5-10분 이상이 걸릴 수 있습니다. 이 기간 동안 생성된 Ceph 오류는 임시이며 새 노드에 레이블을 지정할 때 자동으로 해결되며 기능이 작동합니다.
- 컴퓨팅 → 노드를 클릭합니다. 새 노드가 Ready 상태인지 확인합니다.
다음 중 하나를 사용하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다.
- 사용자 인터페이스에서
- 새 노드의 Action Menu (ECDHE) → Edit Labels 를 클릭합니다.
-
cluster.ocs.openshift.io/openshift-storage를 추가하고 저장을 클릭합니다.
- 명령줄 인터페이스
- OpenShift Data Foundation 레이블을 새 노드에 적용합니다.
$ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""<new_node_name>- 새 노드의 이름을 지정합니다.
- 선택 사항: 실패한 VM이 자동으로 제거되지 않으면 Red Hat Virtualization 관리 포털에서 VM을 제거하십시오.
검증 단계
새 노드가 출력에 있는지 확인합니다.
$ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1
워크로드 → 포드 를 클릭합니다. 새 노드의 다음 Pod가 Running 상태인지 확인합니다.
-
csi-cephfsplugin-* -
csi-rbdplugin-*
-
- 기타 필요한 모든 OpenShift Data Foundation Pod가 Running 상태인지 확인합니다.
새 OSD(Object Storage Device) Pod가 대체 노드에서 실행 중인지 확인합니다.
$ oc get pods -o wide -n openshift-storage| egrep -i <new_node_name> | egrep osd선택 사항: 클러스터에서 클러스터 전체 암호화를 사용하는 경우 새 OSD 장치가 암호화되었는지 확인합니다.
이전 단계에서 확인된 각 새 노드에 대해 다음을 수행합니다.
디버그 Pod를 생성하고 하나 이상의 선택한 호스트에 대한 chroot 환경을 엽니다.
$ oc debug node/<node_name>$ chroot /host
사용 가능한 블록 장치 목록을 표시합니다.
$ lsblk
하나 이상의
ocs-deviceset이름 옆에crypt키워드가 있는지 확인합니다.
- 검증 단계가 실패하면 Red Hat 지원팀에 문의하십시오.
1.4. Microsoft Azure에 배포된 OpenShift Data Foundation
1.4.1. Azure 설치 관리자 프로비저닝 인프라에서 운영 노드 교체
절차
- OpenShift 웹 콘솔에 로그인하고 컴퓨팅 → 노드를 클릭합니다.
- 교체해야 하는 노드를 식별합니다. 해당 머신 이름을 기록해 둡니다.
노드를 예약 불가능으로 표시합니다.
$ oc adm cordon <node_name><node_name>- 교체해야 하는 노드 이름을 지정합니다.
노드를 드레이닝합니다.
$ oc adm drain <node_name> --force --delete-emptydir-data=true --ignore-daemonsets중요이 활동에는 최소 5-10분 이상이 걸릴 수 있습니다. 이 기간 동안 생성된 Ceph 오류는 임시이며 새 노드에 레이블을 지정할 때 자동으로 해결되며 기능이 작동합니다.
- 컴퓨팅 → 머신을 클릭합니다. 필요한 시스템을 검색합니다.
- 필요한 머신 외에도 작업 메뉴 (ECDHE) → 머신 삭제를 클릭합니다.
- Delete 를 클릭하여 시스템이 삭제되었는지 확인합니다. 새 머신이 자동으로 생성됩니다.
새 머신이 시작되고 Running 상태로 전환될 때까지 기다립니다.
중요이 활동에는 최소 5-10분 이상이 걸릴 수 있습니다.
- 컴퓨팅 → 노드를 클릭합니다. 새 노드가 Ready 상태인지 확인합니다.
다음 중 하나를 사용하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다.
- 사용자 인터페이스에서
- 새 노드의 Action Menu (ECDHE) → Edit Labels 를 클릭합니다.
-
cluster.ocs.openshift.io/openshift-storage를 추가하고 저장을 클릭합니다.
- 명령줄 인터페이스
- 다음 명령을 실행하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다.
$ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""<new_node_name>- 새 노드의 이름을 지정합니다.
검증 단계
새 노드가 출력에 있는지 확인합니다.
$ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1
워크로드→ 포드 를 클릭합니다. 새 노드의 다음 Pod가 Running 상태인지 확인합니다.
-
csi-cephfsplugin-* -
csi-rbdplugin-*
-
- 기타 필요한 모든 OpenShift Data Foundation Pod가 Running 상태인지 확인합니다.
새 OSD(Object Storage Device) Pod가 대체 노드에서 실행 중인지 확인합니다.
$ oc get pods -o wide -n openshift-storage| egrep -i <new_node_name> | egrep osd선택 사항: 클러스터에서 클러스터 전체 암호화를 사용하는 경우 새 OSD 장치가 암호화되었는지 확인합니다.
이전 단계에서 확인된 각 새 노드에 대해 다음을 수행합니다.
디버그 Pod를 생성하고 하나 이상의 선택한 호스트에 대한 chroot 환경을 엽니다.
$ oc debug node/<node_name>$ chroot /host
사용 가능한 블록 장치 목록을 표시합니다.
$ lsblk
하나 이상의
ocs-deviceset이름 옆에crypt키워드가 있는지 확인합니다.
- 검증 단계가 실패하면 Red Hat 지원팀에 문의하십시오.
1.4.2. Azure 설치 관리자 프로비저닝 인프라에서 실패한 노드 교체
절차
- OpenShift 웹 콘솔에 로그인하고 컴퓨팅 → 노드를 클릭합니다.
- 결함이 있는 노드를 식별하고 해당 머신 이름을 클릭합니다.
- 작업 → 주석 편집을 클릭하고 추가를 클릭합니다.
-
machine.openshift.io/exclude-node-draining을 추가하고 저장을 클릭합니다. - 작업 → 머신 삭제를 클릭하고 삭제 를 클릭합니다.
새 머신이 자동으로 생성됩니다. 새 머신이 시작될 때까지 기다립니다.
중요이 활동에는 최소 5-10분 이상이 걸릴 수 있습니다. 이 기간 동안 생성된 Ceph 오류는 임시이며 새 노드에 레이블을 지정할 때 자동으로 해결되며 기능이 작동합니다.
- 컴퓨팅 → 노드를 클릭합니다. 새 노드가 Ready 상태인지 확인합니다.
다음 중 하나를 사용하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다.
- 사용자 인터페이스에서
- 새 노드의 Action Menu (ECDHE) → Edit Labels 를 클릭합니다.
-
cluster.ocs.openshift.io/openshift-storage를 추가하고 저장을 클릭합니다.
- 명령줄 인터페이스
- OpenShift Data Foundation 레이블을 새 노드에 적용합니다.
$ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""<new_node_name>- 새 노드의 이름을 지정합니다.
- 선택 사항: 실패한 Azure 인스턴스가 자동으로 제거되지 않으면 Azure 콘솔에서 인스턴스를 종료합니다.
검증 단계
새 노드가 출력에 있는지 확인합니다.
$ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1
워크로드 → 포드 를 클릭합니다. 새 노드의 다음 Pod가 Running 상태인지 확인합니다.
-
csi-cephfsplugin-* -
csi-rbdplugin-*
-
- 기타 필요한 모든 OpenShift Data Foundation Pod가 Running 상태인지 확인합니다.
새 OSD(Object Storage Device) Pod가 대체 노드에서 실행 중인지 확인합니다.
$ oc get pods -o wide -n openshift-storage| egrep -i <new_node_name> | egrep osd선택 사항: 클러스터에서 클러스터 전체 암호화를 사용하는 경우 새 OSD 장치가 암호화되었는지 확인합니다.
이전 단계에서 확인된 각 새 노드에 대해 다음을 수행합니다.
디버그 Pod를 생성하고 하나 이상의 선택한 호스트에 대한 chroot 환경을 엽니다.
$ oc debug node/<node_name>$ chroot /host
사용 가능한 블록 장치 목록을 표시합니다.
$ lsblk
하나 이상의
ocs-deviceset이름 옆에crypt키워드가 있는지 확인합니다.
- 검증 단계가 실패하면 Red Hat 지원팀에 문의하십시오.
2장. 로컬 스토리지 장치를 사용하여 배포된 OpenShift Data Foundation
2.1. 베어 메탈 인프라에서 스토리지 노드 교체
- 운영 노드를 교체하려면 2.1.1절. “베어 메탈 사용자 프로비저닝 인프라에서 작동 노드 교체” 을 참조하십시오.
- 오류가 발생한 노드를 교체하려면 2.1.2절. “베어 메탈 사용자 프로비저닝 인프라에서 실패한 노드 교체” 을 참조하십시오.
2.1.1. 베어 메탈 사용자 프로비저닝 인프라에서 작동 노드 교체
사전 요구 사항
- 교체 노드가 교체한 노드와 유사한 인프라, 리소스 및 디스크로 구성되어 있는지 확인합니다.
- OpenShift Container Platform 클러스터에 로그인해야 합니다.
절차
노드를 식별하고 교체해야 하는 노드의 레이블을 가져옵니다.
$ oc get nodes --show-labels | grep <node_name><node_name>- 교체해야 하는 노드 이름을 지정합니다.
교체해야 하는 노드에서 실행 중인 모니터 Pod(있는 경우) 및 OSD를 확인합니다.
$ oc get pods -n openshift-storage -o wide | grep -i <node_name>이전 단계에서 확인한 Pod의 배포를 축소합니다.
예를 들면 다음과 같습니다.
$ oc scale deployment rook-ceph-mon-c --replicas=0 -n openshift-storage
$ oc scale deployment rook-ceph-osd-0 --replicas=0 -n openshift-storage
$ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name> --replicas=0 -n openshift-storage노드를 예약 불가능으로 표시합니다.
$ oc adm cordon <node_name>노드를 드레이닝합니다.
$ oc adm drain <node_name> --force --delete-emptydir-data=true --ignore-daemonsets노드를 제거합니다.
$ oc delete node <node_name>필수 인프라를 사용하여 새 베어 메탈 머신을 가져옵니다. 베어 메탈에 설치를 참조하십시오.
중요3노드 OpenShift 컴팩트 베어 메탈 클러스터에 OpenShift Data Foundation을 설치할 때 마스터 노드를 교체하는 방법에 대한 자세한 내용은 OpenShift Container Platform 설명서의 백업 및 복원 가이드를 참조하십시오.
- 새로운 베어 메탈 머신을 사용하여 새 OpenShift Container Platform 노드를 생성합니다.
Pending상태인 OpenShift Container Platform과 관련된 CSR(인증서 서명 요청)이 있는지 확인합니다.$ oc get csr
새 노드에 필요한 모든 OpenShift Container Platform CSR을 승인합니다.
$ oc adm certificate approve <certificate_name><certificate_name>- CSR의 이름을 지정합니다.
- OpenShift 웹 콘솔에서 컴퓨팅 → 노드를 클릭합니다. 새 노드가 Ready 상태인지 확인합니다.
다음 중 하나를 사용하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다.
- 사용자 인터페이스에서
- 새 노드의 Action Menu (ECDHE) → Edit Labels 를 클릭합니다.
-
cluster.ocs.openshift.io/openshift-storage를 추가하고 저장을 클릭합니다.
- 명령줄 인터페이스
- OpenShift Data Foundation 레이블을 새 노드에 적용합니다.
$ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""<new_node_name>- 새 노드의 이름을 지정합니다.
OpenShift 로컬 스토리지 Operator가 설치된 네임스페이스를 확인하고
local_storage_project변수에 할당합니다.$ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)예를 들면 다음과 같습니다.
$ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)echo $local_storage_project
출력 예:
openshift-local-storage
localVolumeDiscovery및localVolumeSet에 새 작업자 노드를 추가합니다.새 노드를 포함하도록
localVolumeDiscovery정의를 업데이트하고 실패한 노드를 제거합니다.# oc edit -n $local_storage_project localvolumediscovery auto-discover-devices
출력 예:
[...] nodeSelector: nodeSelectorTerms: - matchExpressions: - key: kubernetes.io/hostname operator: In values: - server1.example.com - server2.example.com #- server3.example.com - newnode.example.com [...]편집기를 종료하기 전에 저장해야 합니다.
이 예에서는
server3.example.com이 제거되고newnode.example.com이 새 노드입니다.편집할
localVolumeSet을 결정합니다.# oc get -n $local_storage_project localvolumeset
출력 예:
NAME AGE localblock 25h
새 노드를 포함하도록
localVolumeSet정의를 업데이트하고 실패한 노드를 삭제합니다.# oc edit -n $local_storage_project localvolumeset localblock
출력 예:
[...] nodeSelector: nodeSelectorTerms: - matchExpressions: - key: kubernetes.io/hostname operator: In values: - server1.example.com - server2.example.com #- server3.example.com - newnode.example.com [...]편집기를 종료하기 전에 저장해야 합니다.
이 예에서는
server3.example.com이 제거되고newnode.example.com이 새 노드입니다.
새
로컬 블록PV(영구 볼륨)를 사용할 수 있는지 확인합니다.$oc get pv | grep localblock | grep Available
출력 예:
local-pv-551d950 512Gi RWO Delete Available localblock 26s
openshift-storage프로젝트로 이동합니다.$ oc project openshift-storage
클러스터에서 실패한 OSD를 제거합니다. 필요한 경우 여러 개의 실패한 OSD를 지정할 수 있습니다.
$ oc process -n openshift-storage ocs-osd-removal \ -p FAILED_OSD_IDS=<failed_osd_id> -p FORCE_OSD_REMOVAL=true | oc create -f -<failed_osd_id>rook-ceph-osd접두사 직후 Pod 이름의 정수입니다.명령에 쉼표로 구분된 OSD ID를 추가하여 OSD를 두 개 이상 제거할 수 있습니다(예:
FAILED_OSD_IDS=0,1,2).OSD가 3개뿐인 클러스터에서
FORCE_OSD_REMOVAL값을true로 변경해야 합니다. OSD를 제거한 후 3개의 데이터 복제본을 모두 복원할 수 있는 공간이 충분하지 않은 클러스터에서는 FORCE_OSD_REMOVAL 값을 true로 변경해야 합니다.
ocs-osd-removal-jobPod의 상태를 확인하여 OSD가 성공적으로 제거되었는지 확인합니다.Completed상태로 인해 OSD 제거 작업이 성공했는지 확인합니다.# oc get pod -l job-name=ocs-osd-removal-job -n openshift-storage
OSD 제거가 완료되었는지 확인합니다.
$ oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1 | egrep -i 'completed removal'
출력 예:
2022-05-10 06:50:04.501511 I | cephosd: completed removal of OSD 0
중요ocs-osd-removal-job이 실패하고 Pod가 예상Completed상태가 아닌 경우 Pod 로그를 확인하여 추가 디버깅을 확인합니다.예를 들면 다음과 같습니다.
# oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1
PVC(영구 볼륨 클레임)와 연결된 PV(영구 볼륨)를 식별합니다.
# oc get pv -L kubernetes.io/hostname | grep localblock | grep Released
출력 예:
local-pv-d6bf175b 1490Gi RWO Delete Released openshift-storage/ocs-deviceset-0-data-0-6c5pw localblock 2d22h compute-1
릴리스된 PV가 있는
경우이를 삭제합니다.# oc delete pv <persistent_volume>예를 들면 다음과 같습니다.
# oc delete pv local-pv-d6bf175b
출력 예:
persistentvolume "local-pv-d9c5cbd6" deleted
crashcollectorPod 배포를 확인합니다.$ oc get deployment --selector=app=rook-ceph-crashcollector,node_name=<failed_node_name> -n openshift-storage기존
crashcollectorPod 배포가 있는 경우 삭제합니다.$ oc delete deployment --selector=app=rook-ceph-crashcollector,node_name=<failed_node_name> -n openshift-storageocs-osd-removal-job을 삭제합니다.# oc delete -n openshift-storage job ocs-osd-removal-job
출력 예:
job.batch "ocs-osd-removal-job" deleted
검증 단계
새 노드가 출력에 있는지 확인합니다.
$ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1
워크로드 → 포드 를 클릭합니다. 새 노드의 다음 Pod가
Running상태인지 확인합니다.-
csi-cephfsplugin-* -
csi-rbdplugin-*
-
기타 필요한 모든 OpenShift Data Foundation Pod가
Running상태인지 확인합니다.새로운 incremental
mon이 생성되고Running상태에 있는지 확인합니다.$ oc get pod -n openshift-storage | grep mon
출력 예:
rook-ceph-mon-a-cd575c89b-b6k66 2/2 Running 0 38m rook-ceph-mon-b-6776bc469b-tzzt8 2/2 Running 0 38m rook-ceph-mon-d-5ff5d488b5-7v8xh 2/2 Running 0 4m8s
OSD 및 모니터링 포드의 상태가
Running이 되는 데 몇 분이 걸릴 수 있습니다.새 OSD 포드가 대체 노드에서 실행 중인지 확인합니다.
$ oc get pods -o wide -n openshift-storage| egrep -i <new_node_name> | egrep osd선택 사항: 클러스터에서 클러스터 전체 암호화를 사용하는 경우 새 OSD 장치가 암호화되었는지 확인합니다.
이전 단계에서 확인된 각 새 노드에 대해 다음을 수행합니다.
디버그 Pod를 생성하고 하나 이상의 선택한 호스트에 대한 chroot 환경을 엽니다.
$ oc debug node/<node_name>$ chroot /host
사용 가능한 블록 장치 목록을 표시합니다.
$ lsblk
하나 이상의
ocs-deviceset이름 옆에crypt키워드가 있는지 확인합니다.
- 검증 단계가 실패하면 Red Hat 지원팀에 문의하십시오.
2.1.2. 베어 메탈 사용자 프로비저닝 인프라에서 실패한 노드 교체
사전 요구 사항
- 교체 노드가 교체한 노드와 유사한 인프라, 리소스 및 디스크로 구성되어 있는지 확인합니다.
- OpenShift Container Platform 클러스터에 로그인해야 합니다.
절차
노드를 식별하고 교체해야 하는 노드의 레이블을 가져옵니다.
$ oc get nodes --show-labels | grep <node_name><node_name>- 교체해야 하는 노드 이름을 지정합니다.
교체해야 하는 노드에서 실행 중인 모니터 Pod(있는 경우) 및 OSD를 확인합니다.
$ oc get pods -n openshift-storage -o wide | grep -i <node_name>이전 단계에서 확인한 Pod의 배포를 축소합니다.
예를 들면 다음과 같습니다.
$ oc scale deployment rook-ceph-mon-c --replicas=0 -n openshift-storage
$ oc scale deployment rook-ceph-osd-0 --replicas=0 -n openshift-storage
$ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name> --replicas=0 -n openshift-storage노드를 예약 불가능으로 표시합니다.
$ oc adm cordon <node_name>상태가 종료되는 Pod를 제거합니다.
$ oc get pods -A -o wide | grep -i <node_name> | awk '{if ($4 == "Terminating") system ("oc -n " $1 " delete pods " $2 " --grace-period=0 " " --force ")}'노드를 드레이닝합니다.
$ oc adm drain <node_name> --force --delete-emptydir-data=true --ignore-daemonsets노드를 제거합니다.
$ oc delete node <node_name>필수 인프라를 사용하여 새 베어 메탈 머신을 가져옵니다. 베어 메탈에 설치를 참조하십시오.
중요3노드 OpenShift 컴팩트 베어 메탈 클러스터에 OpenShift Data Foundation을 설치할 때 마스터 노드를 교체하는 방법에 대한 자세한 내용은 OpenShift Container Platform 설명서의 백업 및 복원 가이드를 참조하십시오.
- 새로운 베어 메탈 머신을 사용하여 새 OpenShift Container Platform 노드를 생성합니다.
Pending상태인 OpenShift Container Platform과 관련된 CSR(인증서 서명 요청)이 있는지 확인합니다.$ oc get csr
새 노드에 필요한 모든 OpenShift Container Platform CSR을 승인합니다.
$ oc adm certificate approve <certificate_name><certificate_name>- CSR의 이름을 지정합니다.
- OpenShift 웹 콘솔에서 컴퓨팅 → 노드를 클릭합니다. 새 노드가 Ready 상태인지 확인합니다.
다음 중 하나를 사용하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다.
- 사용자 인터페이스에서
- 새 노드의 Action Menu (ECDHE) → Edit Labels 를 클릭합니다.
-
cluster.ocs.openshift.io/openshift-storage를 추가하고 저장을 클릭합니다.
- 명령줄 인터페이스
- OpenShift Data Foundation 레이블을 새 노드에 적용합니다.
$ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""<new_node_name>- 새 노드의 이름을 지정합니다.
OpenShift 로컬 스토리지 Operator가 설치된 네임스페이스를 확인하고
local_storage_project변수에 할당합니다.$ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)예를 들면 다음과 같습니다.
$ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)echo $local_storage_project
출력 예:
openshift-local-storage
localVolumeDiscovery및localVolumeSet에 새 작업자 노드를 추가합니다.새 노드를 포함하도록
localVolumeDiscovery정의를 업데이트하고 실패한 노드를 제거합니다.# oc edit -n $local_storage_project localvolumediscovery auto-discover-devices
출력 예:
[...] nodeSelector: nodeSelectorTerms: - matchExpressions: - key: kubernetes.io/hostname operator: In values: - server1.example.com - server2.example.com #- server3.example.com - newnode.example.com [...]편집기를 종료하기 전에 저장해야 합니다.
이 예에서는
server3.example.com이 제거되고newnode.example.com이 새 노드입니다.편집할
localVolumeSet을 결정합니다.# oc get -n $local_storage_project localvolumeset
출력 예:
NAME AGE localblock 25h
새 노드를 포함하도록
localVolumeSet정의를 업데이트하고 실패한 노드를 삭제합니다.# oc edit -n $local_storage_project localvolumeset localblock
출력 예:
[...] nodeSelector: nodeSelectorTerms: - matchExpressions: - key: kubernetes.io/hostname operator: In values: - server1.example.com - server2.example.com #- server3.example.com - newnode.example.com [...]편집기를 종료하기 전에 저장해야 합니다.
이 예에서는
server3.example.com이 제거되고newnode.example.com이 새 노드입니다.
새
로컬 블록PV(영구 볼륨)를 사용할 수 있는지 확인합니다.$oc get pv | grep localblock | grep Available
출력 예:
local-pv-551d950 512Gi RWO Delete Available localblock 26s
openshift-storage프로젝트로 이동합니다.$ oc project openshift-storage
클러스터에서 실패한 OSD를 제거합니다. 필요한 경우 여러 개의 실패한 OSD를 지정할 수 있습니다.
$ oc process -n openshift-storage ocs-osd-removal \ -p FAILED_OSD_IDS=<failed_osd_id> -p FORCE_OSD_REMOVAL=true | oc create -f -<failed_osd_id>rook-ceph-osd접두사 직후 Pod 이름의 정수입니다.명령에 쉼표로 구분된 OSD ID를 추가하여 OSD를 두 개 이상 제거할 수 있습니다(예:
FAILED_OSD_IDS=0,1,2).OSD가 3개뿐인 클러스터에서
FORCE_OSD_REMOVAL값을true로 변경해야 합니다. OSD를 제거한 후 3개의 데이터 복제본을 모두 복원할 수 있는 공간이 충분하지 않은 클러스터에서는 FORCE_OSD_REMOVAL 값을 true로 변경해야 합니다.
ocs-osd-removal-jobPod의 상태를 확인하여 OSD가 성공적으로 제거되었는지 확인합니다.Completed상태로 인해 OSD 제거 작업이 성공했는지 확인합니다.# oc get pod -l job-name=ocs-osd-removal-job -n openshift-storage
OSD 제거가 완료되었는지 확인합니다.
$ oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1 | egrep -i 'completed removal'
출력 예:
2022-05-10 06:50:04.501511 I | cephosd: completed removal of OSD 0
중요ocs-osd-removal-job이 실패하고 Pod가 예상Completed상태가 아닌 경우 Pod 로그를 확인하여 추가 디버깅을 확인합니다.예를 들면 다음과 같습니다.
# oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1
PVC(영구 볼륨 클레임)와 연결된 PV(영구 볼륨)를 식별합니다.
# oc get pv -L kubernetes.io/hostname | grep localblock | grep Released
출력 예:
local-pv-d6bf175b 1490Gi RWO Delete Released openshift-storage/ocs-deviceset-0-data-0-6c5pw localblock 2d22h compute-1
릴리스된 PV가 있는
경우이를 삭제합니다.# oc delete pv <persistent_volume>예를 들면 다음과 같습니다.
# oc delete pv local-pv-d6bf175b
출력 예:
persistentvolume "local-pv-d9c5cbd6" deleted
crashcollectorPod 배포를 확인합니다.$ oc get deployment --selector=app=rook-ceph-crashcollector,node_name=<failed_node_name> -n openshift-storage기존
crashcollectorPod 배포가 있는 경우 삭제합니다.$ oc delete deployment --selector=app=rook-ceph-crashcollector,node_name=<failed_node_name> -n openshift-storageocs-osd-removal-job을 삭제합니다.# oc delete -n openshift-storage job ocs-osd-removal-job
출력 예:
job.batch "ocs-osd-removal-job" deleted
검증 단계
새 노드가 출력에 있는지 확인합니다.
$ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1
워크로드 → 포드 를 클릭합니다. 새 노드의 다음 Pod가
Running상태인지 확인합니다.-
csi-cephfsplugin-* -
csi-rbdplugin-*
-
기타 필요한 모든 OpenShift Data Foundation Pod가
Running상태인지 확인합니다.새로운 incremental
mon이 생성되고Running상태에 있는지 확인합니다.$ oc get pod -n openshift-storage | grep mon
출력 예:
rook-ceph-mon-a-cd575c89b-b6k66 2/2 Running 0 38m rook-ceph-mon-b-6776bc469b-tzzt8 2/2 Running 0 38m rook-ceph-mon-d-5ff5d488b5-7v8xh 2/2 Running 0 4m8s
OSD 및 모니터링 포드의 상태가
Running이 되는 데 몇 분이 걸릴 수 있습니다.새 OSD 포드가 대체 노드에서 실행 중인지 확인합니다.
$ oc get pods -o wide -n openshift-storage| egrep -i <new_node_name> | egrep osd선택 사항: 클러스터에서 클러스터 전체 암호화를 사용하는 경우 새 OSD 장치가 암호화되었는지 확인합니다.
이전 단계에서 확인된 각 새 노드에 대해 다음을 수행합니다.
디버그 Pod를 생성하고 하나 이상의 선택한 호스트에 대한 chroot 환경을 엽니다.
$ oc debug node/<node_name>$ chroot /host
사용 가능한 블록 장치 목록을 표시합니다.
$ lsblk
하나 이상의
ocs-deviceset이름 옆에crypt키워드가 있는지 확인합니다.
- 검증 단계가 실패하면 Red Hat 지원팀에 문의하십시오.
2.2. IBM Z 또는 LinuxONE 인프라에서 스토리지 노드 교체
다음 절차 중 하나를 선택하여 스토리지 노드를 교체할 수 있습니다.
2.2.1. IBM Z 또는 LinuxONE 인프라에서 운영 노드 교체
IBM zSystems 또는 LinuxONE 인프라의 운영 노드를 교체하려면 다음 절차를 사용하십시오.
절차
노드를 식별하고 교체할 노드의 레이블을 가져옵니다. rack 레이블을 기록해 둡니다.
$ oc get nodes --show-labels | grep <node_name>
교체할 노드에서 실행 중인 OSD(모든) 및 오브젝트 스토리지 장치(OSD) Pod를 확인합니다.
$ oc get pods -n openshift-storage -o wide | grep -i <node_name>
이전 단계에서 확인한 포드의 배포를 축소합니다.
예를 들면 다음과 같습니다.
$ oc scale deployment rook-ceph-mon-c --replicas=0 -n openshift-storage $ oc scale deployment rook-ceph-osd-0 --replicas=0 -n openshift-storage $ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name> --replicas=0 -n openshift-storage
노드를 예약 불가로 표시합니다.
$ oc adm cordon <node_name>
상태가 종료되는 Pod를 제거합니다.
$ oc get pods -A -o wide | grep -i <node_name> | awk '{if ($4 == "Terminating") system ("oc -n " $1 " delete pods " $2 " --grace-period=0 " " --force ")}'노드를 드레이닝합니다.
$ oc adm drain <node_name> --force --delete-emptydir-data=true --ignore-daemonsets
노드를 삭제합니다.
$ oc delete node <node_name>
- 새 IBM zSystem 스토리지 노드를 교체용으로 가져옵니다.
Pending상태인 OpenShift Data Foundation과 관련된 CSR(인증서 서명 요청)이 있는지 확인합니다.$ oc get csr
새 노드에 필요한 모든 OpenShift Data Foundation CSR을 승인합니다.
$ oc adm certificate approve <Certificate_Name>
- OpenShift 웹 콘솔에서 컴퓨팅 → 노드를 클릭하고 새 노드가 Ready 상태인지 확인합니다.
다음 중 하나를 사용하여 새 노드에
openshift-storage레이블을 적용합니다.- 사용자 인터페이스에서
- 새 노드의 Action Menu (ECDHE) → Edit Labels를 클릭합니다.
-
cluster.ocs.openshift.io/openshift-storage를 추가하고 저장을 클릭합니다.
- 명령줄 인터페이스
- 다음 명령을 실행하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다.
$ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""
localVolumeDiscovery및localVolumeSet에 새 작업자 노드를 추가합니다.새 노드를 포함하도록
localVolumeDiscovery정의를 업데이트하고 실패한 노드를 제거합니다.# oc edit -n local-storage-project localvolumediscovery auto-discover-devices [...] nodeSelector: nodeSelectorTerms: - matchExpressions: - key: kubernetes.io/hostname operator: In values: - server1.example.com - server2.example.com #- server3.example.com - newnode.example.com [...]
편집기를 종료하기 전에 저장해야 합니다.
위의 예에서
server3.example.com이 제거되었으며newnode.example.com이 새 노드입니다.편집할
localVolumeSet을 결정합니다.다음 명령의 local-storage-project 를 로컬 스토리지 프로젝트의 이름으로 교체합니다. 기본 프로젝트 이름은 OpenShift Data Foundation 4.6 이상에서
openshift-local-storage입니다. 이전 버전에서는 기본적으로local-storage를 사용합니다.# oc get -n local-storage-project localvolumeset NAME AGE localblock 25h새 노드를 포함하도록
localVolumeSet정의를 업데이트하고 실패한 노드를 삭제합니다.# oc edit -n local-storage-project localvolumeset localblock [...] nodeSelector: nodeSelectorTerms: - matchExpressions: - key: kubernetes.io/hostname operator: In values: - server1.example.com - server2.example.com #- server3.example.com - newnode.example.com [...]
편집기를 종료하기 전에 저장해야 합니다.
위의 예에서
server3.example.com이 제거되었으며newnode.example.com이 새 노드입니다.
새
localblockPV를 사용할 수 있는지 확인합니다.$ oc get pv | grep localblock CAPA- ACCESS RECLAIM STORAGE NAME CITY MODES POLICY STATUS CLAIM CLASS AGE local-pv- 931Gi RWO Delete Bound openshift-storage/ localblock 25h 3e8964d3 ocs-deviceset-2-0 -79j94 local-pv- 931Gi RWO Delete Bound openshift-storage/ localblock 25h 414755e0 ocs-deviceset-1-0 -959rp local-pv- 931Gi RWO Delete Available localblock 3m24s b481410 local-pv- 931Gi RWO Delete Bound openshift-storage/ localblock 25h d9c5cbd6 ocs-deviceset-0-0 -nvs68
openshift-storage프로젝트로 변경합니다.$ oc project openshift-storage
클러스터에서 실패한 OSD를 제거합니다. 필요한 경우 실패한 OSD를 여러 개 지정할 수 있습니다.
이후 특정 PVC와 연결된 PV를 삭제해야 하는 대로 PVC를 식별합니다.
$ osd_id_to_remove=1 $ oc get -n openshift-storage -o yaml deployment rook-ceph-osd-${osd_id_to_remove} | grep ceph.rook.io/pvc여기서
osd_id_to_remove는rook-ceph-osd 접두사바로 뒤에 있는 Pod 이름의 정수입니다. 이 예제에서 배포 이름은rook-ceph-osd-1입니다.출력 예:
ceph.rook.io/pvc: ocs-deviceset-localblock-0-data-0-g2mmc ceph.rook.io/pvc: ocs-deviceset-localblock-0-data-0-g2mmc이 예에서 PVC 이름은
ocs-deviceset-localblock-0-data-0-g2mmc입니다.클러스터에서 실패한 OSD를 제거합니다.
$ oc process -n openshift-storage ocs-osd-removal -p FAILED_OSD_IDS=${osd_id_to_remove} |oc create -f -명령에 쉼표로 구분된 OSD ID를 추가하여 두 개 이상의 OSD를 제거할 수 있습니다. (예: FAILED_OSD_IDS=0,1,2)
주의이 단계에서는 클러스터에서 OSD가 완전히 제거됩니다.
osd_id_to_remove의 올바른 값이 제공되었는지 확인합니다.
ocs-osd-removal포드의 상태를 확인하여 OSD가 성공적으로 제거되었는지 확인합니다.Completed상태로 인해 OSD 제거 작업이 성공했는지 확인합니다.# oc get pod -l job-name=ocs-osd-removal-osd_id_to_remove -n openshift-storage참고ocs-osd-removal이 실패하고 Pod가 예상Completed상태가 아닌 경우 추가 디버깅을 위해 Pod 로그를 확인합니다. 예를 들면 다음과 같습니다.# oc logs -l job-name=ocs-osd-removal-osd_id_to_remove -n openshift-storage --tail=-1다음과 같이 제거된 OSD를 수동으로 정리해야 할 수 있습니다.
ceph osd crush remove osd.osd_id_to_remove ceph osd rm osd_id_to_remove ceph auth del osd.osd_id_to_remove ceph osd crush rm osd_id_to_remove
오류가 발생한 노드와 연결된 PV를 삭제합니다.
PVC와 연결된 PV를 확인합니다.
PVC 이름은 클러스터에서 실패한 OSD를 제거하는 동안 얻은 이름과 동일해야 합니다.
# oc get pv -L kubernetes.io/hostname | grep localblock | grep Released local-pv-5c9b8982 500Gi RWO Delete Released openshift-storage/ocs-deviceset-localblock-0-data-0-g2mmc localblock 24h worker-0릴리스된 PV가 있는
경우이를 삭제합니다.# oc delete pv <persistent-volume>
예를 들면 다음과 같습니다.
# oc delete pv local-pv-5c9b8982 persistentvolume "local-pv-5c9b8982" deleted
crashcollectorPod 배포를 확인합니다.$ oc get deployment --selector=app=rook-ceph-crashcollector,node_name=<failed_node_name> -n openshift-storage
기존
crashcollectorPod 배포가 있는 경우 삭제합니다.$ oc delete deployment --selector=app=rook-ceph-crashcollector,node_name=<failed_node_name> -n openshift-storage
ocs-osd-removal작업을 삭제합니다.# oc delete job ocs-osd-removal-${osd_id_to_remove}출력 예:
job.batch "ocs-osd-removal-0" deleted
검증 단계
새 노드가 출력에 있는지 확인합니다.
$ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1
워크로드 → 포드 를 클릭합니다. 새 노드의 다음 Pod가 Running 상태인지 확인합니다.
-
csi-cephfsplugin-* -
csi-rbdplugin-*
-
- 기타 필요한 모든 OpenShift Data Foundation Pod가 Running 상태인지 확인합니다.
새 OSD(Object Storage Device) Pod가 대체 노드에서 실행 중인지 확인합니다.
$ oc get pods -o wide -n openshift-storage| egrep -i <new_node_name> | egrep osd선택 사항: 클러스터에서 데이터 암호화가 활성화된 경우 새 OSD 장치가 암호화되었는지 확인합니다.
이전 단계에서 확인된 각 새 노드에 대해 다음을 수행합니다.
디버그 Pod를 생성하고 하나 이상의 선택한 호스트에 대한 chroot 환경을 엽니다.
$ oc debug node/<node_name>$ chroot /host
사용 가능한 블록 장치 목록을 표시합니다.
$ lsblk
하나 이상의
ocs-deviceset이름 옆에crypt키워드가 있는지 확인합니다.
- 검증 단계가 실패하면 Red Hat 지원팀에 문의하십시오.
2.2.2. IBM Z 또는 LinuxONE 인프라에서 실패한 노드 교체
절차
- OpenShift 웹 콘솔에 로그인하고 컴퓨팅 → 노드를 클릭합니다.
- 결함이 있는 노드를 식별하고 해당 머신 이름을 클릭합니다.
- 작업 → 주석 편집을 클릭하고 추가를 클릭합니다.
-
machine.openshift.io/exclude-node-draining을 추가하고 저장을 클릭합니다. - 작업 → 머신 삭제를 클릭하고 삭제 를 클릭합니다.
새 머신이 자동으로 생성됩니다. 새 머신이 시작될 때까지 기다립니다.
중요이 활동에는 최소 5-10분 이상이 걸릴 수 있습니다. 이 기간 동안 생성된 Ceph 오류는 임시이며 새 노드에 레이블을 지정할 때 자동으로 해결되며 기능이 작동합니다.
- 컴퓨팅 → 노드를 클릭합니다. 새 노드가 Ready 상태인지 확인합니다.
다음 중 하나를 사용하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다.
- 사용자 인터페이스에서
- 새 노드의 Action Menu (ECDHE) → Edit Labels 를 클릭합니다.
-
cluster.ocs.openshift.io/openshift-storage를 추가하고 저장을 클릭합니다.
- 명령줄 인터페이스
- OpenShift Data Foundation 레이블을 새 노드에 적용합니다.
$ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""<new_node_name>- 새 노드의 이름을 지정합니다.
검증 단계
새 노드가 출력에 있는지 확인합니다.
$ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= | cut -d' ' -f1
워크로드 → 포드 를 클릭합니다. 새 노드의 다음 Pod가 Running 상태인지 확인합니다.
-
csi-cephfsplugin-* -
csi-rbdplugin-*
-
- 기타 필요한 모든 OpenShift Data Foundation Pod가 Running 상태인지 확인합니다.
새 OSD(Object Storage Device) Pod가 대체 노드에서 실행 중인지 확인합니다.
$ oc get pods -o wide -n openshift-storage| egrep -i <new_node_name> | egrep osd선택 사항: 클러스터에서 데이터 암호화가 활성화된 경우 새 OSD 장치가 암호화되었는지 확인합니다.
이전 단계에서 확인된 각 새 노드에 대해 다음을 수행합니다.
디버그 Pod를 생성하고 하나 이상의 선택한 호스트에 대한 chroot 환경을 엽니다.
$ oc debug node/<node_name>$ chroot /host
사용 가능한 블록 장치 목록을 표시합니다.
$ lsblk
하나 이상의
ocs-deviceset이름 옆에crypt키워드가 있는지 확인합니다.
- 검증 단계가 실패하면 Red Hat 지원팀에 문의하십시오.
2.3. IBM Power 인프라에서 스토리지 노드 교체
OpenShift Data Foundation의 경우 운영 노드에 대해 노드 교체를 사전에 수행하고 IBM Power와 관련된 배포에 대해 오류가 발생한 노드에 다시 활성화될 수 있습니다.
2.3.1. IBM Power에서 운영되거나 실패한 스토리지 노드 교체
사전 요구 사항
- 교체 노드가 교체한 노드와 유사한 인프라 및 리소스로 구성되어 있는지 확인합니다.
- OpenShift Container Platform 클러스터에 로그인해야 합니다.
절차
노드를 식별하고 교체해야 하는 노드의 레이블을 가져옵니다.
$ oc get nodes --show-labels | grep <node_name><node_name>- 교체해야 하는 노드 이름을 지정합니다.
교체해야 하는 노드에서 실행 중인
mon(있는 경우) 및 오브젝트 스토리지 장치(OSD) Pod를 확인합니다.$ oc get pods -n openshift-storage -o wide | grep -i <node_name>이전 단계에서 확인한 Pod의 배포를 축소합니다.
예를 들면 다음과 같습니다.
$ oc scale deployment rook-ceph-mon-a --replicas=0 -n openshift-storage
$ oc scale deployment rook-ceph-osd-1 --replicas=0 -n openshift-storage
$ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name> --replicas=0 -n openshift-storage노드를 예약 불가능으로 표시합니다.
$ oc adm cordon <node_name>상태가 종료되는 Pod를 제거합니다.
$ oc get pods -A -o wide | grep -i <node_name> | awk '{if ($4 == "Terminating") system ("oc -n " $1 " delete pods " $2 " --grace-period=0 " " --force ")}'노드를 드레이닝합니다.
$ oc adm drain <node_name> --force --delete-emptydir-data=true --ignore-daemonsets노드를 제거합니다.
$ oc delete node <node_name>- 필요한 인프라를 사용하여 새 IBM Power 시스템을 확보합니다. IBM Power에 클러스터 설치를 참조하십시오.
- 새 IBM Power 시스템을 사용하여 새 OpenShift Container Platform 노드를 생성합니다.
Pending상태인 OpenShift Container Platform과 관련된 CSR(인증서 서명 요청)이 있는지 확인합니다.$ oc get csr
새 노드에 필요한 모든 OpenShift Container Platform CSR을 승인합니다.
$ oc adm certificate approve <certificate_name><certificate_name>- CSR의 이름을 지정합니다.
- OpenShift 웹 콘솔에서 컴퓨팅 → 노드를 클릭합니다. 새 노드가 Ready 상태인지 확인합니다.
다음 중 하나를 사용하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다.
- 사용자 인터페이스에서
- 새 노드의 Action Menu (ECDHE) → Edit Labels 를 클릭합니다.
-
cluster.ocs.openshift.io/openshift-storage를 추가하고 저장을 클릭합니다.
- 명령줄 인터페이스
- OpenShift Data Foundation 레이블을 새 노드에 적용합니다.
$ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=''<new_node_name>- 새 노드의 이름을 지정합니다.
OpenShift 로컬 스토리지 Operator가 설치된 네임스페이스를 확인하고
local_storage_project변수에 할당합니다.$ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)예를 들면 다음과 같습니다.
$ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)echo $local_storage_project
출력 예:
openshift-local-storage
새로 추가된 작업자 노드를
localVolume에 추가합니다.편집해야 하는
localVolume을 결정합니다.# oc get -n $local_storage_project localvolume
출력 예:
NAME AGE localblock 25h
새 노드를 포함하도록
localVolume정의를 업데이트하고 실패한 노드를 삭제합니다.# oc edit -n $local_storage_project localvolume localblock
출력 예:
[...] nodeSelector: nodeSelectorTerms: - matchExpressions: - key: kubernetes.io/hostname operator: In values: #- worker-0 - worker-1 - worker-2 - worker-3 [...]편집기를 종료하기 전에 저장해야 합니다.
이 예에서는
worker-0이 제거되고worker-3이 새 노드입니다.
새
로컬 블록PV(영구 볼륨)를 사용할 수 있는지 확인합니다.$ oc get pv | grep localblock
출력 예:
NAME CAPACITY ACCESSMODES RECLAIMPOLICY STATUS CLAIM STORAGECLASS AGE local-pv-3e8964d3 500Gi RWO Delete Bound ocs-deviceset-localblock-2-data-0-mdbg9 localblock 25h local-pv-414755e0 500Gi RWO Delete Bound ocs-deviceset-localblock-1-data-0-4cslf localblock 25h local-pv-b481410 500Gi RWO Delete Available localblock 3m24s local-pv-5c9b8982 500Gi RWO Delete Bound ocs-deviceset-localblock-0-data-0-g2mmc localblock 25hopenshift-storage프로젝트로 이동합니다.$ oc project openshift-storage
클러스터에서 실패한 OSD를 제거합니다. 필요한 경우 실패한 OSD를 여러 개 지정할 수 있습니다.
PVC(영구 볼륨 클레임)를 확인합니다.
$ osd_id_to_remove=1
$ oc get -n openshift-storage -o yaml deployment rook-ceph-osd-${<osd_id_to_remove>} | grep ceph.rook.io/pvc여기서 &
lt;osd_id_to_remove>는rook-ceph-osd접두사 바로 뒤에 있는 Pod 이름의 정수입니다.이 예제에서 배포 이름은
rook-ceph-osd-1입니다.출력 예:
ceph.rook.io/pvc: ocs-deviceset-localblock-0-data-0-g2mmc ceph.rook.io/pvc: ocs-deviceset-localblock-0-data-0-g2mmc클러스터에서 실패한 OSD를 제거합니다. 필요한 경우 여러 개의 실패한 OSD를 지정할 수 있습니다.
$ oc process -n openshift-storage ocs-osd-removal \ -p FAILED_OSD_IDS=<failed_osd_id> -p FORCE_OSD_REMOVAL=true| oc create -f -<failed_osd_id>rook-ceph-osd접두사 직후 Pod 이름의 정수입니다. 명령에 쉼표로 구분된 OSD ID를 추가하여 OSD를 두 개 이상 제거할 수 있습니다(예:FAILED_OSD_IDS=0,1,2).OSD가 3개뿐인 클러스터에서
FORCE_OSD_REMOVAL값을true로 변경해야 합니다. OSD를 제거한 후 3개의 데이터 복제본을 모두 복원할 수 있는 공간이 충분하지 않은 클러스터에서는 FORCE_OSD_REMOVAL 값을 true로 변경해야 합니다.주의이 단계에서는 클러스터에서 OSD가 완전히 제거됩니다.
osd_id_to_remove의 올바른 값이 제공되었는지 확인합니다.
ocs-osd-removal-jobPod의 상태를 확인하여 OSD가 성공적으로 제거되었는지 확인합니다.Completed상태로 인해 OSD 제거 작업이 성공했는지 확인합니다.# oc get pod -l job-name=ocs-osd-removal-job -n openshift-storage
OSD 제거가 완료되었는지 확인합니다.
$ oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1 | egrep -i 'completed removal'
출력 예:
2022-05-10 06:50:04.501511 I | cephosd: completed removal of OSD 0
중요ocs-osd-removal-job이 실패하고 Pod가 예상Completed상태가 아닌 경우 Pod 로그를 확인하여 추가 디버깅을 확인합니다.예를 들면 다음과 같습니다.
# oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1
오류가 발생한 노드와 연결된 PV를 삭제합니다.
PVC와 연결된 PV를 확인합니다.
# oc get pv -L kubernetes.io/hostname | grep localblock | grep Released
출력 예:
local-pv-5c9b8982 500Gi RWO Delete Released openshift-storage/ocs-deviceset-localblock-0-data-0-g2mmc localblock 24h worker-0
PVC 이름은 클러스터에서 실패한 OSD를 제거하는 동안 얻은 이름과 동일해야 합니다.
릴리스된 PV가 있는
경우이를 삭제합니다.# oc delete pv <persistent_volume>예를 들면 다음과 같습니다.
# oc delete pv local-pv-5c9b8982
출력 예:
persistentvolume "local-pv-5c9b8982" deleted
crashcollectorPod 배포를 확인합니다.$ oc get deployment --selector=app=rook-ceph-crashcollector,node_name=<failed_node_name> -n openshift-storage기존
crashcollectorPod 배포가 있는 경우 삭제합니다.$ oc delete deployment --selector=app=rook-ceph-crashcollector,node_name=<failed_node_name> -n openshift-storageocs-osd-removal-job을 삭제합니다.# oc delete -n openshift-storage job ocs-osd-removal-job
출력 예:
job.batch "ocs-osd-removal-job" deleted
검증 단계
새 노드가 출력에 있는지 확인합니다.
$ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1
워크로드 → 포드 를 클릭합니다. 새 노드의 다음 Pod가 Running 상태인지 확인합니다.
-
csi-cephfsplugin-* -
csi-rbdplugin-*
-
기타 필요한 모든 OpenShift Data Foundation Pod가 Running 상태인지 확인합니다.
새로운 incremental
mon이 생성되고 Running 상태에 있는지 확인합니다.$ oc get pod -n openshift-storage | grep mon
출력 예:
rook-ceph-mon-b-74f6dc9dd6-4llzq 1/1 Running 0 6h14m rook-ceph-mon-c-74948755c-h7wtx 1/1 Running 0 4h24m rook-ceph-mon-d-598f69869b-4bv49 1/1 Running 0 162m
OSD 및 모니터링 포드가
Running상태가 되는 데 몇 분이 걸릴 수 있습니다.새 OSD Pod가 대체 노드에서 실행 중인지 확인합니다.
$ oc get pods -o wide -n openshift-storage| egrep -i <new_node_name> | egrep osd선택 사항: 클러스터에서 클러스터 전체 암호화를 사용하는 경우 새 OSD 장치가 암호화되었는지 확인합니다.
이전 단계에서 확인된 각 새 노드에 대해 다음을 수행합니다.
디버그 Pod를 생성하고 하나 이상의 선택한 호스트에 대한 chroot 환경을 엽니다.
$ oc debug node/<node_name>$ chroot /host
사용 가능한 블록 장치 목록을 표시합니다.
$ lsblk
하나 이상의
ocs-deviceset이름 옆에crypt키워드가 있는지 확인합니다.
- 검증 단계가 실패하면 Red Hat 지원팀에 문의하십시오.
2.4. VMware 인프라에서 스토리지 노드 교체
운영 노드를 교체하려면 다음을 참조하십시오.
오류가 발생한 노드를 교체하려면 다음을 참조하십시오.
2.4.1. VMware 사용자 프로비저닝 인프라에서 운영 노드 교체
사전 요구 사항
- 교체 노드가 교체한 노드와 유사한 인프라, 리소스 및 디스크로 구성되어 있는지 확인합니다.
- OpenShift Container Platform 클러스터에 로그인해야 합니다.
절차
노드를 식별하고 교체해야 하는 노드의 레이블을 가져옵니다.
$ oc get nodes --show-labels | grep <node_name><node_name>- 교체해야 하는 노드 이름을 지정합니다.
교체해야 하는 노드에서 실행 중인 모니터 Pod(있는 경우) 및 OSD를 확인합니다.
$ oc get pods -n openshift-storage -o wide | grep -i <node_name>이전 단계에서 확인한 Pod의 배포를 축소합니다.
예를 들면 다음과 같습니다.
$ oc scale deployment rook-ceph-mon-c --replicas=0 -n openshift-storage
$ oc scale deployment rook-ceph-osd-0 --replicas=0 -n openshift-storage
$ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name> --replicas=0 -n openshift-storage노드를 예약 불가능으로 표시합니다.
$ oc adm cordon <node_name>노드를 드레이닝합니다.
$ oc adm drain <node_name> --force --delete-emptydir-data=true --ignore-daemonsets노드를 제거합니다.
$ oc delete node <node_name>- VMware vSphere에 로그인하고 사용자가 식별한 VM(가상 머신)을 종료합니다.
- 필요한 인프라를 사용하여 VMware vSphere에 새 VM을 생성합니다. 인프라 요구 사항을 참조하십시오.
- 새 VM을 사용하여 새 OpenShift Container Platform 작업자 노드를 생성합니다.
Pending상태인 OpenShift Container Platform과 관련된 CSR(인증서 서명 요청)이 있는지 확인합니다.$ oc get csr
새 노드에 필요한 모든 OpenShift Container Platform CSR을 승인합니다.
$ oc adm certificate approve <certificate_name><certificate_name>- CSR의 이름을 지정합니다.
- OpenShift 웹 콘솔에서 컴퓨팅 → 노드를 클릭합니다. 새 노드가 Ready 상태인지 확인합니다.
다음 중 하나를 사용하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다.
- 사용자 인터페이스에서
- 새 노드의 Action Menu (ECDHE) → Edit Labels 를 클릭합니다.
-
cluster.ocs.openshift.io/openshift-storage를 추가하고 저장을 클릭합니다.
- 명령줄 인터페이스
- OpenShift Data Foundation 레이블을 새 노드에 적용합니다.
$ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""<new_node_name>- 새 노드의 이름을 지정합니다.
OpenShift 로컬 스토리지 Operator가 설치된 네임스페이스를 확인하고
local_storage_project변수에 할당합니다.$ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)예를 들면 다음과 같습니다.
$ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)echo $local_storage_project
출력 예:
openshift-local-storage
localVolumeDiscovery및localVolumeSet에 새 작업자 노드를 추가합니다.새 노드를 포함하도록
localVolumeDiscovery정의를 업데이트하고 실패한 노드를 제거합니다.# oc edit -n $local_storage_project localvolumediscovery auto-discover-devices
출력 예:
[...] nodeSelector: nodeSelectorTerms: - matchExpressions: - key: kubernetes.io/hostname operator: In values: - server1.example.com - server2.example.com #- server3.example.com - newnode.example.com [...]편집기를 종료하기 전에 저장해야 합니다.
이 예에서는
server3.example.com이 제거되고newnode.example.com이 새 노드입니다.편집할
localVolumeSet을 결정합니다.# oc get -n $local_storage_project localvolumeset
출력 예:
NAME AGE localblock 25h
새 노드를 포함하도록
localVolumeSet정의를 업데이트하고 실패한 노드를 삭제합니다.# oc edit -n $local_storage_project localvolumeset localblock
출력 예:
[...] nodeSelector: nodeSelectorTerms: - matchExpressions: - key: kubernetes.io/hostname operator: In values: - server1.example.com - server2.example.com #- server3.example.com - newnode.example.com [...]편집기를 종료하기 전에 저장해야 합니다.
이 예에서는
server3.example.com이 제거되고newnode.example.com이 새 노드입니다.
새
로컬 블록PV(영구 볼륨)를 사용할 수 있는지 확인합니다.$oc get pv | grep localblock | grep Available
출력 예:
local-pv-551d950 512Gi RWO Delete Available localblock 26s
openshift-storage프로젝트로 이동합니다.$ oc project openshift-storage
클러스터에서 실패한 OSD를 제거합니다. 필요한 경우 여러 개의 실패한 OSD를 지정할 수 있습니다.
$ oc process -n openshift-storage ocs-osd-removal \ -p FAILED_OSD_IDS=<failed_osd_id> -p FORCE_OSD_REMOVAL=true | oc create -f -<failed_osd_id>rook-ceph-osd접두사 직후 Pod 이름의 정수입니다.명령에 쉼표로 구분된 OSD ID를 추가하여 OSD를 두 개 이상 제거할 수 있습니다(예:
FAILED_OSD_IDS=0,1,2).OSD가 3개뿐인 클러스터에서
FORCE_OSD_REMOVAL값을true로 변경해야 합니다. OSD를 제거한 후 3개의 데이터 복제본을 모두 복원할 수 있는 공간이 충분하지 않은 클러스터에서는 FORCE_OSD_REMOVAL 값을 true로 변경해야 합니다.
ocs-osd-removal-jobPod의 상태를 확인하여 OSD가 성공적으로 제거되었는지 확인합니다.Completed상태로 인해 OSD 제거 작업이 성공했는지 확인합니다.# oc get pod -l job-name=ocs-osd-removal-job -n openshift-storage
OSD 제거가 완료되었는지 확인합니다.
$ oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1 | egrep -i 'completed removal'
출력 예:
2022-05-10 06:50:04.501511 I | cephosd: completed removal of OSD 0
중요ocs-osd-removal-job이 실패하고 Pod가 예상Completed상태가 아닌 경우 Pod 로그를 확인하여 추가 디버깅을 확인합니다.예를 들면 다음과 같습니다.
# oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1
PVC(영구 볼륨 클레임)와 연결된 PV(영구 볼륨)를 식별합니다.
# oc get pv -L kubernetes.io/hostname | grep localblock | grep Released
출력 예:
local-pv-d6bf175b 1490Gi RWO Delete Released openshift-storage/ocs-deviceset-0-data-0-6c5pw localblock 2d22h compute-1
릴리스된 PV가 있는
경우이를 삭제합니다.# oc delete pv <persistent_volume>예를 들면 다음과 같습니다.
# oc delete pv local-pv-d6bf175b
출력 예:
persistentvolume "local-pv-d9c5cbd6" deleted
crashcollectorPod 배포를 확인합니다.$ oc get deployment --selector=app=rook-ceph-crashcollector,node_name=<failed_node_name> -n openshift-storage기존
crashcollectorPod 배포가 있는 경우 삭제합니다.$ oc delete deployment --selector=app=rook-ceph-crashcollector,node_name=<failed_node_name> -n openshift-storageocs-osd-removal-job을 삭제합니다.# oc delete -n openshift-storage job ocs-osd-removal-job
출력 예:
job.batch "ocs-osd-removal-job" deleted
검증 단계
새 노드가 출력에 있는지 확인합니다.
$ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1
워크로드 → 포드 를 클릭합니다. 새 노드의 다음 Pod가
Running상태인지 확인합니다.-
csi-cephfsplugin-* -
csi-rbdplugin-*
-
기타 필요한 모든 OpenShift Data Foundation Pod가
Running상태인지 확인합니다.새로운 incremental
mon이 생성되고Running상태에 있는지 확인합니다.$ oc get pod -n openshift-storage | grep mon
출력 예:
rook-ceph-mon-a-cd575c89b-b6k66 2/2 Running 0 38m rook-ceph-mon-b-6776bc469b-tzzt8 2/2 Running 0 38m rook-ceph-mon-d-5ff5d488b5-7v8xh 2/2 Running 0 4m8s
OSD 및 모니터링 포드의 상태가
Running이 되는 데 몇 분이 걸릴 수 있습니다.새 OSD 포드가 대체 노드에서 실행 중인지 확인합니다.
$ oc get pods -o wide -n openshift-storage| egrep -i <new_node_name> | egrep osd선택 사항: 클러스터에서 클러스터 전체 암호화를 사용하는 경우 새 OSD 장치가 암호화되었는지 확인합니다.
이전 단계에서 확인된 각 새 노드에 대해 다음을 수행합니다.
디버그 Pod를 생성하고 하나 이상의 선택한 호스트에 대한 chroot 환경을 엽니다.
$ oc debug node/<node_name>$ chroot /host
사용 가능한 블록 장치 목록을 표시합니다.
$ lsblk
하나 이상의
ocs-deviceset이름 옆에crypt키워드가 있는지 확인합니다.
- 검증 단계가 실패하면 Red Hat 지원팀에 문의하십시오.
2.4.2. VMware 설치 관리자 프로비저닝 인프라에서 운영 노드 교체
사전 요구 사항
- 교체 노드가 교체하는 노드와 유사한 인프라, 리소스 및 디스크로 구성되어 있는지 확인합니다.
- OpenShift Container Platform 클러스터에 로그인해야 합니다.
절차
- OpenShift 웹 콘솔에 로그인하고 컴퓨팅 → 노드를 클릭합니다.
- 교체해야 하는 노드를 식별합니다. 해당 머신 이름을 기록해 둡니다.
노드에 라벨을 가져옵니다.
$ oc get nodes --show-labels | grep <node_name><node_name>- 교체해야 하는 노드 이름을 지정합니다.
노드에서 실행 중인 임시 장치(있는 경우) 및 개체 스토리지 장치(OSD)를 식별합니다.
$ oc get pods -n openshift-storage -o wide | grep -i <node_name>이전 단계에서 확인한 Pod의 배포를 축소합니다.
예를 들면 다음과 같습니다.
$ oc scale deployment rook-ceph-mon-c --replicas=0 -n openshift-storage
$ oc scale deployment rook-ceph-osd-0 --replicas=0 -n openshift-storage
$ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name> --replicas=0 -n openshift-storage노드를 예약 불가능으로 표시합니다.
$ oc adm cordon <node_name>노드를 드레이닝합니다.
$ oc adm drain <node_name> --force --delete-emptydir-data=true --ignore-daemonsets- 컴퓨팅 → 머신을 클릭합니다. 필요한 시스템을 검색합니다.
- 필요한 머신 외에도 작업 메뉴 (ECDHE) → 머신 삭제를 클릭합니다.
- Delete 를 클릭하여 머신 삭제를 확인합니다. 새 머신이 자동으로 생성됩니다.
새 머신이 시작되고 Running 상태로 전환될 때까지 기다립니다.
중요이 활동에는 최소 5-10분 이상이 걸릴 수 있습니다.
- OpenShift 웹 콘솔에서 컴퓨팅 → 노드를 클릭합니다. 새 노드가 Ready 상태인지 확인합니다.
- 노드에 물리적으로 새 장치를 추가합니다.
다음 중 하나를 사용하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다.
- 사용자 인터페이스에서
- 새 노드의 Action Menu (ECDHE) → Edit Labels 를 클릭합니다.
-
cluster.ocs.openshift.io/openshift-storage를 추가하고 저장을 클릭합니다.
- 명령줄 인터페이스
- OpenShift Data Foundation 레이블을 새 노드에 적용합니다.
$ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""<new_node_name>- 새 노드의 이름을 지정합니다.
OpenShift 로컬 스토리지 Operator가 설치된 네임스페이스를 확인하고
local_storage_project변수에 할당합니다.$ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)예를 들면 다음과 같습니다.
$ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)echo $local_storage_project
출력 예:
openshift-local-storage
localVolumeDiscovery및localVolumeSet에 새 작업자 노드를 추가합니다.새 노드를 포함하도록
localVolumeDiscovery정의를 업데이트하고 실패한 노드를 제거합니다.# oc edit -n $local_storage_project localvolumediscovery auto-discover-devices
출력 예:
[...] nodeSelector: nodeSelectorTerms: - matchExpressions: - key: kubernetes.io/hostname operator: In values: - server1.example.com - server2.example.com #- server3.example.com - newnode.example.com [...]편집기를 종료하기 전에 저장해야 합니다.
이 예에서는
server3.example.com이 제거되고newnode.example.com이 새 노드입니다.편집해야 하는
localVolumeSet을 결정합니다.# oc get -n $local_storage_project localvolumeset
출력 예:
NAME AGE localblock 25h
새 노드를 포함하도록
localVolumeSet정의를 업데이트하고 실패한 노드를 삭제합니다.# oc edit -n $local_storage_project localvolumeset localblock
출력 예:
[...] nodeSelector: nodeSelectorTerms: - matchExpressions: - key: kubernetes.io/hostname operator: In values: - server1.example.com - server2.example.com #- server3.example.com - newnode.example.com [...]편집기를 종료하기 전에 저장해야 합니다.
이 예에서는
server3.example.com이 제거되고newnode.example.com이 새 노드입니다.
새
로컬 블록PV(영구 볼륨)를 사용할 수 있는지 확인합니다.$ oc get pv | grep localblock | grep Available
출력 예:
local-pv-551d950 512Gi RWO Delete Available localblock 26s
openshift-storage프로젝트로 이동합니다.$ oc project openshift-storage
클러스터에서 실패한 OSD를 제거합니다. 필요한 경우 여러 개의 실패한 OSD를 지정할 수 있습니다.
$ oc process -n openshift-storage ocs-osd-removal \ -p FAILED_OSD_IDS=<failed_osd_id> -p FORCE_OSD_REMOVAL=true | oc create -f -<failed_osd_id>rook-ceph-osd접두사 직후 Pod 이름의 정수입니다.명령에 쉼표로 구분된 OSD ID를 추가하여 OSD를 두 개 이상 제거할 수 있습니다(예:
FAILED_OSD_IDS=0,1,2).OSD가 3개뿐인 클러스터에서
FORCE_OSD_REMOVAL값을true로 변경해야 합니다. OSD를 제거한 후 3개의 데이터 복제본을 모두 복원할 수 있는 공간이 충분하지 않은 클러스터에서는 FORCE_OSD_REMOVAL 값을 true로 변경해야 합니다.
ocs-osd-removal-jobPod의 상태를 확인하여 OSD가 성공적으로 제거되었는지 확인합니다.Completed상태로 인해 OSD 제거 작업이 성공했는지 확인합니다.# oc get pod -l job-name=ocs-osd-removal-job -n openshift-storage
OSD 제거가 완료되었는지 확인합니다.
$ oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1 | egrep -i 'completed removal'
출력 예:
2022-05-10 06:50:04.501511 I | cephosd: completed removal of OSD 0
중요ocs-osd-removal-job이 실패하고 Pod가 예상Completed상태가 아닌 경우 Pod 로그를 확인하여 추가 디버깅을 확인합니다.예를 들면 다음과 같습니다.
# oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1
PVC(영구 볼륨 클레임)와 연결된 PV를 확인합니다.
# oc get pv -L kubernetes.io/hostname | grep localblock | grep Released
출력 예:
local-pv-d6bf175b 1490Gi RWO Delete Released openshift-storage/ocs-deviceset-0-data-0-6c5pw localblock 2d22h compute-1
릴리스된 PV가 있는
경우이를 삭제합니다.# oc delete pv <persistent_volume>예를 들면 다음과 같습니다.
# oc delete pv local-pv-d6bf175b
출력 예:
persistentvolume "local-pv-d9c5cbd6" deleted
crashcollectorPod 배포를 확인합니다.$ oc get deployment --selector=app=rook-ceph-crashcollector,node_name=<failed_node_name> -n openshift-storage기존
crashcollectorPod 배포가 있는 경우 삭제합니다.$ oc delete deployment --selector=app=rook-ceph-crashcollector,node_name=<failed_node_name> -n openshift-storageocs-osd-removal-job을 삭제합니다.# oc delete -n openshift-storage job ocs-osd-removal-job
출력 예:
job.batch "ocs-osd-removal-job" deleted
검증 단계
새 노드가 출력에 있는지 확인합니다.
$ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1
워크로드 → 포드 를 클릭합니다. 새 노드의 다음 Pod가
Running상태인지 확인합니다.-
csi-cephfsplugin-* -
csi-rbdplugin-*
-
기타 필요한 모든 OpenShift Data Foundation Pod가
Running상태인지 확인합니다.새로운 incremental
mon이 생성되고Running상태에 있는지 확인합니다.$ oc get pod -n openshift-storage | grep mon
출력 예:
rook-ceph-mon-a-cd575c89b-b6k66 2/2 Running 0 38m rook-ceph-mon-b-6776bc469b-tzzt8 2/2 Running 0 38m rook-ceph-mon-d-5ff5d488b5-7v8xh 2/2 Running 0 4m8s
OSD 및 모니터링 포드의 상태가
Running이 되는 데 몇 분이 걸릴 수 있습니다.새 OSD 포드가 대체 노드에서 실행 중인지 확인합니다.
$ oc get pods -o wide -n openshift-storage| egrep -i <new_node_name> | egrep osd선택 사항: 클러스터에서 클러스터 전체 암호화를 사용하는 경우 새 OSD 장치가 암호화되었는지 확인합니다.
이전 단계에서 확인된 각 새 노드에 대해 다음을 수행합니다.
디버그 Pod를 생성하고 하나 이상의 선택한 호스트에 대한 chroot 환경을 엽니다.
$ oc debug node/<node_name>$ chroot /host
사용 가능한 블록 장치 목록을 표시합니다.
$ lsblk
하나 이상의
ocs-deviceset이름 옆에crypt키워드가 있는지 확인합니다.
- 검증 단계가 실패하면 Red Hat 지원팀에 문의하십시오.
2.4.3. VMware 사용자 프로비저닝 인프라에서 실패한 노드 교체
사전 요구 사항
- 교체 노드가 교체한 노드와 유사한 인프라, 리소스 및 디스크로 구성되어 있는지 확인합니다.
- OpenShift Container Platform 클러스터에 로그인해야 합니다.
절차
노드를 식별하고 교체해야 하는 노드의 레이블을 가져옵니다.
$ oc get nodes --show-labels | grep <node_name><node_name>- 교체해야 하는 노드 이름을 지정합니다.
교체해야 하는 노드에서 실행 중인 모니터 Pod(있는 경우) 및 OSD를 확인합니다.
$ oc get pods -n openshift-storage -o wide | grep -i <node_name>이전 단계에서 확인한 Pod의 배포를 축소합니다.
예를 들면 다음과 같습니다.
$ oc scale deployment rook-ceph-mon-c --replicas=0 -n openshift-storage
$ oc scale deployment rook-ceph-osd-0 --replicas=0 -n openshift-storage
$ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name> --replicas=0 -n openshift-storage노드를 예약 불가능으로 표시합니다.
$ oc adm cordon <node_name>상태가 종료되는 Pod를 제거합니다.
$ oc get pods -A -o wide | grep -i <node_name> | awk '{if ($4 == "Terminating") system ("oc -n " $1 " delete pods " $2 " --grace-period=0 " " --force ")}'노드를 드레이닝합니다.
$ oc adm drain <node_name> --force --delete-emptydir-data=true --ignore-daemonsets노드를 제거합니다.
$ oc delete node <node_name>- VMware vSphere에 로그인하고 사용자가 식별한 VM(가상 머신)을 종료합니다.
- 필요한 인프라를 사용하여 VMware vSphere에 새 VM을 생성합니다. 인프라 요구 사항을 참조하십시오.
- 새 VM을 사용하여 새 OpenShift Container Platform 작업자 노드를 생성합니다.
Pending상태인 OpenShift Container Platform과 관련된 CSR(인증서 서명 요청)이 있는지 확인합니다.$ oc get csr
새 노드에 필요한 모든 OpenShift Container Platform CSR을 승인합니다.
$ oc adm certificate approve <certificate_name><certificate_name>- CSR의 이름을 지정합니다.
- OpenShift 웹 콘솔에서 컴퓨팅 → 노드를 클릭합니다. 새 노드가 Ready 상태인지 확인합니다.
다음 중 하나를 사용하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다.
- 사용자 인터페이스에서
- 새 노드의 Action Menu (ECDHE) → Edit Labels 를 클릭합니다.
-
cluster.ocs.openshift.io/openshift-storage를 추가하고 저장을 클릭합니다.
- 명령줄 인터페이스
- OpenShift Data Foundation 레이블을 새 노드에 적용합니다.
$ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""<new_node_name>- 새 노드의 이름을 지정합니다.
OpenShift 로컬 스토리지 Operator가 설치된 네임스페이스를 확인하고
local_storage_project변수에 할당합니다.$ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)예를 들면 다음과 같습니다.
$ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)echo $local_storage_project
출력 예:
openshift-local-storage
localVolumeDiscovery및localVolumeSet에 새 작업자 노드를 추가합니다.새 노드를 포함하도록
localVolumeDiscovery정의를 업데이트하고 실패한 노드를 제거합니다.# oc edit -n $local_storage_project localvolumediscovery auto-discover-devices
출력 예:
[...] nodeSelector: nodeSelectorTerms: - matchExpressions: - key: kubernetes.io/hostname operator: In values: - server1.example.com - server2.example.com #- server3.example.com - newnode.example.com [...]편집기를 종료하기 전에 저장해야 합니다.
이 예에서는
server3.example.com이 제거되고newnode.example.com이 새 노드입니다.편집할
localVolumeSet을 결정합니다.# oc get -n $local_storage_project localvolumeset
출력 예:
NAME AGE localblock 25h
새 노드를 포함하도록
localVolumeSet정의를 업데이트하고 실패한 노드를 삭제합니다.# oc edit -n $local_storage_project localvolumeset localblock
출력 예:
[...] nodeSelector: nodeSelectorTerms: - matchExpressions: - key: kubernetes.io/hostname operator: In values: - server1.example.com - server2.example.com #- server3.example.com - newnode.example.com [...]편집기를 종료하기 전에 저장해야 합니다.
이 예에서는
server3.example.com이 제거되고newnode.example.com이 새 노드입니다.
새
로컬 블록PV(영구 볼륨)를 사용할 수 있는지 확인합니다.$oc get pv | grep localblock | grep Available
출력 예:
local-pv-551d950 512Gi RWO Delete Available localblock 26s
openshift-storage프로젝트로 이동합니다.$ oc project openshift-storage
클러스터에서 실패한 OSD를 제거합니다. 필요한 경우 여러 개의 실패한 OSD를 지정할 수 있습니다.
$ oc process -n openshift-storage ocs-osd-removal \ -p FAILED_OSD_IDS=<failed_osd_id> -p FORCE_OSD_REMOVAL=true | oc create -f -<failed_osd_id>rook-ceph-osd접두사 직후 Pod 이름의 정수입니다.명령에 쉼표로 구분된 OSD ID를 추가하여 OSD를 두 개 이상 제거할 수 있습니다(예:
FAILED_OSD_IDS=0,1,2).OSD가 3개뿐인 클러스터에서
FORCE_OSD_REMOVAL값을true로 변경해야 합니다. OSD를 제거한 후 3개의 데이터 복제본을 모두 복원할 수 있는 공간이 충분하지 않은 클러스터에서는 FORCE_OSD_REMOVAL 값을 true로 변경해야 합니다.
ocs-osd-removal-jobPod의 상태를 확인하여 OSD가 성공적으로 제거되었는지 확인합니다.Completed상태로 인해 OSD 제거 작업이 성공했는지 확인합니다.# oc get pod -l job-name=ocs-osd-removal-job -n openshift-storage
OSD 제거가 완료되었는지 확인합니다.
$ oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1 | egrep -i 'completed removal'
출력 예:
2022-05-10 06:50:04.501511 I | cephosd: completed removal of OSD 0
중요ocs-osd-removal-job이 실패하고 Pod가 예상Completed상태가 아닌 경우 Pod 로그를 확인하여 추가 디버깅을 확인합니다.예를 들면 다음과 같습니다.
# oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1
PVC(영구 볼륨 클레임)와 연결된 PV(영구 볼륨)를 식별합니다.
# oc get pv -L kubernetes.io/hostname | grep localblock | grep Released
출력 예:
local-pv-d6bf175b 1490Gi RWO Delete Released openshift-storage/ocs-deviceset-0-data-0-6c5pw localblock 2d22h compute-1
릴리스된 PV가 있는
경우이를 삭제합니다.# oc delete pv <persistent_volume>예를 들면 다음과 같습니다.
# oc delete pv local-pv-d6bf175b
출력 예:
persistentvolume "local-pv-d9c5cbd6" deleted
crashcollectorPod 배포를 확인합니다.$ oc get deployment --selector=app=rook-ceph-crashcollector,node_name=<failed_node_name> -n openshift-storage기존
crashcollectorPod 배포가 있는 경우 삭제합니다.$ oc delete deployment --selector=app=rook-ceph-crashcollector,node_name=<failed_node_name> -n openshift-storageocs-osd-removal-job을 삭제합니다.# oc delete -n openshift-storage job ocs-osd-removal-job
출력 예:
job.batch "ocs-osd-removal-job" deleted
검증 단계
새 노드가 출력에 있는지 확인합니다.
$ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1
워크로드 → 포드 를 클릭합니다. 새 노드의 다음 Pod가
Running상태인지 확인합니다.-
csi-cephfsplugin-* -
csi-rbdplugin-*
-
기타 필요한 모든 OpenShift Data Foundation Pod가
Running상태인지 확인합니다.새로운 incremental
mon이 생성되고Running상태에 있는지 확인합니다.$ oc get pod -n openshift-storage | grep mon
출력 예:
rook-ceph-mon-a-cd575c89b-b6k66 2/2 Running 0 38m rook-ceph-mon-b-6776bc469b-tzzt8 2/2 Running 0 38m rook-ceph-mon-d-5ff5d488b5-7v8xh 2/2 Running 0 4m8s
OSD 및 모니터링 포드의 상태가
Running이 되는 데 몇 분이 걸릴 수 있습니다.새 OSD 포드가 대체 노드에서 실행 중인지 확인합니다.
$ oc get pods -o wide -n openshift-storage| egrep -i <new_node_name> | egrep osd선택 사항: 클러스터에서 클러스터 전체 암호화를 사용하는 경우 새 OSD 장치가 암호화되었는지 확인합니다.
이전 단계에서 확인된 각 새 노드에 대해 다음을 수행합니다.
디버그 Pod를 생성하고 하나 이상의 선택한 호스트에 대한 chroot 환경을 엽니다.
$ oc debug node/<node_name>$ chroot /host
사용 가능한 블록 장치 목록을 표시합니다.
$ lsblk
하나 이상의
ocs-deviceset이름 옆에crypt키워드가 있는지 확인합니다.
- 검증 단계가 실패하면 Red Hat 지원팀에 문의하십시오.
2.4.4. VMware 설치 관리자 프로비저닝 인프라에서 실패한 노드 교체
사전 요구 사항
- 교체 노드가 교체하는 노드와 유사한 인프라, 리소스 및 디스크로 구성되어 있는지 확인합니다.
- OpenShift Container Platform 클러스터에 로그인해야 합니다.
절차
- OpenShift 웹 콘솔에 로그인하고 컴퓨팅 → 노드를 클릭합니다.
- 교체해야 하는 노드를 식별합니다. 해당 머신 이름을 기록해 둡니다.
노드에 라벨을 가져옵니다.
$ oc get nodes --show-labels | grep _<node_name>_
<node_name>- 교체해야 하는 노드 이름을 지정합니다.
노드에서 실행 중인 OSD(개체 스토리지 장치) 및
mon을 식별합니다.$ oc get pods -n openshift-storage -o wide | grep -i _<node_name>_
이전 단계에서 확인한 Pod의 배포를 축소합니다.
예를 들면 다음과 같습니다.
$ oc scale deployment rook-ceph-mon-c --replicas=0 -n openshift-storage
$ oc scale deployment rook-ceph-osd-0 --replicas=0 -n openshift-storage
$ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name> --replicas=0 -n openshift-storage
노드를 예약 불가능으로 표시합니다.
$ oc adm cordon _<node_name>_
상태가 종료되는 Pod를 제거합니다.
$ oc get pods -A -o wide | grep -i _<node_name>_ | awk '{if ($4 == "Terminating") system ("oc -n " $1 " delete pods " $2 " --grace-period=0 " " --force ")}'노드를 드레이닝합니다.
$ oc adm drain _<node_name>_ --force --delete-emptydir-data=true --ignore-daemonsets
- 컴퓨팅 → 머신을 클릭합니다. 필요한 시스템을 검색합니다.
- 필요한 머신 외에도 작업 메뉴 (ECDHE) → 머신 삭제를 클릭합니다.
- Delete 를 클릭하여 시스템이 삭제되었는지 확인합니다. 새 머신이 자동으로 생성됩니다.
새 머신이 시작되고 Running 상태로 전환될 때까지 기다립니다.
중요이 활동에는 최소 5-10분 이상이 걸릴 수 있습니다.
- OpenShift 웹 콘솔에서 컴퓨팅 → 노드를 클릭합니다. 새 노드가 Ready 상태인지 확인합니다.
- 노드에 물리적으로 새 장치를 추가합니다.
다음 중 하나를 사용하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다.
- 사용자 인터페이스에서
- 새 노드의 Action Menu (ECDHE) → Edit Labels 를 클릭합니다.
-
cluster.ocs.openshift.io/openshift-storage를 추가하고 저장을 클릭합니다.
- 명령줄 인터페이스
- OpenShift Data Foundation 레이블을 새 노드에 적용합니다.
$ oc label node _<new_node_name>_ cluster.ocs.openshift.io/openshift-storage=""
<new_node_name>- 새 노드의 이름을 지정합니다.
OpenShift 로컬 스토리지 Operator가 설치된 네임스페이스를 확인하고
local_storage_project변수에 할당합니다.$ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)예를 들면 다음과 같습니다.
$ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)echo $local_storage_project
출력 예:
openshift-local-storage
localVolumeDiscovery및localVolumeSet에 새 작업자 노드를 추가합니다.새 노드를 포함하도록
localVolumeDiscovery정의를 업데이트하고 실패한 노드를 제거합니다.# oc edit -n $local_storage_project localvolumediscovery auto-discover-devices
출력 예:
[...] nodeSelector: nodeSelectorTerms: - matchExpressions: - key: kubernetes.io/hostname operator: In values: - server1.example.com - server2.example.com #- server3.example.com - **newnode.example.com** [...]편집기를 종료하기 전에 저장해야 합니다.
이 예에서는
server3.example.com이 제거되고newnode.example.com이 새 노드입니다.편집해야 하는
localVolumeSet을 결정합니다.# oc get -n $local_storage_project localvolumeset
출력 예:
NAME AGE localblock 25h
새 노드를 포함하도록
localVolumeSet정의를 업데이트하고 실패한 노드를 삭제합니다.# oc edit -n $local_storage_project localvolumeset localblock
출력 예:
[...] nodeSelector: nodeSelectorTerms: - matchExpressions: - key: kubernetes.io/hostname operator: In values: - server1.example.com - server2.example.com #- server3.example.com - **newnode.example.com** [...]편집기를 종료하기 전에 저장해야 합니다.
이 예에서는
server3.example.com이 제거되고newnode.example.com이 새 노드입니다.
새
localblockPV를 사용할 수 있는지 확인합니다.$ oc get pv | grep localblock | grep Available
출력 예:
local-pv-551d950 512Gi RWO Delete Available localblock 26s
openshift-storage프로젝트로 이동합니다.$ oc project openshift-storage
클러스터에서 실패한 OSD를 제거합니다. 필요한 경우 여러 개의 실패한 OSD를 지정할 수 있습니다.
$ oc process -n openshift-storage ocs-osd-removal \ -p FAILED_OSD_IDS=<failed_osd_id> -p FORCE_OSD_REMOVAL=true | oc create -f -<failed_osd_id>rook-ceph-osd접두사 직후 Pod 이름의 정수입니다.명령에 쉼표로 구분된 OSD ID를 추가하여 OSD를 두 개 이상 제거할 수 있습니다(예:
FAILED_OSD_IDS=0,1,2).OSD가 3개뿐인 클러스터에서
FORCE_OSD_REMOVAL값을true로 변경해야 합니다. OSD를 제거한 후 3개의 데이터 복제본을 모두 복원할 수 있는 공간이 충분하지 않은 클러스터에서는 FORCE_OSD_REMOVAL 값을 true로 변경해야 합니다.
ocs-osd-removal-jobPod의 상태를 확인하여 OSD가 성공적으로 제거되었는지 확인합니다.Completed상태로 인해 OSD 제거 작업이 성공했는지 확인합니다.# oc get pod -l job-name=ocs-osd-removal-job -n openshift-storage
OSD 제거가 완료되었는지 확인합니다.
$ oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1 | egrep -i 'completed removal'
출력 예:
2022-05-10 06:50:04.501511 I | cephosd: completed removal of OSD 0
중요ocs-osd-removal-job이 실패하고 Pod가 예상Completed상태가 아닌 경우 Pod 로그를 확인하여 추가 디버깅을 확인합니다.예를 들면 다음과 같습니다.
# oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1
PVC(영구 볼륨 클레임)와 연결된 PV를 확인합니다.
# oc get pv -L kubernetes.io/hostname | grep localblock | grep Released
출력 예:
local-pv-d6bf175b 1490Gi RWO Delete Released openshift-storage/ocs-deviceset-0-data-0-6c5pw localblock 2d22h compute-1
릴리스된 PV가 있는
경우이를 삭제합니다.# oc delete pv _<persistent_volume>_
예를 들면 다음과 같습니다.
# oc delete pv local-pv-d6bf175b
출력 예:
persistentvolume "local-pv-d9c5cbd6" deleted
crashcollectorPod 배포를 확인합니다.$ oc get deployment --selector=app=rook-ceph-crashcollector,node_name=_<failed_node_name>_ -n openshift-storage
기존
crashcollectorPod 배포가 있는 경우 삭제합니다.$ oc delete deployment --selector=app=rook-ceph-crashcollector,node_name=_<failed_node_name>_ -n openshift-storage
ocs-osd-removal-job을 삭제합니다.# oc delete -n openshift-storage job ocs-osd-removal-job
출력 예:
job.batch "ocs-osd-removal-job" deleted
검증 단계
새 노드가 출력에 있는지 확인합니다.
$ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1
워크로드 → 포드 를 클릭합니다. 새 노드의 다음 Pod가
Running상태인지 확인합니다.-
csi-cephfsplugin-* -
csi-rbdplugin-*
-
기타 필요한 모든 OpenShift Data Foundation Pod가
Running상태인지 확인합니다.새로운 incremental
mon이 생성되고Running상태에 있는지 확인합니다.$ oc get pod -n openshift-storage | grep mon
출력 예:
rook-ceph-mon-a-cd575c89b-b6k66 2/2 Running 0 38m rook-ceph-mon-b-6776bc469b-tzzt8 2/2 Running 0 38m rook-ceph-mon-d-5ff5d488b5-7v8xh 2/2 Running 0 4m8s
OSD 및 모니터링 포드의 상태가
Running이 되는 데 몇 분이 걸릴 수 있습니다.새 OSD 포드가 대체 노드에서 실행 중인지 확인합니다.
$ oc get pods -o wide -n openshift-storage| egrep -i <new_node_name> | egrep osd선택 사항: 클러스터에서 클러스터 전체 암호화를 사용하는 경우 새 OSD 장치가 암호화되었는지 확인합니다.
이전 단계에서 확인된 각 새 노드에 대해 다음을 수행합니다.
디버그 Pod를 생성하고 하나 이상의 선택한 호스트에 대한 chroot 환경을 엽니다.
$ oc debug node/<node_name>$ chroot /host
사용 가능한 블록 장치 목록을 표시합니다.
$ lsblk
하나 이상의
ocs-deviceset이름 옆에crypt키워드가 있는지 확인합니다.
- 검증 단계가 실패하면 Red Hat 지원팀에 문의하십시오.
2.5. Red Hat Virtualization 인프라에서 스토리지 노드 교체
- 운영 노드를 교체하려면 2.5.1절. “Red Hat Virtualization 설치 관리자 프로비저닝 인프라에서 운영 노드 교체” 을 참조하십시오.
- 오류가 발생한 노드를 교체하려면 2.5.2절. “Red Hat Virtualization 설치 관리자 프로비저닝 인프라에서 실패한 노드 교체” 을 참조하십시오.
2.5.1. Red Hat Virtualization 설치 관리자 프로비저닝 인프라에서 운영 노드 교체
사전 요구 사항
- 교체 노드가 교체한 노드와 유사한 인프라, 리소스 및 디스크로 구성되어 있는지 확인합니다.
- OpenShift Container Platform 클러스터에 로그인해야 합니다.
절차
- OpenShift 웹 콘솔에 로그인하고 컴퓨팅 → 노드를 클릭합니다.
- 교체해야 하는 노드를 식별합니다. 해당 머신 이름을 기록해 둡니다.
노드에 라벨을 가져옵니다.
$ oc get nodes --show-labels | grep <node_name><node_name>- 교체해야 하는 노드 이름을 지정합니다.
노드에서 실행 중인 임시 장치(있는 경우) 및 개체 스토리지 장치(OSD)를 식별합니다.
$ oc get pods -n openshift-storage -o wide | grep -i <node_name>이전 단계에서 확인한 Pod의 배포를 축소합니다.
예를 들면 다음과 같습니다.
$ oc scale deployment rook-ceph-mon-c --replicas=0 -n openshift-storage
$ oc scale deployment rook-ceph-osd-0 --replicas=0 -n openshift-storage
$ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name> --replicas=0 -n openshift-storage
노드를 예약 불가로 표시합니다.
$ oc adm cordon <node_name>노드를 드레이닝합니다.
$ oc adm drain <node_name> --force --delete-emptydir-data=true --ignore-daemonsets- 컴퓨팅 → 머신을 클릭합니다. 필요한 시스템을 검색합니다.
- 필요한 머신 외에도 작업 메뉴 (ECDHE) → 머신 삭제를 클릭합니다.
Delete 를 클릭하여 시스템이 삭제되었는지 확인합니다. 새 머신이 자동으로 생성됩니다. 새 머신이 시작되고
Running상태로 전환될 때까지 기다립니다.중요이 활동에는 최소 5-10분 이상이 걸릴 수 있습니다.
- OpenShift 웹 콘솔에서 컴퓨팅 → 노드를 클릭합니다. 새 노드가 Ready 상태인지 확인합니다.
- 하나 이상의 새 장치를 노드에 물리적으로 추가합니다.
다음 중 하나를 사용하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다.
- 사용자 인터페이스에서
- 새 노드의 Action Menu (ECDHE) → Edit Labels 를 클릭합니다.
-
cluster.ocs.openshift.io/openshift-storage를 추가하고 저장을 클릭합니다.
- 명령줄 인터페이스
- OpenShift Data Foundation 레이블을 새 노드에 적용합니다.
$ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""<new_node_name>- 새 노드의 이름을 지정합니다.
OpenShift 로컬 스토리지 Operator가 설치된 네임스페이스를 확인하고
local_storage_project변수에 할당합니다.$ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)예를 들면 다음과 같습니다.
$ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)echo $local_storage_project
출력 예:
openshift-local-storage
localVolumeDiscovery및localVolumeSet에 새 작업자 노드를 추가합니다.새 노드를 포함하도록
localVolumeDiscovery정의를 업데이트하고 실패한 노드를 제거합니다.# oc edit -n $local_storage_project localvolumediscovery auto-discover-devices
출력 예:
[...] nodeSelector: nodeSelectorTerms: - matchExpressions: - key: kubernetes.io/hostname operator: In values: - server1.example.com - server2.example.com #- server3.example.com - newnode.example.com [...]편집기를 종료하기 전에 저장해야 합니다.
이 예에서는
server3.example.com이 제거되고newnode.example.com이 새 노드입니다.편집해야 하는
localVolumeSet을 결정합니다.# oc get -n $local_storage_project localvolumeset
출력 예:
NAME AGE localblock 25h
새 노드를 포함하도록
localVolumeSet정의를 업데이트하고 실패한 노드를 삭제합니다.# oc edit -n $local_storage_project localvolumeset localblock
출력 예:
[...] nodeSelector: nodeSelectorTerms: - matchExpressions: - key: kubernetes.io/hostname operator: In values: - server1.example.com - server2.example.com #- server3.example.com - newnode.example.com [...]편집기를 종료하기 전에 저장해야 합니다.
이 예에서는
server3.example.com이 제거되고newnode.example.com이 새 노드입니다.
새
로컬 블록PV(영구 볼륨)를 사용할 수 있는지 확인합니다.$oc get pv | grep localblock | grep Available
출력 예:
local-pv-551d950 512Gi RWO Delete Available localblock 26s
openshift-storage프로젝트로 이동합니다.$ oc project openshift-storage
클러스터에서 실패한 OSD를 제거합니다. 필요한 경우 여러 개의 실패한 OSD를 지정할 수 있습니다.
$ oc process -n openshift-storage ocs-osd-removal \ -p FAILED_OSD_IDS=<failed_osd_id> -p FORCE_OSD_REMOVAL=true | oc create -f -<failed_osd_id>rook-ceph-osd접두사 직후 Pod 이름의 정수입니다.명령에 쉼표로 구분된 OSD ID를 추가하여 OSD를 두 개 이상 제거할 수 있습니다(예:
FAILED_OSD_IDS=0,1,2).OSD가 3개뿐인 클러스터에서
FORCE_OSD_REMOVAL값을true로 변경해야 합니다. OSD를 제거한 후 3개의 데이터 복제본을 모두 복원할 수 있는 공간이 충분하지 않은 클러스터에서는 FORCE_OSD_REMOVAL 값을 true로 변경해야 합니다.
ocs-osd-removal-jobPod의 상태를 확인하여 OSD가 성공적으로 제거되었는지 확인합니다.Completed상태로 인해 OSD 제거 작업이 성공했는지 확인합니다.# oc get pod -l job-name=ocs-osd-removal-job -n openshift-storage
OSD 제거가 완료되었는지 확인합니다.
$ oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1 | egrep -i 'completed removal'
출력 예:
2022-05-10 06:50:04.501511 I | cephosd: completed removal of OSD 0
중요ocs-osd-removal-job이 실패하고 Pod가 예상Completed상태가 아닌 경우 Pod 로그를 확인하여 추가 디버깅을 확인합니다.예를 들면 다음과 같습니다.
# oc logs -l job-name=ocs-osd-removal-job -n openshift-storage -tail=-1
PVC(영구 볼륨 클레임)와 연결된 PV를 확인합니다.
# oc get pv -L kubernetes.io/hostname | grep localblock | grep Released
출력 예:
local-pv-d6bf175b 512Gi RWO Delete Released openshift-storage/ocs-deviceset-0-data-0-6c5pw localblock 2d22h server3.example.com
릴리스된 PV가 있는
경우이를 삭제합니다.# oc delete pv <persistent_volume>예를 들면 다음과 같습니다.
# oc delete pv local-pv-d6bf175b
출력 예:
persistentvolume "local-pv-d6bf175b" deleted
crashcollectorPod 배포를 확인합니다.$ oc get deployment --selector=app=rook-ceph-crashcollector,node_name=<failed_node_name> -n openshift-storage기존
crashcollectorPod가 있는 경우 해당 Pod를 삭제합니다.$ oc delete deployment --selector=app=rook-ceph-crashcollector,node_name=<failed_node_name>_ -n openshift-storage
ocs-osd-removal작업을 삭제합니다.# oc delete -n openshift-storage job ocs-osd-removal-job
출력 예:
job.batch "ocs-osd-removal-job" deleted
검증 단계
새 노드가 출력에 있는지 확인합니다.
$ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1
워크로드 → 포드 를 클릭합니다. 새 노드의 다음 Pod가
Running상태인지 확인합니다.-
csi-cephfsplugin-* -
csi-rbdplugin-*
-
기타 필요한 모든 OpenShift Data Foundation Pod가
Running상태인지 확인합니다.새로운 incremental
mon이 생성되고Running상태에 있는지 확인합니다.$ oc get pod -n openshift-storage | grep mon
출력 예:
rook-ceph-mon-a-cd575c89b-b6k66 2/2 Running 0 38m rook-ceph-mon-b-6776bc469b-tzzt8 2/2 Running 0 38m rook-ceph-mon-d-5ff5d488b5-7v8xh 2/2 Running 0 4m8s
OSD 및 모니터링 포드의 상태가
Running이 되는 데 몇 분이 걸릴 수 있습니다.새 OSD 포드가 대체 노드에서 실행 중인지 확인합니다.
$ oc get pods -o wide -n openshift-storage| egrep -i <new_node_name> | egrep osd선택 사항: 클러스터에서 클러스터 전체 암호화를 사용하는 경우 새 OSD 장치가 암호화되었는지 확인합니다.
이전 단계에서 확인된 각 새 노드에 대해 다음을 수행합니다.
디버그 Pod를 생성하고 하나 이상의 선택한 호스트에 대한 chroot 환경을 엽니다.
$ oc debug node/<node_name>$ chroot /host
사용 가능한 블록 장치 목록을 표시합니다.
$ lsblk
하나 이상의
ocs-deviceset이름 옆에crypt키워드가 있는지 확인합니다.
- 검증 단계가 실패하면 Red Hat 지원팀에 문의하십시오.
2.5.2. Red Hat Virtualization 설치 관리자 프로비저닝 인프라에서 실패한 노드 교체
사전 요구 사항
- 교체 노드가 교체한 노드와 유사한 인프라, 리소스 및 디스크로 구성되어 있는지 확인합니다.
- OpenShift Container Platform 클러스터에 로그인해야 합니다.
절차
- OpenShift 웹 콘솔에 로그인하고 컴퓨팅 → 노드를 클릭합니다.
- 교체해야 하는 노드를 식별합니다. 해당 머신 이름을 기록해 둡니다.
노드에 라벨을 가져옵니다.
$ oc get nodes --show-labels | grep <node_name><node_name>- 교체해야 하는 노드 이름을 지정합니다.
노드에서 실행 중인 OSD(개체 스토리지 장치) 및
mon을 식별합니다.$ oc get pods -n openshift-storage -o wide | grep -i <node_name>이전 단계에서 확인한 Pod의 배포를 축소합니다.
예를 들면 다음과 같습니다.
$ oc scale deployment rook-ceph-mon-c --replicas=0 -n openshift-storage
$ oc scale deployment rook-ceph-osd-0 --replicas=0 -n openshift-storage
$ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name> --replicas=0 -n openshift-storage노드를 예약 불가능으로 표시합니다.
$ oc adm cordon <node_name>Terminating상태인 Pod를 제거합니다.$ oc get pods -A -o wide | grep -i <node_name> | awk '{if ($4 == "Terminating") system ("oc -n " $1 " delete pods " $2 " --grace-period=0 " " --force ")}'노드를 드레이닝합니다.
$ oc adm drain <node_name> --force --delete-emptydir-data=true --ignore-daemonsets- 컴퓨팅 → 머신을 클릭합니다. 필요한 시스템을 검색합니다.
- 필요한 머신 외에도 작업 메뉴 (ECDHE) → 머신 삭제를 클릭합니다.
Delete 를 클릭하여 시스템이 삭제되었는지 확인합니다. 새 머신이 자동으로 생성됩니다. 새 머신이 시작되고
Running상태로 전환될 때까지 기다립니다.중요이 활동에는 최소 5-10분 이상이 걸릴 수 있습니다.
-
OpenShift 웹 콘솔에서 컴퓨팅 → 노드를 클릭합니다. 새 노드가
Ready상태인지 확인합니다. - 하나 이상의 새 장치를 노드에 물리적으로 추가합니다.
다음 중 하나를 사용하여 OpenShift Data Foundation 레이블을 새 노드에 적용합니다.
- 사용자 인터페이스에서
- 새 노드의 Action Menu (ECDHE) → Edit Labels 를 클릭합니다.
-
cluster.ocs.openshift.io/openshift-storage를 추가하고 저장을 클릭합니다.
- 명령줄 인터페이스
- OpenShift Data Foundation 레이블을 새 노드에 적용합니다.
$ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""
OpenShift 로컬 스토리지 Operator가 설치된 네임스페이스를 확인하고
local_storage_project변수에 할당합니다.$ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)예를 들면 다음과 같습니다.
$ local_storage_project=$(oc get csv --all-namespaces | awk '{print $1}' | grep local)echo $local_storage_project
출력 예:
openshift-local-storage
localVolumeDiscovery및localVolumeSet에 새 작업자 노드를 추가합니다.새 노드를 포함하도록
localVolumeDiscovery정의를 업데이트하고 실패한 노드를 제거합니다.# oc edit -n $local_storage_project localvolumediscovery auto-discover-devices
출력 예:
[...] nodeSelector: nodeSelectorTerms: - matchExpressions: - key: kubernetes.io/hostname operator: In values: - server1.example.com - server2.example.com #- server3.example.com - newnode.example.com [...]편집기를 종료하기 전에 저장해야 합니다.
이 예에서는
server3.example.com이 제거되고newnode.example.com이 새 노드입니다.편집해야 하는
localVolumeSet을 결정합니다.# oc get -n $local_storage_project localvolumeset
출력 예:
NAME AGE localblock 25h
새 노드를 포함하도록
localVolumeSet정의를 업데이트하고 실패한 노드를 삭제합니다.# oc edit -n $local_storage_project localvolumeset localblock
출력 예:
[...] nodeSelector: nodeSelectorTerms: - matchExpressions: - key: kubernetes.io/hostname operator: In values: - server1.example.com - server2.example.com #- server3.example.com - newnode.example.com [...]편집기를 종료하기 전에 저장해야 합니다.
이 예에서는
server3.example.com이 제거되고newnode.example.com이 새 노드입니다.
새
로컬 블록PV(영구 볼륨)를 사용할 수 있는지 확인합니다.$oc get pv | grep localblock | grep Available
출력 예:
local-pv-551d950 512Gi RWO Delete Available localblock 26s
openshift-storage프로젝트로 이동합니다.$ oc project openshift-storage
클러스터에서 실패한 OSD를 제거합니다. 필요한 경우 여러 개의 실패한 OSD를 지정할 수 있습니다.
$ oc process -n openshift-storage ocs-osd-removal \ -p FAILED_OSD_IDS=<failed_osd_id> -p FORCE_OSD_REMOVAL=true| oc create -f -<failed_osd_id>rook-ceph-osd접두사 직후 Pod 이름의 정수입니다.명령에 쉼표로 구분된 OSD ID를 추가하여 OSD를 두 개 이상 제거할 수 있습니다(예:
FAILED_OSD_IDS=0,1,2).OSD가 3개뿐인 클러스터에서
FORCE_OSD_REMOVAL값을true로 변경해야 합니다. OSD를 제거한 후 3개의 데이터 복제본을 모두 복원할 수 있는 공간이 충분하지 않은 클러스터에서는 FORCE_OSD_REMOVAL 값을 true로 변경해야 합니다.
ocs-osd-removal-jobPod의 상태를 확인하여 OSD가 성공적으로 제거되었는지 확인합니다.Completed상태로 인해 OSD 제거 작업이 성공했는지 확인합니다.# oc get pod -l job-name=ocs-osd-removal-job -n openshift-storage
OSD 제거가 완료되었는지 확인합니다.
$ oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1 | egrep -i 'completed removal'
출력 예:
2022-05-10 06:50:04.501511 I | cephosd: completed removal of OSD 0
중요ocs-osd-removal-job이 실패하고 Pod가 예상Completed상태가 아닌 경우 Pod 로그를 확인하여 추가 디버깅을 확인합니다.예를 들면 다음과 같습니다.
# oc logs -l job-name=ocs-osd-removal-job -n openshift-storage --tail=-1
PVC(영구 볼륨 클레임)와 연결된 PV를 확인합니다.
# oc get pv -L kubernetes.io/hostname | grep localblock | grep Released
출력 예:
local-pv-d6bf175b 512Gi RWO Delete Released openshift-storage/ocs-deviceset-0-data-0-6c5pw localblock 2d22h server3.example.com
릴리스된 PV가 있는
경우이를 삭제합니다.# oc delete pv <persistent_volume>예를 들면 다음과 같습니다.
# oc delete pv local-pv-d6bf175b
출력 예:
persistentvolume "local-pv-d6bf175b" deleted
crashcollectorPod 배포를 확인합니다.$ oc get deployment --selector=app=rook-ceph-crashcollector,node_name=<failed_node_name> -n openshift-storage기존
crashcollectorPod가 있는 경우 해당 Pod를 삭제합니다.$ oc delete deployment --selector=app=rook-ceph-crashcollector,node_name=<failed_node_name>_ -n openshift-storage
ocs-osd-removal작업을 삭제합니다.# oc delete -n openshift-storage job ocs-osd-removal-job
출력 예:
job.batch "ocs-osd-removal-job" deleted
검증 단계
새 노드가 출력에 있는지 확인합니다.
$ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1
워크로드 → 포드 를 클릭합니다. 새 노드의 다음 Pod가
Running상태인지 확인합니다.-
csi-cephfsplugin-* -
csi-rbdplugin-*
-
기타 필요한 모든 OpenShift Data Foundation Pod가
Running상태인지 확인합니다.새로운 incremental
mon이 생성되고Running상태에 있는지 확인합니다.$ oc get pod -n openshift-storage | grep mon
출력 예:
rook-ceph-mon-a-cd575c89b-b6k66 2/2 Running 0 38m rook-ceph-mon-b-6776bc469b-tzzt8 2/2 Running 0 38m rook-ceph-mon-d-5ff5d488b5-7v8xh 2/2 Running 0 4m8s
OSD 및 모니터링 포드의 상태가
Running이 되는 데 몇 분이 걸릴 수 있습니다.새 OSD 포드가 대체 노드에서 실행 중인지 확인합니다.
$ oc get pods -o wide -n openshift-storage| egrep -i <new_node_name> | egrep osd선택 사항: 클러스터에서 클러스터 전체 암호화를 사용하는 경우 새 OSD 장치가 암호화되었는지 확인합니다.
이전 단계에서 확인된 각 새 노드에 대해 다음을 수행합니다.
디버그 Pod를 생성하고 하나 이상의 선택한 호스트에 대한 chroot 환경을 엽니다.
$ oc debug node/<node_name>$ chroot /host
사용 가능한 블록 장치 목록을 표시합니다.
$ lsblk
하나 이상의
ocs-deviceset이름 옆에crypt키워드가 있는지 확인합니다.
- 검증 단계가 실패하면 Red Hat 지원팀에 문의하십시오.