9.3.3. VMWare インフラストラクチャーでのストレージノードの置き換え
- 稼働中のノードを置き換えるには、を参照してください。 「VMware のユーザーによってプロビジョニングされるインフラストラクチャーで動作するノードの置き換え」
- 障害のあるノードを置き換えるには、を参照してください。 「VMware ユーザーによってプロビジョニングされるインフラストラクチャーでの障害のあるノードの置き換え」
9.3.3.1. VMware のユーザーによってプロビジョニングされるインフラストラクチャーで動作するノードの置き換え
前提条件
- OpenShift Container Platform (OCP) クラスターにログインしている必要があります。
手順
ノードを特定し、置き換えるノードのラベルを取得します。
$ oc get nodes --show-labels | grep <node_name>
置き換えるノードで実行されている
mon(ある場合) および OSD を特定します。$ oc get pods -n openshift-storage -o wide | grep -i <node_name>
先の手順で特定された Pod のデプロイメントをスケールダウンします。
以下に例を示します。
$ oc scale deployment rook-ceph-mon-c --replicas=0 -n openshift-storage $ oc scale deployment rook-ceph-osd-0 --replicas=0 -n openshift-storage $ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name> --replicas=0 -n openshift-storage
ノードにスケジュール対象外 (unschedulable) のマークを付けます。
$ oc adm cordon <node_name>
ノードをドレイン (解放) します。
$ oc adm drain <node_name> --force --delete-local-data --ignore-daemonsets
ノードを削除します。
$ oc delete node <node_name>
- VSphere にログインし、特定された仮想マシンを終了します。
- 必要なインフラストラクチャーで VMware に新規の仮想マシンを作成します。サポートされるインフラストラクチャーおよびプラットフォームについて参照してください。
- 新規の仮想マシンを使用して新規 OpenShift Container Platform ワーカーノードを作成します。
Pending 状態の OpenShift Container Platform に関連する証明書署名要求 (CSR) の有無を確認します。
$ oc get csr
新規ノードに必要なすべての OpenShift Container Platform CSR を承認します。
$ oc adm certificate approve <Certificate_Name>
- OpenShift Web コンソールで Compute → Nodes をクリックし、新規ノードが Ready 状態にあるかどうかを確認します。
以下のいずれかを使用して、OpenShift Container Storage ラベルを新規ノードに適用します。
- ユーザーインターフェースを使用する場合
- 新規ノードについて、Action Menu (⋮) → Edit Labels をクリックします。
-
cluster.ocs.openshift.io/openshift-storageを追加し、Save をクリックします。
- コマンドラインインターフェースの使用
以下のコマンドを実行して、OpenS+hift Container Storage ラベルを新規ノードに適用します。
$ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""
これらのワーカーノードで利用可能なローカルストレージデバイスを OpenShift Container Storage StorageCluster に追加します。
新規ディスクエントリーを
LocalVolumeCR に追加します。LocalVolumeCR を編集し、障害のあるデバイス/dev/disk/by-id/{id}を削除またはコメントアウトし、新規の/dev/disk/by-id/{id}を追加します。この例では、新規デバイスは/dev/disk/by-id/nvme-eui.01000000010000005cd2e490020e5251です。# oc get -n local-storage localvolume
出力例:
NAME AGE local-block 25h
# oc edit -n local-storage localvolume local-block
出力例:
[...] storageClassDevices: - devicePaths: - /dev/disk/by-id/nvme-eui.01000000010000005cd2e4895e0e5251 - /dev/disk/by-id/nvme-eui.01000000010000005cd2e4ea2f0f5251 # - /dev/disk/by-id/nvme-eui.01000000010000005cd2e4de2f0f5251 - /dev/disk/by-id/nvme-eui.01000000010000005cd2e490020e5251 storageClassName: localblock volumeMode: Block [...]CR の編集後に変更を保存するようにしてください。
localblockと共に PV を表示します。$ oc get pv | grep localblock
出力例:
local-pv-3e8964d3 1490Gi RWO Delete Bound openshift-storage/ocs-deviceset-2-0-79j94 localblock 25h local-pv-414755e0 1490Gi RWO Delete Bound openshift-storage/ocs-deviceset-1-0-959rp localblock 25h local-pv-b481410 1490Gi RWO Delete Available localblock 3m24s local-pv-d9c5cbd6 1490Gi RWO Delete Bound openshift-storage/ocs-deviceset-0-0-nvs68 localblock
障害のあるノードに関連付けられた PV を削除します。
置き換える OSD に関連付けられた
DeviceSetを特定します。# osd_id_to_remove=0 # oc get -n openshift-storage -o yaml deployment rook-ceph-osd-${osd_id_to_remove} | grep ceph.rook.io/pvcここで、
osd_id_to_removeはrook-ceph-osdプレフィックスの直後にくる Pod 名の整数です。この例では、デプロイメント名はrook-ceph-osd-0です。出力例:
ceph.rook.io/pvc: ocs-deviceset-0-0-nvs68 ceph.rook.io/pvc: ocs-deviceset-0-0-nvs68
この例では、PVC 名は
OCS-deviceset-0-0-nvs68です。PVC に関連付けられた PV を特定します。
# oc get -n openshift-storage pvc ocs-deviceset-<x>-<y>-<pvc-suffix>
ここで、
x、y、およびpvc-suffixは、直前の手順で特定されたDeviceSetの値です。出力例:
NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE ocs-deviceset-0-0-nvs68 Bound local-pv-d9c5cbd6 1490Gi RWO localblock 24h
この例では、関連付けられた PV は
local-pv-d9c5cbd6です。PVC を削除します。
oc delete pvc <pvc-name> -n openshift-storage
PV を削除します。
# oc delete pv local-pv-d9c5cbd6
出力例:
persistentvolume "local-pv-d9c5cbd6" deleted
失敗した OSD をクラスターから削除します。
# oc process -n openshift-storage ocs-osd-removal -p FAILED_OSD_ID=${osd_id_to_remove} | oc create -f -ocs-osd-removalPod のステータスをチェックして、OSD が正常に削除されたことを確認します。Completedのステータスで、OSD の削除ジョブが正常に完了したことを確認します。# oc get pod -l job-name=ocs-osd-removal-${osd_id_to_remove} -n openshift-storage注記ocs-osd-removal が失敗し、Pod が予想される Completed の状態にない場合、追加のデバッグのために Pod ログを確認します。以下に例を示します。
# oc logs -l job-name=ocs-osd-removal-${osd_id_to_remove} -n openshift-storage --tail=-1OSD Pod デプロイメントおよび crashcollector Pod デプロイメントを削除します。
$ oc delete deployment rook-ceph-osd-${osd_id_to_remove} -n openshift-storage $ oc delete deployment --selector=app=rook-ceph-crashcollector,node_name=<old_node_name> -n openshift-storagerook-ceph-operatorを再起動して Operator の調整を強制的に実行して新規 OSD をデプロイします。# oc get -n openshift-storage pod -l app=rook-ceph-operator
出力例:
NAME READY STATUS RESTARTS AGE rook-ceph-operator-6f74fb5bff-2d982 1/1 Running 0 1d20h
rook-ceph-operatorを削除します。# oc delete -n openshift-storage pod rook-ceph-operator-6f74fb5bff-2d982
出力例:
pod "rook-ceph-operator-6f74fb5bff-2d982" deleted
rook-ceph-operatorPod が再起動していることを確認します。# oc get -n openshift-storage pod -l app=rook-ceph-operator
出力例:
NAME READY STATUS RESTARTS AGE rook-ceph-operator-6f74fb5bff-7mvrq 1/1 Running 0 66s
新規 OSD および
monの作成には、Operator が再起動するまでに数分かかる場合があります。
ocs-osd-removalジョブを削除します。# oc delete job ocs-osd-removal-${osd_id_to_remove}出力例:
job.batch "ocs-osd-removal-0" deleted
検証手順
以下のコマンドを実行して、出力で新規ノードが表示されていることを確認します。
$ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1
Workloads → Pods をクリックし、新規ノード上の少なくとも以下の Pod が
Running状態にあることを確認します。-
csi-cephfsplugin-* -
csi-rbdplugin-*
-
他の必要なすべての OpenShift Container Storage Pod が Running 状態にあることを確認します。
また、増分の
monが新規に作成されており、Running 状態にあることを確認します。$ oc get pod -n openshift-storage | grep mon
出力例:
rook-ceph-mon-c-64556f7659-c2ngc 1/1 Running 0 6h14m rook-ceph-mon-d-7c8b74dc4d-tt6hd 1/1 Running 0 4h24m rook-ceph-mon-e-57fb8c657-wg5f2 1/1 Running 0 162m
OSD と Mon が
Running状態になるまで数分かかる場合があります。- 検証手順が失敗した場合は、Red Hat サポートにお問い合わせください。
