手順

1. Compute → Machine Sets に移動します。
2. ノードを追加する必要のあるマシンセットで、Edit Machine Count を選択します。
3. ノード数を追加し、Save をクリックします。
4. Compute → Nodes をクリックし、新規ノードが Ready 状態にあることを確認します。

5. OpenShift Container Storage ラベルを新規ノードに適用します。

   1. 新規ノードについて、Action menu (⋮) → Edit Labels をクリックします。
   2. cluster.ocs.openshift.io/openshift-storage を追加し、Save をクリックします。

手順

1. AWS のユーザーによってプロビジョニングされるインフラストラクチャーまたは VMware のユーザーによってプロビジョニングされるインフラストラクチャーにノードを追加するかどうかに応じて、以下のそれぞれの手順を実行します。

   • AWS の場合:

     1. 必要なインフラストラクチャーで新規 AWS マシンインスタンスを作成します。「プラットフォーム要件」を参照してください。
     2. 新規 AWS マシンインスタンスを使用して新規 OpenShift Container Platform ノードを作成します。

   • VMware の場合:

     1. 必要なインフラストラクチャーで vSphere に新規の仮想マシンを作成します。「プラットフォーム要件」を参照してください。
     2. 新規の仮想マシンを使用して新規 OpenShift Container Platform ワーカーノードを作成します。

2. Pending 状態の OpenShift Container Storage に関連する証明書署名要求 (CSR) の有無を確認します。

   $ oc get csr

3. 新規ノードに必要なすべての OpenShift Container Storage CSR を承認します。

   $ oc adm certificate approve <Certificate_Name>

4. Compute → Nodes をクリックし、新規ノードが Ready 状態にあることを確認します。

5. 以下のいずれかを使用して、OpenShift Container Storage ラベルを新規ノードに適用します。

   ユーザーインターフェースを使用する場合

   1. 新規ノードについて、Action Menu (⋮) → Edit Labels をクリックします。
   2. cluster.ocs.openshift.io/openshift-storage を追加し、Save をクリックします。

   コマンドラインインターフェースの使用

   • 以下のコマンドを実行して、OpenS+hift Container Storage ラベルを新規ノードに適用します。

     $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

     注記

     異なるゾーンのそれぞれに 3 つのノードを追加することが推奨されます。3 つのノードを追加して、それらすべてのノードに対してこの手順を実行する必要があります。

手順

1. ベアメタル、Amazon EC2、または VMware インフラストラクチャーのどれにノードを追加するかどうかに応じて、以下の手順を実行します。

   • Amazon EC2 の場合

     1. 必要なインフラストラクチャーで新規 Amazon EC2 I3 マシンインスタンスを作成します。「Creating a MachineSet in AWS」および「Platform requirements」を参照してください。
     2. 新規 Amazon EC2 I3 マシンインスタンスを使用して新規 OpenShift Container Platform ノードを作成します。

   • VMware の場合:

     1. 必要なインフラストラクチャーで vSphere に新規の仮想マシンを作成します。「プラットフォーム要件」を参照してください。
     2. 新規の仮想マシンを使用して新規 OpenShift Container Platform ワーカーノードを作成します。

   • ベアメタルの場合:

     1. 必要なインフラストラクチャーで新規のベアメタルマシンを取得します。「プラットフォーム要件」を参照してください。
     2. 新規ベアメタルマシンを使用して新規 OpenShift Container Platform ノードを作成します。

2. Pending 状態の OpenShift Container Storage に関連する証明書署名要求 (CSR) の有無を確認します。

   $ oc get csr

3. 新規ノードに必要なすべての OpenShift Container Storage CSR を承認します。

   $ oc adm certificate approve <Certificate_Name>

4. Compute → Nodes をクリックし、新規ノードが Ready 状態にあることを確認します。

5. 以下のいずれかを使用して、OpenShift Container Storage ラベルを新規ノードに適用します。

   ユーザーインターフェースを使用する場合

   1. 新規ノードについて、Action Menu (⋮) → Edit Labels をクリックします。
   2. cluster.ocs.openshift.io/openshift-storage を追加し、Save をクリックします。

   コマンドラインインターフェースの使用

   • 以下のコマンドを実行して、OpenS+hift Container Storage ラベルを新規ノードに適用します。

     $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

     注記

     異なるゾーンのそれぞれに 3 つのノードを追加することが推奨されます。3 つのノードを追加して、それらすべてのノードに対してこの手順を実行する必要があります。

手順

1. MCG コマンドラインインターフェースから、以下のコマンドを実行します。

   noobaa backingstore create <backingstore_name> --access-key=<AWS ACCESS KEY> --secret-key=<AWS SECRET ACCESS KEY> --target-bucket <bucket-name>

1. <backingstore_name> を、バッキングストアの名前に置き換えます。
2. <AWS ACCESS KEY> および <AWS SECRET ACCESS KEY> を、作成した AWS アクセスキー ID およびシークレットアクセスキーに置き換えます。

3. <bucket-name> を既存の AWS バケット名に置き換えます。この引数は、Multicloud Object Gateway に対して、バッキングストア、およびその後のデータストレージおよび管理のためのターゲットバケットとして使用するバケットについて指示します。

   出力は次のようになります。

   INFO[0001] ✅ Exists: NooBaa "noobaa"
   INFO[0002] ✅ Created: BackingStore "aws-resource"
   INFO[0002] ✅ Created: Secret "backing-store-secret-aws-resource"

1. 認証情報でシークレットを作成します。

   apiVersion: v1
   kind: Secret
   metadata:
     name: <backingstore-secret-name>
   type: Opaque
   data:
     AWS_ACCESS_KEY_ID: <AWS ACCESS KEY ID ENCODED IN BASE64>
     AWS_SECRET_ACCESS_KEY: <AWS SECRET ACCESS KEY ENCODED IN BASE64>

   1. Base64 を使用して独自の AWS アクセスキー ID およびシークレットアクセスキーを指定し、エンコードし、その結果を <AWS ACCESS KEY ID ENCODED IN BASE64> および <AWS SECRET ACCESS KEY ENCODED IN BASE64> に使用する必要があります。
   2. <backingstore-secret-name> を一意の名前に置き換えます。

2. 特定のバッキングストアについて以下の YAML を適用します。

   apiVersion: noobaa.io/v1alpha1
   kind: BackingStore
   metadata:
     finalizers:
     - noobaa.io/finalizer
     labels:
       app: noobaa
     name: bs
     namespace: openshift-storage
   spec:
     awsS3:
       secret:
         name: <backingstore-secret-name>
         namespace: noobaa
       targetBucket: <bucket-name>
     type: aws-s3

   1. <bucket-name> を既存の AWS バケット名に置き換えます。この引数は、Multicloud Object Gateway に対して、バッキングストア、およびその後のデータストレージおよび管理のためのターゲットバケットとして使用するバケットについて指示します。
   2. <backingstore-secret-name> を直前の手順で作成したシークレットの名前に置き換えます。

手順

1. MCG コマンドラインインターフェースから、以下のコマンドを実行します。

   noobaa backingstore create ibm-cos <backingstore_name> --access-key=<IBM ACCESS KEY> --secret-key=<IBM SECRET ACCESS KEY> --endpoint=<IBM COS ENDPOINT> --target-bucket <bucket-name>

   1. <backingstore_name> を、バッキングストアの名前に置き換えます。

   2. <IBM ACCESS KEY>, <IBM SECRET ACCESS KEY>, <IBM COS ENDPOINT> を IBM アクセスキー ID、シークレットアクセスキー、および既存の IBM バケットの場所に対応する地域のエンドポイントに置き換えます。

      IBM クラウドで上記のキーを生成するには、ターゲットバケットのサービス認証情報を作成する際に HMAC 認証情報を含める必要があります。

   3. <bucket-name> を既存の IBM バケット名に置き換えます。この引数は、Multicloud Object Gateway に対して、バッキングストア、およびその後のデータストレージおよび管理のためのターゲットバケットとして使用するバケットについて指示します。

      出力は次のようになります。

      INFO[0001] ✅ Exists: NooBaa "noobaa"
      INFO[0002] ✅ Created: BackingStore "ibm-resource"
      INFO[0002] ✅ Created: Secret "backing-store-secret-ibm-resource"

1. 認証情報でシークレットを作成します。

   apiVersion: v1
   kind: Secret
   metadata:
     name: <backingstore-secret-name>
   type: Opaque
   data:
     IBM_COS_ACCESS_KEY_ID: <IBM COS ACCESS KEY ID ENCODED IN BASE64>
     IBM_COS_SECRET_ACCESS_KEY: <IBM COS SECRET ACCESS KEY ENCODED IN BASE64>

   1. Base64 を使用して独自の IBM COSアクセスキー ID およびシークレットアクセスキーを指定し、エンコードし、その結果を <IBM COS ACCESS KEY ID ENCODED IN BASE64> および <IBM COS SECRET ACCESS KEY ENCODED IN BASE64> に使用する必要があります。
   2. <backingstore-secret-name> を一意の名前に置き換えます。

2. 特定のバッキングストアについて以下の YAML を適用します。

   apiVersion: noobaa.io/v1alpha1
   kind: BackingStore
   metadata:
     finalizers:
     - noobaa.io/finalizer
     labels:
       app: noobaa
     name: bs
     namespace: openshift-storage
   spec:
     ibmCos:
       endpoint: <endpoint>
       secret:
         name: <backingstore-secret-name>
         namespace: openshift-storage
       targetBucket: <bucket-name>
     type: ibm-cos

   1. <bucket-name> を既存の IBM COS バケット名に置き換えます。この引数は、Multicloud Object Gateway に対して、バッキングストア、およびその後のデータストレージおよび管理のためのターゲットバケットとして使用するバケットについて指示します。
   2. <endpoint> を、既存の IBM バケット名の場所に対応する地域のエンドポイントに置き換えます。この引数は、Multicloud Object Gateway に対して、バッキングストア、およびその後のデータストレージおよび管理に使用するエンドポイントについて指示します。
   3. <backingstore-secret-name> を直前の手順で作成したシークレットの名前に置き換えます。

手順

1. MCG コマンドラインインターフェースから、以下のコマンドを実行します。

   noobaa backingstore create azure-blob <backingstore_name> --account-key=<AZURE ACCOUNT KEY> --account-name=<AZURE ACCOUNT NAME> --target-blob-container <blob container name>

   1. <backingstore_name> を、バッキングストアの名前に置き換えます。
   2. <AZURE ACCOUNT KEY> および <AZURE ACCOUNT NAME> は、この目的のために作成した AZURE アカウントキーおよびアカウント名に置き換えます。

   3. <blob container name> を既存の Azure blob コンテナー名に置き換えます。この引数は、Multicloud Object Gateway に対して、バッキングストア、およびその後のデータストレージおよび管理のためのターゲットバケットとして使用するバケットについて指示します。

      出力は次のようになります。

      INFO[0001] ✅ Exists: NooBaa "noobaa"
      INFO[0002] ✅ Created: BackingStore "azure-resource"
      INFO[0002] ✅ Created: Secret "backing-store-secret-azure-resource"

1. 認証情報でシークレットを作成します。

   apiVersion: v1
   kind: Secret
   metadata:
     name: <backingstore-secret-name>
   type: Opaque
   data:
     AccountName: <AZURE ACCOUNT NAME ENCODED IN BASE64>
     AccountKey: <AZURE ACCOUNT KEY ENCODED IN BASE64>

   1. Base64 を使用して独自の Azure アカウント名およびアカウントキーを指定し、エンコードし、その結果を <AZURE ACCOUNT NAME ENCODED IN BASE64> および <AZURE ACCOUNT KEY ENCODED IN BASE64> に使用する必要があります。
   2. <backingstore-secret-name> を一意の名前に置き換えます。

2. 特定のバッキングストアについて以下の YAML を適用します。

   apiVersion: noobaa.io/v1alpha1
   kind: BackingStore
   metadata:
     finalizers:
     - noobaa.io/finalizer
     labels:
       app: noobaa
     name: bs
     namespace: openshift-storage
   spec:
     azureBlob:
       secret:
         name: <backingstore-secret-name>
         namespace: openshift-storage
       targetBlobContainer: <blob-container-name>
     type: azure-blob

   1. <blob-container-name> を既存の Azure blob コンテナー名に置き換えます。この引数は、Multicloud Object Gateway に対して、バッキングストア、およびその後のデータストレージおよび管理のためのターゲットバケットとして使用するバケットについて指示します。
   2. <backingstore-secret-name> を直前の手順で作成したシークレットの名前に置き換えます。

手順

1. MCG コマンドラインインターフェースから、以下のコマンドを実行します。

   noobaa backingstore create google-cloud-storage <backingstore_name> --private-key-json-file=<PATH TO GCP PRIVATE KEY JSON FILE> --target-bucket <GCP bucket name>

   1. <backingstore_name> を、バッキングストアの名前に置き換えます。
   2. <PATH TO GCP PRIVATE KEY JSON FILE> を、この目的で作成された GCP プライベートキーへのパスに置き換えます。

   3. <GCP bucket name> を、既存の GCP オブジェクトストレージバケット名に置き換えます。この引数は、Multicloud Object Gateway に対して、バッキングストア、およびその後のデータストレージおよび管理のためのターゲットバケットとして使用するバケットについて指示します。

      出力は次のようになります。

      INFO[0001] ✅ Exists: NooBaa "noobaa"
      INFO[0002] ✅ Created: BackingStore "google-gcp"
      INFO[0002] ✅ Created: Secret "backing-store-google-cloud-storage-gcp"

1. 認証情報でシークレットを作成します。

   apiVersion: v1
   kind: Secret
   metadata:
     name: <backingstore-secret-name>
   type: Opaque
   data:
     GoogleServiceAccountPrivateKeyJson: <GCP PRIVATE KEY ENCODED IN BASE64>

   1. Base64 を使用して独自の GCP サービスアカウントプライベートキー ID を指定し、エンコードし、その結果を <GCP PRIVATE KEY ENCODED IN BASE64> の場所で使用する必要があります。
   2. <backingstore-secret-name> を一意の名前に置き換えます。

2. 特定のバッキングストアについて以下の YAML を適用します。

   apiVersion: noobaa.io/v1alpha1
   kind: BackingStore
   metadata:
     finalizers:
     - noobaa.io/finalizer
     labels:
       app: noobaa
     name: bs
     namespace: openshift-storage
   spec:
     googleCloudStorage:
       secret:
         name: <backingstore-secret-name>
         namespace: openshift-storage
       targetBucket: <target bucket>
     type: google-cloud-storage

   1. <target bucket> を、既存の Google ストレージバケットに置き換えます。この引数は、Multicloud Object Gateway に対して、バッキングストア、およびその後のデータストレージおよび管理のためのターゲットバケットとして使用するバケットについて指示します。
   2. <backingstore-secret-name> を直前の手順で作成したシークレットの名前に置き換えます。

手順

1. MCG コマンドラインインターフェースから、以下のコマンドを実行します。

   noobaa backingstore create  pv-pool <backingstore_name> --num-volumes=<NUMBER OF VOLUMES>  --pv-size-gb=<VOLUME SIZE> --storage-class=<LOCAL STORAGE CLASS>

   1. <backingstore_name> を、バッキングストアの名前に置き換えます。
   2. <NUMBER OF VOLUMES> を、作成するボリューム数に置き換えます。
   3. <VOLUME SIZE> を、各ボリュームに必要なサイズ (GB 単位) に置き換えます。

   4. <LOCAL STORAGE CLASS> をローカルストレージクラスに置き換えます。これは、ocs-storagecluster-ceph-rbd を使用する際に推奨されます。

      出力は次のようになります。

      INFO[0001] ✅ Exists: NooBaa "noobaa"
      INFO[0002] ✅ Exists: BackingStore "local-mcg-storage"

1. 特定のバッキングストアについて以下の YAML を適用します。

   apiVersion: noobaa.io/v1alpha1
   kind: BackingStore
   metadata:
     finalizers:
     - noobaa.io/finalizer
     labels:
       app: noobaa
     name: <backingstore_name>
     namespace: openshift-storage
   spec:
      pvPool:
       numVolumes: <NUMBER OF VOLUMES>
       resources:
         requests:
           storage: <VOLUME SIZE>
       storageClass: <LOCAL STORAGE CLASS>
     type: pv-pool

   1. <backingstore_name> を、バッキングストアの名前に置き換えます。
   2. <NUMBER OF VOLUMES> を、作成するボリューム数に置き換えます。
   3. <VOLUME SIZE> を、各ボリュームに必要なサイズ (GB 単位) に置き換えます。文字 G はそのままにする必要があることに注意してください。
   4. <LOCAL STORAGE CLASS> をローカルストレージクラスに置き換えます。これは、ocs-storagecluster-ceph-rbd を使用する際に推奨されます。

手順

1. ノードを特定し、置き換えるノードのラベルを取得します。ラックラベルをメモします。

   $ oc get nodes --show-labels | grep <node_name>

2. 置き換えるノードで実行されている mon（ある場合）およびオブジェクトストレージデバイス (OSD) Pod を特定します。

   $ oc get pods -n openshift-storage -o wide | grep -i <node_name>

3. 先の手順で特定された Pod のデプロイメントをスケールダウンします。

   以下に例を示します。

   $ oc scale deployment rook-ceph-mon-c --replicas=0 -n openshift-storage
   $ oc scale deployment rook-ceph-osd-0 --replicas=0 -n openshift-storage
   $ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name>  --replicas=0 -n openshift-storage

4. ノードにスケジュール対象外 (unschedulable) のマークを付けます。

   $ oc adm cordon <node_name>

5. ノードをドレイン (解放) します。

   $ oc adm drain <node_name> --force --delete-local-data --ignore-daemonsets

6. ノードを削除します。

   $ oc delete node <node_name>

7. 必要なインフラストラクチャーで新規のベアメタルマシンを取得します。クラスターのベアメタルへのインストールに ついて参照してください。
8. 新規ベアメタルマシンを使用して新規 OpenShift Container Platform ノードを作成します。

9. Pending 状態の OpenShift Container Storage に関連する証明書署名要求 (CSR) の有無を確認します。

   $ oc get csr

10. 新規ノードに必要なすべての OpenShift Container Storage CSR を承認します。

    $ oc adm certificate approve <Certificate_Name>

11. OpenShift Web コンソールで Compute → Nodes をクリックし、新規ノードが Ready 状態にあるかどうかを確認します。

12. 以下のいずれかを使用して、OpenShift Container Storage ラベルを新規ノードに適用します。

    ユーザーインターフェースを使用する場合

    1. 新規ノードについて、Action Menu (⋮) → Edit Labels をクリックします。
    2. cluster.ocs.openshift.io/openshift-storage を追加し、Save をクリックします。

    コマンドラインインターフェースの使用

    • 以下のコマンドを実行して、OpenS+hift Container Storage ラベルを新規ノードに適用します。

    $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

13. これらのワーカーノードで利用可能なローカルストレージデバイスを OpenShift Container Storage StorageCluster に追加します。

    1. 新規ディスクエントリーを LocalVolume CR に追加します。

       LocalVolume CR を編集し、障害のある デバイス /dev/disk/by-id/{id} を削除またはコメントアウトし、新規の /dev/disk/by-id/{id} を追加します。この例では、新しいデバイスは /dev/disk/by-id/nvme-INTEL_SSDPEKKA128G7_BTPYB89THF49128A です。

       # oc get -n local-storage localvolume
       NAME          AGE
       local-block   25h

       # oc edit -n local-storage localvolume local-block

       出力例:

       [...]
           storageClassDevices:
           - devicePaths:
             - /dev/disk/by-id/nvme-INTEL_SSDPEKKA128G7_BTPY81260978128A
             - /dev/disk/by-id/nvme-INTEL_SSDPEKKA128G7_BTPY80440W5U128A
             - /dev/disk/by-id/nvme-INTEL_SSDPEKKA128G7_BTPYB85AABDE128A
             - /dev/disk/by-id/nvme-INTEL_SSDPEKKA128G7_BTPYB89THF49128A
             storageClassName: localblock
             volumeMode: Block
       [...]

       CR の編集後に変更を保存するようにしてください。

    2. localblock と共に PV を表示します。

       $ oc get pv | grep localblock

       出力例:

       local-pv-3e8964d3                          931Gi      RWO            Delete           Bound       openshift-storage/ocs-deviceset-2-0-79j94   localblock                             25h
       local-pv-414755e0                          931Gi      RWO            Delete           Bound       openshift-storage/ocs-deviceset-1-0-959rp   localblock                             25h
       local-pv-b481410                           931Gi      RWO            Delete           Available                                               localblock                             3m24s
       local-pv-d9c5cbd6                          931Gi      RWO            Delete           Bound    openshift-storage/ocs-deviceset-0-0-nvs68   localblock

14. 障害のあるノードに関連付けられた PV を削除します。

    1. 置き換える OSD に関連付けられた DeviceSet を特定します。

       # osd_id_to_remove=0
       # oc get -n openshift-storage -o yaml deployment rook-ceph-osd-${osd_id_to_remove} | grep ceph.rook.io/pvc

       ここで、osd_id_to_remove は rook-ceph-osd プレフィックスの直後にくる Pod 名の整数です。この例では、デプロイメント名は rook-ceph-osd-0 です。

       出力例:

       ceph.rook.io/pvc: ocs-deviceset-0-0-nvs68
       ceph.rook.io/pvc: ocs-deviceset-0-0-nvs68

       この例では、PVC 名は OCS-deviceset-0-0-nvs68 です。

    2. PVC に関連付けられた PV を特定します。

       # oc get -n openshift-storage pvc ocs-deviceset-<x>-<y>-<pvc-suffix>

       ここで、x、y、および pvc-suffix は、直前の手順で特定された DeviceSet の値です。

       出力例:

       NAME                      STATUS        VOLUME        CAPACITY   ACCESS MODES   STORAGECLASS   AGE
       ocs-deviceset-0-0-nvs68   Bound   local-pv-d9c5cbd6   931Gi      RWO            localblock     24h

       この例では、関連付けられた PV は local-pv-d9c5cbd6 です。

    3. PVC を削除します。

       # oc delete pvc <pvc-name> -n openshift-storage

    4. PV を削除します。

       # oc delete pv local-pv-d9c5cbd6

       出力例:

       persistentvolume "local-pv-d9c5cbd6" deleted

15. 失敗した OSD をクラスターから削除します。

    # oc process -n openshift-storage ocs-osd-removal -p FAILED_OSD_ID=${osd_id_to_remove} | oc create -f -

16. ocs-osd-removal Pod のステータスをチェックして、OSD が正常に削除されたことを確認します。Completed のステータスで、OSD の削除ジョブが正常に完了したことを確認します。

    # oc get pod -l job-name=ocs-osd-removal-${osd_id_to_remove} -n openshift-storage

    注記

    ocs-osd-removal が失敗し、Pod が予想される Completed の状態にない場合、追加のデバッグのために Pod ログを確認します。以下に例を示します。

    # oc logs -l job-name=ocs-osd-removal-${osd_id_to_remove} -n openshift-storage --tail=-1

17. OSD Pod デプロイメントおよび crashcollector Pod デプロイメントを削除します。

    $ oc delete deployment rook-ceph-osd-${osd_id_to_remove} -n openshift-storage
    $ oc delete deployment --selector=app=rook-ceph-crashcollector,node_name=<old_node_name> -n openshift-storage

18. rook-ceph-operator を再起動して Operator の調整を強制的に実行して新規 OSD をデプロイします。

    # oc get -n openshift-storage pod -l app=rook-ceph-operator

    出力例:

    NAME                                  READY   STATUS    RESTARTS   AGE
    rook-ceph-operator-6f74fb5bff-2d982   1/1     Running   0          1d20h

    1. rook-ceph-operator を削除します。

       # oc delete -n openshift-storage pod rook-ceph-operator-6f74fb5bff-2d982

       出力例:

       pod "rook-ceph-operator-6f74fb5bff-2d982" deleted

    2. rook-ceph-operator Pod が再起動していることを確認します。

       # oc get -n openshift-storage pod -l app=rook-ceph-operator

       出力例:

       NAME                                  READY   STATUS    RESTARTS   AGE
       rook-ceph-operator-6f74fb5bff-7mvrq   1/1     Running   0          66s

       新規 OSD および mon の作成には、Operator が再起動するまでに数分かかる場合があります。

19. ocs-osd-removal ジョブを削除します。

    # oc delete job ocs-osd-removal-${osd_id_to_remove}

    出力例:

    job.batch "ocs-osd-removal-0" deleted

検証手順

1. 以下のコマンドを実行して、出力で新規ノードが表示されていることを確認します。

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

2. Workloads → Pods をクリックし、新規ノード上の少なくとも以下の Pod が Running 状態にあることを確認します。

   • csi-cephfsplugin-*
   • csi-rbdplugin-*

3. 他の必要なすべての OpenShift Container Storage Pod が Running 状態にあることを確認します。

   新たな増分の mon が作成され、Running 状態にあることを確認します。

   $ oc get pod -n openshift-storage | grep mon

   出力例:

   rook-ceph-mon-c-64556f7659-c2ngc                                  1/1     Running     0          6h14m
   rook-ceph-mon-d-7c8b74dc4d-tt6hd                                  1/1     Running     0          4h24m
   rook-ceph-mon-e-57fb8c657-wg5f2                                   1/1     Running     0          162m

   OSD と Mon が Running 状態になるまで数分かかる場合があります。

4. 検証手順が失敗した場合は、Red Hat サポートにお問い合わせください。

手順

1. ノードを特定し、置き換えるノードのラベルを取得します。ラックラベルをメモします。

   $ oc get nodes --show-labels | grep <node_name>

2. 置き換えるノードで実行されている mon（ある場合）およびオブジェクトストレージデバイス (OSD) Pod を特定します。

   $ oc get pods -n openshift-storage -o wide | grep -i <node_name>

3. 先の手順で特定された Pod のデプロイメントをスケールダウンします。

   以下に例を示します。

   $ oc scale deployment rook-ceph-mon-c --replicas=0 -n openshift-storage
   $ oc scale deployment rook-ceph-osd-0 --replicas=0 -n openshift-storage
   $ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name>  --replicas=0 -n openshift-storage

4. ノードにスケジュール対象外 (unschedulable) のマークを付けます。

   $ oc adm cordon <node_name>

5. Terminating 状態の Pod の削除

   $ oc get pods -A -o wide | grep -i <node_name> |  awk '{if ($4 == "Terminating") system ("oc -n " $1 " delete pods " $2  " --grace-period=0 " " --force ")}'

6. ノードをドレイン (解放) します。

   $ oc adm drain <node_name> --force --delete-local-data --ignore-daemonsets

7. ノードを削除します。

   $ oc delete node <node_name>

8. 必要なインフラストラクチャーで新規のベアメタルマシンを取得します。『クラスターのベアメタルへのインストール』を参照してください。
9. 新規ベアメタルマシンを使用して新規 OpenShift Container Platform ノードを作成します。

10. Pending 状態の OpenShift Container Storage に関連する証明書署名要求 (CSR) の有無を確認します。

    $ oc get csr

11. 新規ノードに必要なすべての OpenShift Container Storage CSR を承認します。

    $ oc adm certificate approve <Certificate_Name>

12. OpenShift Web コンソールで Compute → Nodes をクリックし、新規ノードが Ready 状態にあるかどうかを確認します。

13. 以下のいずれかを使用して、OpenShift Container Storage ラベルを新規ノードに適用します。

    ユーザーインターフェースを使用する場合

    1. 新規ノードについて、Action Menu (⋮) → Edit Labels をクリックします。
    2. cluster.ocs.openshift.io/openshift-storage を追加し、Save をクリックします。

    コマンドラインインターフェースの使用

    • 以下のコマンドを実行して、OpenS+hift Container Storage ラベルを新規ノードに適用します。

    $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

14. これらのワーカーノードで利用可能なローカルストレージデバイスを OpenShift Container Storage StorageCluster に追加します。

    1. 新規ディスクエントリーを LocalVolume CR に追加します。

       LocalVolume CR を編集し、障害のある デバイス /dev/disk/by-id/{id} を削除またはコメントアウトし、新規の /dev/disk/by-id/{id} を追加します。この例では、新しいデバイスは /dev/disk/by-id/nvme-INTEL_SSDPEKKA128G7_BTPYB89THF49128A です。

       # oc get -n local-storage localvolume
       NAME          AGE
       local-block   25h

       # oc edit -n local-storage localvolume local-block

       出力例:

       [...]
           storageClassDevices:
           - devicePaths:
             - /dev/disk/by-id/nvme-INTEL_SSDPEKKA128G7_BTPY81260978128A
             - /dev/disk/by-id/nvme-INTEL_SSDPEKKA128G7_BTPY80440W5U128A
             - /dev/disk/by-id/nvme-INTEL_SSDPEKKA128G7_BTPYB85AABDE128A
             - /dev/disk/by-id/nvme-INTEL_SSDPEKKA128G7_BTPYB89THF49128A
             storageClassName: localblock
             volumeMode: Block
       [...]

       CR の編集後に変更を保存するようにしてください。

    2. localblock と共に PV を表示します。

       $ oc get pv | grep localblock

       出力例:

       local-pv-3e8964d3                          931Gi      RWO            Delete           Bound       openshift-storage/ocs-deviceset-2-0-79j94   localblock                             25h
       local-pv-414755e0                          931Gi      RWO            Delete           Bound       openshift-storage/ocs-deviceset-1-0-959rp   localblock                             25h
       local-pv-b481410                           931Gi      RWO            Delete           Available                                               localblock                             3m24s
       local-pv-d9c5cbd6                          931Gi      RWO            Delete           Bound    openshift-storage/ocs-deviceset-0-0-nvs68   localblock

15. 障害のあるノードに関連付けられた PV を削除します。

    1. 置き換える OSD に関連付けられた DeviceSet を特定します。

       # osd_id_to_remove=0
       # oc get -n openshift-storage -o yaml deployment rook-ceph-osd-${osd_id_to_remove} | grep ceph.rook.io/pvc

       ここで、osd_id_to_remove は rook-ceph-osd プレフィックスの直後にくる Pod 名の整数です。この例では、デプロイメント名は rook-ceph-osd-0 です。

       出力例:

       ceph.rook.io/pvc: ocs-deviceset-0-0-nvs68
       ceph.rook.io/pvc: ocs-deviceset-0-0-nvs68

       この例では、PVC 名は OCS-deviceset-0-0-nvs68 です。

    2. PVC に関連付けられた PV を特定します。

       # oc get -n openshift-storage pvc ocs-deviceset-<x>-<y>-<pvc-suffix>

       ここで、x、y、および pvc-suffix は、直前の手順で特定された DeviceSet の値です。

       出力例:

       NAME                      STATUS        VOLUME        CAPACITY   ACCESS MODES   STORAGECLASS   AGE
       ocs-deviceset-0-0-nvs68   Bound   local-pv-d9c5cbd6   931Gi      RWO            localblock     24h

       この例では、関連付けられた PV は local-pv-d9c5cbd6 です。

    3. PVC を削除します。

       # oc delete pvc <pvc-name> -n openshift-storage

    4. PV を削除します。

       # oc delete pv local-pv-d9c5cbd6

       出力例:

       persistentvolume "local-pv-d9c5cbd6" deleted

16. 失敗した OSD をクラスターから削除します。

    # oc process -n openshift-storage ocs-osd-removal -p FAILED_OSD_ID=${osd_id_to_remove} | oc create -f -

17. ocs-osd-removal Pod のステータスをチェックして、OSD が正常に削除されたことを確認します。Completed のステータスで、OSD の削除ジョブが正常に完了したことを確認します。

    # oc get pod -l job-name=ocs-osd-removal-${osd_id_to_remove} -n openshift-storage

    注記

    ocs-osd-removal が失敗し、Pod が予想される Completed の状態にない場合、追加のデバッグのために Pod ログを確認します。以下に例を示します。

    # oc logs -l job-name=ocs-osd-removal-${osd_id_to_remove} -n openshift-storage --tail=-1

18. OSD Pod デプロイメントおよび crashcollector Pod デプロイメントを削除します。

    $ oc delete deployment rook-ceph-osd-${osd_id_to_remove} -n openshift-storage
    $ oc delete deployment --selector=app=rook-ceph-crashcollector,node_name=<old_node_name> -n openshift-storage

19. rook-ceph-operator を再起動して Operator の調整を強制的に実行して新規 OSD をデプロイします。

    # oc get -n openshift-storage pod -l app=rook-ceph-operator

    出力例:

    NAME                                  READY   STATUS    RESTARTS   AGE
    rook-ceph-operator-6f74fb5bff-2d982   1/1     Running   0          1d20h

    1. rook-ceph-operator を削除します。

       # oc delete -n openshift-storage pod rook-ceph-operator-6f74fb5bff-2d982

       出力例:

       pod "rook-ceph-operator-6f74fb5bff-2d982" deleted

    2. rook-ceph-operator Pod が再起動していることを確認します。

       # oc get -n openshift-storage pod -l app=rook-ceph-operator

       出力例:

       NAME                                  READY   STATUS    RESTARTS   AGE
       rook-ceph-operator-6f74fb5bff-7mvrq   1/1     Running   0          66s

       新規 OSD および mon の作成には、Operator が再起動するまでに数分かかる場合があります。

20. ocs-osd-removal ジョブを削除します。

    # oc delete job ocs-osd-removal-${osd_id_to_remove}

    出力例:

    job.batch "ocs-osd-removal-0" deleted

検証手順

1. 以下のコマンドを実行して、出力で新規ノードが表示されていることを確認します。

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

2. Workloads → Pods をクリックし、新規ノード上の少なくとも以下の Pod が Running 状態にあることを確認します。

   • csi-cephfsplugin-*
   • csi-rbdplugin-*

3. 他の必要なすべての OpenShift Container Storage Pod が Running 状態にあることを確認します。

   新たな増分の mon が作成され、Running 状態にあることを確認します。

   $ oc get pod -n openshift-storage | grep mon

   出力例:

   rook-ceph-mon-c-64556f7659-c2ngc                                  1/1     Running     0          6h14m
   rook-ceph-mon-d-7c8b74dc4d-tt6hd                                  1/1     Running     0          4h24m
   rook-ceph-mon-e-57fb8c657-wg5f2                                   1/1     Running     0          162m

   OSD と Mon が Running 状態になるまで数分かかる場合があります。

4. 検証手順が失敗した場合は、Red Hat サポートにお問い合わせください。

手順

1. ノードを特定し、置き換えるノードのラベルを取得します。

   $ oc get nodes --show-labels | grep <node_name>

2. 置き換えるノードで実行されている mon (ある場合) および OSD を特定します。

   $ oc get pods -n openshift-storage -o wide | grep -i <node_name>

3. 先の手順で特定された Pod のデプロイメントをスケールダウンします。

   以下に例を示します。

   $ oc scale deployment rook-ceph-mon-c --replicas=0 -n openshift-storage
   $ oc scale deployment rook-ceph-osd-0 --replicas=0 -n openshift-storage
   $ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name>  --replicas=0 -n openshift-storage

4. ノードにスケジュール対象外 (unschedulable) のマークを付けます。

   $ oc adm cordon <node_name>

5. ノードをドレイン (解放) します。

   $ oc adm drain <node_name> --force --delete-local-data --ignore-daemonsets

6. ノードを削除します。

   $ oc delete node <node_name>

7. 必要なインフラストラクチャーで新規 Amazon EC2 I3 マシンインスタンスを作成します。サポートされるインフラストラクチャーおよびプラットフォームについて参照してください。
8. 新規 Amazon EC2 I3 マシンインスタンスを使用して新規 OpenShift Container Platform ノードを作成します。

9. Pending 状態の OpenShift Container Platform に関連する証明書署名要求 (CSR) の有無を確認します。

   $ oc get csr

10. 新規ノードに必要なすべての OpenShift Container Platform CSR を承認します。

    $ oc adm certificate approve <Certificate_Name>

11. OpenShift Web コンソールで Compute → Nodes をクリックします。新規ノードが Ready 状態にあるかどうかを確認します。

12. 以下のいずれかを使用して、OpenShift Container Storage ラベルを新規ノードに適用します。

    ユーザーインターフェースを使用する場合

    1. 新規ノードについて、Action Menu (⋮) → Edit Labels をクリックします。
    2. cluster.ocs.openshift.io/openshift-storage を追加し、Save をクリックします。

    コマンドラインインターフェースの使用

    • 以下のコマンドを実行して、OpenS+hift Container Storage ラベルを新規ノードに適用します。

    $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

13. 新規ワーカーノードで利用可能なローカルストレージデバイスを OpenShift Container Storage StorageCluster に追加します。

    1. 新規ディスクエントリーを LocalVolume CR に追加します。

       LocalVolume CR を編集します。障害のあるデバイス /dev/disk/by-id/{id} を削除またはコメントアウトし、新規の /dev/disk/by-id/{id} を追加します。

       $ oc get -n local-storage localvolume

       出力例:

       NAME          AGE
       local-block   25h

       $ oc edit -n local-storage localvolume local-block

       出力例:

       [...]
           storageClassDevices:
           - devicePaths:
             - /dev/disk/by-id/nvme-Amazon_EC2_NVMe_Instance_Storage_AWS10382E5D7441494EC
             - /dev/disk/by-id/nvme-Amazon_EC2_NVMe_Instance_Storage_AWS1F45C01D7E84FE3E9
             - /dev/disk/by-id/nvme-Amazon_EC2_NVMe_Instance_Storage_AWS136BC945B4ECB9AE4
             - /dev/disk/by-id/nvme-Amazon_EC2_NVMe_Instance_Storage_AWS10382E5D7441464EP
         #   - /dev/disk/by-id/nvme-Amazon_EC2_NVMe_Instance_Storage_AWS1F45C01D7E84F43E7
         #   - /dev/disk/by-id/nvme-Amazon_EC2_NVMe_Instance_Storage_AWS136BC945B4ECB9AE8
             - /dev/disk/by-id/nvme-Amazon_EC2_NVMe_Instance_Storage_AWS6F45C01D7E84FE3E9
             - /dev/disk/by-id/nvme-Amazon_EC2_NVMe_Instance_Storage_AWS636BC945B4ECB9AE4
             storageClassName: localblock
             volumeMode: Block
       [...]

       CR の編集後に変更を保存するようにしてください。

       この CR に by-id を使用する 2 つの新規デバイスが追加されていることを確認できます。

       • nvme-Amazon_EC2_NVMe_Instance_Storage_AWS6F45C01D7E84FE3E9
       • nvme-Amazon_EC2_NVMe_Instance_Storage_AWS636BC945B4ECB9AE4

    2. localblock と共に PV を表示します。

       $ oc get pv | grep localblock

       出力例:

       local-pv-3646185e   2328Gi  RWO     Delete      Available                                               localblock  9s
       local-pv-3933e86    2328Gi  RWO     Delete      Bound       openshift-storage/ocs-deviceset-2-1-v9jp4   localblock  5h1m
       local-pv-8176b2bf   2328Gi  RWO     Delete      Bound       openshift-storage/ocs-deviceset-0-0-nvs68   localblock  5h1m
       local-pv-ab7cabb3   2328Gi  RWO     Delete      Available                                               localblock  9s
       local-pv-ac52e8a    2328Gi  RWO     Delete      Bound       openshift-storage/ocs-deviceset-1-0-knrgr   localblock  5h1m
       local-pv-b7e6fd37   2328Gi  RWO     Delete      Bound       openshift-storage/ocs-deviceset-2-0-rdm7m   localblock  5h1m
       local-pv-cb454338   2328Gi  RWO     Delete      Bound       openshift-storage/ocs-deviceset-0-1-h9hfm   localblock  5h1m
       local-pv-da5e3175   2328Gi  RWO     Delete      Bound       openshift-storage/ocs-deviceset-1-1-g97lq   localblock  5h
       ...

14. 以下の手順で、失敗したノードに関連付けられた各 PV および OSD を削除します。

    1. 置き換える OSD に関連付けられた DeviceSet を特定します。

       $ osd_id_to_remove=0
       $ oc get -n openshift-storage -o yaml deployment rook-ceph-osd-${osd_id_to_remove} | grep ceph.rook.io/pvc

       ここで、osd_id_to_remove は rook-ceph-osd プレフィックスの直後にくる Pod 名の整数です。この例では、デプロイメント名は rook-ceph-osd-0 です。

       出力例:

       ceph.rook.io/pvc: ocs-deviceset-0-0-nvs68
       ceph.rook.io/pvc: ocs-deviceset-0-0-nvs68

    2. PVC に関連付けられた PV を特定します。

       $ oc get -n openshift-storage pvc ocs-deviceset-<x>-<y>-<pvc-suffix>

       ここで、x、y、および pvc-suffix は、直前の手順で特定された DeviceSet の値です。

       出力例:

       NAME                      STATUS        VOLUME        CAPACITY   ACCESS MODES   STORAGECLASS   AGE
       ocs-deviceset-0-0-nvs68   Bound   local-pv-8176b2bf   2328Gi      RWO            localblock     4h49m

       この例では、関連付けられた PV は local-pv-8176b2bf です。

    3. 先の手順で特定された PVC を削除します。この例では、PVC 名は OCS-deviceset-0-0-nvs68 です。

       $ oc delete pvc ocs-deviceset-0-0-nvs68 -n openshift-storage

       出力例:

       persistentvolumeclaim "ocs-deviceset-0-0-nvs68" deleted

    4. 先のステップで特定された PV を削除します。この例では、PV 名は local-pv-8176b2bf です。

       $ oc delete pv local-pv-8176b2bf

       出力例:

       persistentvolume "local-pv-8176b2bf" deleted

    5. 失敗した OSD をクラスターから削除します。

       $ oc process -n openshift-storage ocs-osd-removal -p FAILED_OSD_ID=${osd_id_to_remove} | oc create -f -

    6. ocs-osd-removal Pod のステータスをチェックして、OSD が正常に削除されたことを確認します。Completed のステータスで、OSD の削除ジョブが正常に完了したことを確認します。

       # oc get pod -l job-name=ocs-osd-removal-${osd_id_to_remove} -n openshift-storage

       注記

       ocs-osd-removal が失敗し、Pod が予想される Completed の状態にない場合、追加のデバッグのために Pod ログを確認します。以下に例を示します。

       # oc logs -l job-name=ocs-osd-removal-${osd_id_to_remove} -n openshift-storage --tail=-1

    7. OSD Pod デプロイメントを削除します。

       $ oc delete deployment rook-ceph-osd-${osd_id_to_remove} -n openshift-storage

15. 先の手順で特定された crashcollector Pod デプロイメントを削除します。

    $ oc delete deployment --selector=app=rook-ceph-crashcollector,node_name=<old_node_name> -n openshift-storage

16. rook-ceph-operator を再起動して Operator の調整を強制的に実行して新規 OSD をデプロイします。

    $ oc get -n openshift-storage pod -l app=rook-ceph-operator

    出力例:

    NAME                                  READY   STATUS    RESTARTS   AGE
    rook-ceph-operator-6f74fb5bff-2d982   1/1     Running   0          5h3m

    1. rook-ceph-operator を削除します。

       $ oc delete -n openshift-storage pod rook-ceph-operator-6f74fb5bff-2d982

       出力例:

       pod "rook-ceph-operator-6f74fb5bff-2d982" deleted

    2. rook-ceph-operator Pod が再起動していることを確認します。

       $ oc get -n openshift-storage pod -l app=rook-ceph-operator

       出力例:

       NAME                                  READY   STATUS    RESTARTS   AGE
       rook-ceph-operator-6f74fb5bff-7mvrq   1/1     Running   0          66s

       新規 OSD の作成には、Operator が起動するまでに数分かかる場合があります。

17. ocs-osd-removal ジョブを削除します。

    $ oc delete job ocs-osd-removal-${osd_id_to_remove}

    出力例:

    job.batch "ocs-osd-removal-0" deleted

検証手順

1. 以下のコマンドを実行して、出力で新規ノードが表示されていることを確認します。

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

2. Workloads → Pods をクリックし、新規ノード上の少なくとも以下の Pod が Running 状態にあることを確認します。

   • csi-cephfsplugin-*
   • csi-rbdplugin-*

3. 他の必要なすべての OpenShift Container Storage Pod が Running 状態にあることを確認します。

   また、増分の mon が新規に作成されており、Running 状態にあることを確認します。

   $ oc get pod -n openshift-storage | grep mon

   出力例:

   rook-ceph-mon-a-64556f7659-c2ngc    1/1     Running     0   5h1m
   rook-ceph-mon-b-7c8b74dc4d-tt6hd    1/1     Running     0   5h1m
   rook-ceph-mon-d-57fb8c657-wg5f2     1/1     Running     0   27m

   OSD と mon が Running 状態になるまで数分かかる場合があります。

4. 検証手順が失敗した場合は、Red Hat サポートにお問い合わせください。

手順

1. OpenShift Web コンソールにログインし、 Compute → Nodes をクリックします。
2. 置き換える必要のあるノードを特定します。そのマシン名をメモします。

3. 置き換えるノードのラベルを取得します。

   $ oc get nodes --show-labels | grep <node_name>

4. 置き換えるノードで実行されている mon (ある場合) および OSD を特定します。

   $ oc get pods -n openshift-storage -o wide | grep -i <node_name>

5. 先の手順で特定された Pod のデプロイメントをスケールダウンします。

   以下に例を示します。

   $ oc scale deployment rook-ceph-mon-c --replicas=0 -n openshift-storage
   $ oc scale deployment rook-ceph-osd-0 --replicas=0 -n openshift-storage
   $ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name>  --replicas=0 -n openshift-storage

6. ノードにスケジュール対象外 (unschedulable) のマークを付けます。

   $ oc adm cordon <node_name>

7. ノードをドレイン (解放) します。

   $ oc adm drain <node_name> --force --delete-local-data --ignore-daemonsets

8. Compute → Machines をクリックします。必要なマシンを検索します。
9. 必要なマシンの横にある Action menu (⋮) → Delete Machine をクリックします。
10. Delete をクリックしてマシンの削除を確認します。新しいマシンが自動的に作成されます。

11. 新規マシンが起動し、Running 状態に移行するまで待機します。

    重要

    このアクティビティーには少なくとも 5-10 分以上かかる場合があります。

12. OpenShift Web コンソールで Compute → Nodes をクリックします。新規ノードが Ready 状態にあるかどうかを確認します。

13. 以下のいずれかを使用して、OpenShift Container Storage ラベルを新規ノードに適用します。

    ユーザーインターフェースを使用する場合

    1. 新規ノードについて、Action Menu (⋮) → Edit Labels をクリックします。
    2. cluster.ocs.openshift.io/openshift-storage を追加し、Save をクリックします。

    コマンドラインインターフェースの使用

    • 以下のコマンドを実行して、OpenS+hift Container Storage ラベルを新規ノードに適用します。

    $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

14. 新規ワーカーノードで利用可能なローカルストレージデバイスを OpenShift Container Storage StorageCluster に追加します。

    1. 新規ディスクエントリーを LocalVolume CR に追加します。

       LocalVolume CR を編集します。障害のあるデバイス /dev/disk/by-id/{id} を削除またはコメントアウトし、新規の /dev/disk/by-id/{id} を追加します。

       $ oc get -n local-storage localvolume

       出力例:

       NAME          AGE
       local-block   25h

       $ oc edit -n local-storage localvolume local-block

       出力例:

       [...]
           storageClassDevices:
           - devicePaths:
             - /dev/disk/by-id/nvme-Amazon_EC2_NVMe_Instance_Storage_AWS10382E5D7441494EC
             - /dev/disk/by-id/nvme-Amazon_EC2_NVMe_Instance_Storage_AWS1F45C01D7E84FE3E9
             - /dev/disk/by-id/nvme-Amazon_EC2_NVMe_Instance_Storage_AWS136BC945B4ECB9AE4
             - /dev/disk/by-id/nvme-Amazon_EC2_NVMe_Instance_Storage_AWS10382E5D7441464EP
         #   - /dev/disk/by-id/nvme-Amazon_EC2_NVMe_Instance_Storage_AWS1F45C01D7E84F43E7
         #   - /dev/disk/by-id/nvme-Amazon_EC2_NVMe_Instance_Storage_AWS136BC945B4ECB9AE8
             - /dev/disk/by-id/nvme-Amazon_EC2_NVMe_Instance_Storage_AWS6F45C01D7E84FE3E9
             - /dev/disk/by-id/nvme-Amazon_EC2_NVMe_Instance_Storage_AWS636BC945B4ECB9AE4
             storageClassName: localblock
             volumeMode: Block
       [...]

       CR の編集後に変更を保存するようにしてください。

       この CR に by-id を使用する 2 つの新規デバイスが追加されていることを確認できます。

       • nvme-Amazon_EC2_NVMe_Instance_Storage_AWS6F45C01D7E84FE3E9
       • nvme-Amazon_EC2_NVMe_Instance_Storage_AWS636BC945B4ECB9AE4

    2. localblock と共に PV を表示します。

       $ oc get pv | grep localblock

       出力例:

       local-pv-3646185e   2328Gi  RWO     Delete      Available                                               localblock  9s
       local-pv-3933e86    2328Gi  RWO     Delete      Bound       openshift-storage/ocs-deviceset-2-1-v9jp4   localblock  5h1m
       local-pv-8176b2bf   2328Gi  RWO     Delete      Bound       openshift-storage/ocs-deviceset-0-0-nvs68   localblock  5h1m
       local-pv-ab7cabb3   2328Gi  RWO     Delete      Available                                               localblock  9s
       local-pv-ac52e8a    2328Gi  RWO     Delete      Bound       openshift-storage/ocs-deviceset-1-0-knrgr   localblock  5h1m
       local-pv-b7e6fd37   2328Gi  RWO     Delete      Bound       openshift-storage/ocs-deviceset-2-0-rdm7m   localblock  5h1m
       local-pv-cb454338   2328Gi  RWO     Delete      Bound       openshift-storage/ocs-deviceset-0-1-h9hfm   localblock  5h1m
       local-pv-da5e3175   2328Gi  RWO     Delete      Bound       openshift-storage/ocs-deviceset-1-1-g97lq   localblock  5h
       ...

15. 以下の手順で、失敗したノードに関連付けられた各 PV および OSD を削除します。

    1. 置き換える OSD に関連付けられた DeviceSet を特定します。

       $ osd_id_to_remove=0
       $ oc get -n openshift-storage -o yaml deployment rook-ceph-osd-${osd_id_to_remove} | grep ceph.rook.io/pvc

       ここで、osd_id_to_remove は rook-ceph-osd プレフィックスの直後にくる Pod 名の整数です。この例では、デプロイメント名は rook-ceph-osd-0 です。

       出力例:

       ceph.rook.io/pvc: ocs-deviceset-0-0-nvs68
       ceph.rook.io/pvc: ocs-deviceset-0-0-nvs68

    2. PVC に関連付けられた PV を特定します。

       $ oc get -n openshift-storage pvc ocs-deviceset-<x>-<y>-<pvc-suffix>

       ここで、x、y、および pvc-suffix は、直前の手順で特定された DeviceSet の値です。

       出力例:

       NAME                      STATUS        VOLUME        CAPACITY   ACCESS MODES   STORAGECLASS   AGE
       ocs-deviceset-0-0-nvs68   Bound   local-pv-8176b2bf   2328Gi      RWO            localblock     4h49m

       この例では、関連付けられた PV は local-pv-8176b2bf です。

    3. 先の手順で特定された PVC を削除します。この例では、PVC 名は OCS-deviceset-0-0-nvs68 です。

       $ oc delete pvc ocs-deviceset-0-0-nvs68 -n openshift-storage

       出力例:

       persistentvolumeclaim "ocs-deviceset-0-0-nvs68" deleted

    4. 先のステップで特定された PV を削除します。この例では、PV 名は local-pv-8176b2bf です。

       $ oc delete pv local-pv-8176b2bf

       出力例:

       persistentvolume "local-pv-8176b2bf" deleted

    5. 失敗した OSD をクラスターから削除します。

       $ oc process -n openshift-storage ocs-osd-removal -p FAILED_OSD_ID=${osd_id_to_remove} | oc create -f -

    6. ocs-osd-removal Pod のステータスをチェックして、OSD が正常に削除されたことを確認します。Completed のステータスで、OSD の削除ジョブが正常に完了したことを確認します。

       # oc get pod -l job-name=ocs-osd-removal-${osd_id_to_remove} -n openshift-storage

       注記

       ocs-osd-removal が失敗し、Pod が予想される Completed の状態にない場合、追加のデバッグのために Pod ログを確認します。以下に例を示します。

       # oc logs -l job-name=ocs-osd-removal-${osd_id_to_remove} -n openshift-storage --tail=-1

    7. OSD Pod デプロイメントを削除します。

       $ oc delete deployment rook-ceph-osd-${osd_id_to_remove} -n openshift-storage

16. 先の手順で特定された crashcollector Pod デプロイメントを削除します。

    $ oc delete deployment --selector=app=rook-ceph-crashcollector,node_name=<old_node_name> -n openshift-storage

17. rook-ceph-operator を再起動して Operator の調整を強制的に実行して新規 OSD をデプロイします。

    $ oc get -n openshift-storage pod -l app=rook-ceph-operator

    出力例:

    NAME                                  READY   STATUS    RESTARTS   AGE
    rook-ceph-operator-6f74fb5bff-2d982   1/1     Running   0          5h3m

    1. rook-ceph-operator を削除します。

       $ oc delete -n openshift-storage pod rook-ceph-operator-6f74fb5bff-2d982

       出力例:

       pod "rook-ceph-operator-6f74fb5bff-2d982" deleted

    2. rook-ceph-operator Pod が再起動していることを確認します。

       $ oc get -n openshift-storage pod -l app=rook-ceph-operator

       出力例:

       NAME                                  READY   STATUS    RESTARTS   AGE
       rook-ceph-operator-6f74fb5bff-7mvrq   1/1     Running   0          66s

       新規 OSD の作成には、Operator が起動するまでに数分かかる場合があります。

18. ocs-osd-removal ジョブを削除します。

    $ oc delete job ocs-osd-removal-${osd_id_to_remove}

    出力例:

    job.batch "ocs-osd-removal-0" deleted

検証手順

1. 以下のコマンドを実行して、出力で新規ノードが表示されていることを確認します。

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

2. Workloads → Pods をクリックし、新規ノード上の少なくとも以下の Pod が Running 状態にあることを確認します。

   • csi-cephfsplugin-*
   • csi-rbdplugin-*

3. 他の必要なすべての OpenShift Container Storage Pod が Running 状態にあることを確認します。

   また、増分の mon が新規に作成されており、Running 状態にあることを確認します。

   $ oc get pod -n openshift-storage | grep mon

   出力例:

   rook-ceph-mon-a-64556f7659-c2ngc    1/1     Running     0   5h1m
   rook-ceph-mon-b-7c8b74dc4d-tt6hd    1/1     Running     0   5h1m
   rook-ceph-mon-d-57fb8c657-wg5f2     1/1     Running     0   27m

   OSD と mon が Running 状態になるまで数分かかる場合があります。

4. 検証手順が失敗した場合は、Red Hat サポートにお問い合わせください。

手順

1. ノードを特定し、置き換えるノードのラベルを取得します。

   $ oc get nodes --show-labels | grep <node_name>

2. 置き換えるノードで実行されている mon (ある場合) および OSD を特定します。

   $ oc get pods -n openshift-storage -o wide | grep -i <node_name>

3. 先の手順で特定された Pod のデプロイメントをスケールダウンします。

   以下に例を示します。

   $ oc scale deployment rook-ceph-mon-c --replicas=0 -n openshift-storage
   $ oc scale deployment rook-ceph-osd-0 --replicas=0 -n openshift-storage
   $ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name>  --replicas=0 -n openshift-storage

4. ノードにスケジュール対象外 (unschedulable) のマークを付けます。

   $ oc adm cordon <node_name>

5. Terminating 状態の Pod を削除します。

   $ oc get pods -A -o wide | grep -i <node_name> |  awk '{if ($4 == "Terminating") system ("oc -n " $1 " delete pods " $2  " --grace-period=0 " " --force ")}'

6. ノードをドレイン (解放) します。

   $ oc adm drain <node_name> --force --delete-local-data --ignore-daemonsets

7. ノードを削除します。

   $ oc delete node <node_name>

8. 必要なインフラストラクチャーで新規 Amazon EC2 I3 マシンインスタンスを作成します。サポートされるインフラストラクチャーおよびプラットフォームについて参照してください。
9. 新規 Amazon EC2 I3 マシンインスタンスを使用して新規 OpenShift Container Platform ノードを作成します。

10. Pending 状態の OpenShift Container Platform に関連する証明書署名要求 (CSR) の有無を確認します。

    $ oc get csr

11. 新規ノードに必要なすべての OpenShift Container Platform CSR を承認します。

    $ oc adm certificate approve <Certificate_Name>

12. OpenShift Web コンソールで Compute → Nodes をクリックします。新規ノードが Ready 状態にあるかどうかを確認します。

13. 以下のいずれかを使用して、OpenShift Container Storage ラベルを新規ノードに適用します。

    ユーザーインターフェースを使用する場合

    1. 新規ノードについて、Action Menu (⋮) → Edit Labels をクリックします。
    2. cluster.ocs.openshift.io/openshift-storage を追加し、Save をクリックします。

    コマンドラインインターフェースの使用

    • 以下のコマンドを実行して、OpenS+hift Container Storage ラベルを新規ノードに適用します。

    $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

14. 新規ワーカーノードで利用可能なローカルストレージデバイスを OpenShift Container Storage StorageCluster に追加します。

    1. 新規ディスクエントリーを LocalVolume CR に追加します。

       LocalVolume CR を編集します。障害のあるデバイス /dev/disk/by-id/{id} を削除またはコメントアウトし、新規の /dev/disk/by-id/{id} を追加します。

       $ oc get -n local-storage localvolume

       出力例:

       NAME          AGE
       local-block   25h

       $ oc edit -n local-storage localvolume local-block

       出力例:

       [...]
           storageClassDevices:
           - devicePaths:
             - /dev/disk/by-id/nvme-Amazon_EC2_NVMe_Instance_Storage_AWS10382E5D7441494EC
             - /dev/disk/by-id/nvme-Amazon_EC2_NVMe_Instance_Storage_AWS1F45C01D7E84FE3E9
             - /dev/disk/by-id/nvme-Amazon_EC2_NVMe_Instance_Storage_AWS136BC945B4ECB9AE4
             - /dev/disk/by-id/nvme-Amazon_EC2_NVMe_Instance_Storage_AWS10382E5D7441464EP
         #   - /dev/disk/by-id/nvme-Amazon_EC2_NVMe_Instance_Storage_AWS1F45C01D7E84F43E7
         #   - /dev/disk/by-id/nvme-Amazon_EC2_NVMe_Instance_Storage_AWS136BC945B4ECB9AE8
             - /dev/disk/by-id/nvme-Amazon_EC2_NVMe_Instance_Storage_AWS6F45C01D7E84FE3E9
             - /dev/disk/by-id/nvme-Amazon_EC2_NVMe_Instance_Storage_AWS636BC945B4ECB9AE4
             storageClassName: localblock
             volumeMode: Block
       [...]

       CR の編集後に変更を保存するようにしてください。

       この CR に by-id を使用する 2 つの新規デバイスが追加されていることを確認できます。

       • nvme-Amazon_EC2_NVMe_Instance_Storage_AWS6F45C01D7E84FE3E9
       • nvme-Amazon_EC2_NVMe_Instance_Storage_AWS636BC945B4ECB9AE4

    2. localblock と共に PV を表示します。

       $ oc get pv | grep localblock

       出力例:

       local-pv-3646185e   2328Gi  RWO     Delete      Available                                               localblock  9s
       local-pv-3933e86    2328Gi  RWO     Delete      Bound       openshift-storage/ocs-deviceset-2-1-v9jp4   localblock  5h1m
       local-pv-8176b2bf   2328Gi  RWO     Delete      Bound       openshift-storage/ocs-deviceset-0-0-nvs68   localblock  5h1m
       local-pv-ab7cabb3   2328Gi  RWO     Delete      Available                                               localblock  9s
       local-pv-ac52e8a    2328Gi  RWO     Delete      Bound       openshift-storage/ocs-deviceset-1-0-knrgr   localblock  5h1m
       local-pv-b7e6fd37   2328Gi  RWO     Delete      Bound       openshift-storage/ocs-deviceset-2-0-rdm7m   localblock  5h1m
       local-pv-cb454338   2328Gi  RWO     Delete      Bound       openshift-storage/ocs-deviceset-0-1-h9hfm   localblock  5h1m
       local-pv-da5e3175   2328Gi  RWO     Delete      Bound       openshift-storage/ocs-deviceset-1-1-g97lq   localblock  5h
       ...

15. 以下の手順で、失敗したノードに関連付けられた各 PV および OSD を削除します。

    1. 置き換える OSD に関連付けられた DeviceSet を特定します。

       $ osd_id_to_remove=0
       $ oc get -n openshift-storage -o yaml deployment rook-ceph-osd-${osd_id_to_remove} | grep ceph.rook.io/pvc

       ここで、osd_id_to_remove は rook-ceph-osd プレフィックスの直後にくる Pod 名の整数です。この例では、デプロイメント名は rook-ceph-osd-0 です。

       出力例:

       ceph.rook.io/pvc: ocs-deviceset-0-0-nvs68
       ceph.rook.io/pvc: ocs-deviceset-0-0-nvs68

    2. PVC に関連付けられた PV を特定します。

       $ oc get -n openshift-storage pvc ocs-deviceset-<x>-<y>-<pvc-suffix>

       ここで、x、y、および pvc-suffix は、直前の手順で特定された DeviceSet の値です。

       出力例:

       NAME                      STATUS        VOLUME        CAPACITY   ACCESS MODES   STORAGECLASS   AGE
       ocs-deviceset-0-0-nvs68   Bound   local-pv-8176b2bf   2328Gi      RWO            localblock     4h49m

       この例では、関連付けられた PV は local-pv-8176b2bf です。

    3. 先の手順で特定された PVC を削除します。この例では、PVC 名は OCS-deviceset-0-0-nvs68 です。

       $ oc delete pvc ocs-deviceset-0-0-nvs68 -n openshift-storage

       出力例:

       persistentvolumeclaim "ocs-deviceset-0-0-nvs68" deleted

    4. 先のステップで特定された PV を削除します。この例では、PV 名は local-pv-8176b2bf です。

       $ oc delete pv local-pv-8176b2bf

       出力例:

       persistentvolume "local-pv-8176b2bf" deleted

    5. 失敗した OSD をクラスターから削除します。

       $ oc process -n openshift-storage ocs-osd-removal -p FAILED_OSD_ID=${osd_id_to_remove} | oc create -f -

    6. ocs-osd-removal Pod のステータスをチェックして、OSD が正常に削除されたことを確認します。Completed のステータスで、OSD の削除ジョブが正常に完了したことを確認します。

       # oc get pod -l job-name=ocs-osd-removal-${osd_id_to_remove} -n openshift-storage

       注記

       ocs-osd-removal が失敗し、Pod が予想される Completed の状態にない場合、追加のデバッグのために Pod ログを確認します。以下に例を示します。

       # oc logs -l job-name=ocs-osd-removal-${osd_id_to_remove} -n openshift-storage --tail=-1

    7. OSD Pod デプロイメントを削除します。

       $ oc delete deployment rook-ceph-osd-${osd_id_to_remove} -n openshift-storage

16. 先の手順で特定された crashcollector Pod デプロイメントを削除します。

    $ oc delete deployment --selector=app=rook-ceph-crashcollector,node_name=<old_node_name> -n openshift-storage

17. rook-ceph-operator を再起動して Operator の調整を強制的に実行して新規 OSD をデプロイします。

    $ oc get -n openshift-storage pod -l app=rook-ceph-operator

    出力例:

    NAME                                  READY   STATUS    RESTARTS   AGE
    rook-ceph-operator-6f74fb5bff-2d982   1/1     Running   0          5h3m

    1. rook-ceph-operator を削除します。

       $ oc delete -n openshift-storage pod rook-ceph-operator-6f74fb5bff-2d982

       出力例:

       pod "rook-ceph-operator-6f74fb5bff-2d982" deleted

    2. rook-ceph-operator Pod が再起動していることを確認します。

       $ oc get -n openshift-storage pod -l app=rook-ceph-operator

       出力例:

       NAME                                  READY   STATUS    RESTARTS   AGE
       rook-ceph-operator-6f74fb5bff-7mvrq   1/1     Running   0          66s

       新規 OSD の作成には、Operator が起動するまでに数分かかる場合があります。

18. ocs-osd-removal ジョブを削除します。

    $ oc delete job ocs-osd-removal-${osd_id_to_remove}

    出力例:

    job.batch "ocs-osd-removal-0" deleted

検証手順

1. 以下のコマンドを実行して、出力で新規ノードが表示されていることを確認します。

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

2. Workloads → Pods をクリックし、新規ノード上の少なくとも以下の Pod が Running 状態にあることを確認します。

   • csi-cephfsplugin-*
   • csi-rbdplugin-*

3. 他の必要なすべての OpenShift Container Storage Pod が Running 状態にあることを確認します。

   また、増分の mon が新規に作成されており、Running 状態にあることを確認します。

   $ oc get pod -n openshift-storage | grep mon

   出力例:

   rook-ceph-mon-a-64556f7659-c2ngc    1/1     Running     0   5h1m
   rook-ceph-mon-b-7c8b74dc4d-tt6hd    1/1     Running     0   5h1m
   rook-ceph-mon-d-57fb8c657-wg5f2     1/1     Running     0   27m

   OSD と mon が Running 状態になるまで数分かかる場合があります。

4. 検証手順が失敗した場合は、Red Hat サポートにお問い合わせください。

手順

1. OpenShift Web コンソールにログインし、 Compute → Nodes をクリックします。
2. 置き換える必要のあるノードを特定します。そのマシン名をメモします。

3. 置き換えるノードのラベルを取得します。

   $ oc get nodes --show-labels | grep <node_name>

4. 置き換えるノードで実行されている mon (ある場合) および OSD を特定します。

   $ oc get pods -n openshift-storage -o wide | grep -i <node_name>

5. 先の手順で特定された Pod のデプロイメントをスケールダウンします。

   以下に例を示します。

   $ oc scale deployment rook-ceph-mon-c --replicas=0 -n openshift-storage
   $ oc scale deployment rook-ceph-osd-0 --replicas=0 -n openshift-storage
   $ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name>  --replicas=0 -n openshift-storage

6. ノードにスケジュール対象外 (unschedulable) のマークを付けます。

   $ oc adm cordon <node_name>

7. Terminating 状態の Pod を削除します。

   $ oc get pods -A -o wide | grep -i <node_name> |  awk '{if ($4 == "Terminating") system ("oc -n " $1 " delete pods " $2  " --grace-period=0 " " --force ")}'

8. ノードをドレイン (解放) します。

   $ oc adm drain <node_name> --force --delete-local-data --ignore-daemonsets

9. Compute → Machines をクリックします。必要なマシンを検索します。
10. 必要なマシンの横にある Action menu (⋮) → Delete Machine をクリックします。
11. Delete をクリックしてマシンの削除を確認します。新しいマシンが自動的に作成されます。

12. 新規マシンが起動し、Running 状態に移行するまで待機します。

    重要

    このアクティビティーには少なくとも 5-10 分以上かかる場合があります。

13. OpenShift Web コンソールで Compute → Nodes をクリックします。新規ノードが Ready 状態にあるかどうかを確認します。

14. 以下のいずれかを使用して、OpenShift Container Storage ラベルを新規ノードに適用します。

    ユーザーインターフェースを使用する場合

    1. 新規ノードについて、Action Menu (⋮) → Edit Labels をクリックします。
    2. cluster.ocs.openshift.io/openshift-storage を追加し、Save をクリックします。

    コマンドラインインターフェースの使用

    • 以下のコマンドを実行して、OpenS+hift Container Storage ラベルを新規ノードに適用します。

    $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

15. 新規ワーカーノードで利用可能なローカルストレージデバイスを OpenShift Container Storage StorageCluster に追加します。

    1. 新規ディスクエントリーを LocalVolume CR に追加します。

       LocalVolume CR を編集します。障害のあるデバイス /dev/disk/by-id/{id} を削除またはコメントアウトし、新規の /dev/disk/by-id/{id} を追加します。

       $ oc get -n local-storage localvolume

       出力例:

       NAME          AGE
       local-block   25h

       $ oc edit -n local-storage localvolume local-block

       出力例:

       [...]
           storageClassDevices:
           - devicePaths:
             - /dev/disk/by-id/nvme-Amazon_EC2_NVMe_Instance_Storage_AWS10382E5D7441494EC
             - /dev/disk/by-id/nvme-Amazon_EC2_NVMe_Instance_Storage_AWS1F45C01D7E84FE3E9
             - /dev/disk/by-id/nvme-Amazon_EC2_NVMe_Instance_Storage_AWS136BC945B4ECB9AE4
             - /dev/disk/by-id/nvme-Amazon_EC2_NVMe_Instance_Storage_AWS10382E5D7441464EP
         #   - /dev/disk/by-id/nvme-Amazon_EC2_NVMe_Instance_Storage_AWS1F45C01D7E84F43E7
         #   - /dev/disk/by-id/nvme-Amazon_EC2_NVMe_Instance_Storage_AWS136BC945B4ECB9AE8
             - /dev/disk/by-id/nvme-Amazon_EC2_NVMe_Instance_Storage_AWS6F45C01D7E84FE3E9
             - /dev/disk/by-id/nvme-Amazon_EC2_NVMe_Instance_Storage_AWS636BC945B4ECB9AE4
             storageClassName: localblock
             volumeMode: Block
       [...]

       CR の編集後に変更を保存するようにしてください。

       この CR に by-id を使用する 2 つの新規デバイスが追加されていることを確認できます。

       • nvme-Amazon_EC2_NVMe_Instance_Storage_AWS6F45C01D7E84FE3E9
       • nvme-Amazon_EC2_NVMe_Instance_Storage_AWS636BC945B4ECB9AE4

    2. localblock と共に PV を表示します。

       $ oc get pv | grep localblock

       出力例:

       local-pv-3646185e   2328Gi  RWO     Delete      Available                                               localblock  9s
       local-pv-3933e86    2328Gi  RWO     Delete      Bound       openshift-storage/ocs-deviceset-2-1-v9jp4   localblock  5h1m
       local-pv-8176b2bf   2328Gi  RWO     Delete      Bound       openshift-storage/ocs-deviceset-0-0-nvs68   localblock  5h1m
       local-pv-ab7cabb3   2328Gi  RWO     Delete      Available                                               localblock  9s
       local-pv-ac52e8a    2328Gi  RWO     Delete      Bound       openshift-storage/ocs-deviceset-1-0-knrgr   localblock  5h1m
       local-pv-b7e6fd37   2328Gi  RWO     Delete      Bound       openshift-storage/ocs-deviceset-2-0-rdm7m   localblock  5h1m
       local-pv-cb454338   2328Gi  RWO     Delete      Bound       openshift-storage/ocs-deviceset-0-1-h9hfm   localblock  5h1m
       local-pv-da5e3175   2328Gi  RWO     Delete      Bound       openshift-storage/ocs-deviceset-1-1-g97lq   localblock  5h
       ...

16. 以下の手順で、失敗したノードに関連付けられた各 PV および OSD を削除します。

    1. 置き換える OSD に関連付けられた DeviceSet を特定します。

       $ osd_id_to_remove=0
       $ oc get -n openshift-storage -o yaml deployment rook-ceph-osd-${osd_id_to_remove} | grep ceph.rook.io/pvc

       ここで、osd_id_to_remove は rook-ceph-osd プレフィックスの直後にくる Pod 名の整数です。この例では、デプロイメント名は rook-ceph-osd-0 です。

       出力例:

       ceph.rook.io/pvc: ocs-deviceset-0-0-nvs68
       ceph.rook.io/pvc: ocs-deviceset-0-0-nvs68

    2. PVC に関連付けられた PV を特定します。

       $ oc get -n openshift-storage pvc ocs-deviceset-<x>-<y>-<pvc-suffix>

       ここで、x、y、および pvc-suffix は、直前の手順で特定された DeviceSet の値です。

       出力例:

       NAME                      STATUS        VOLUME        CAPACITY   ACCESS MODES   STORAGECLASS   AGE
       ocs-deviceset-0-0-nvs68   Bound   local-pv-8176b2bf   2328Gi      RWO            localblock     4h49m

       この例では、関連付けられた PV は local-pv-8176b2bf です。

    3. 先の手順で特定された PVC を削除します。この例では、PVC 名は OCS-deviceset-0-0-nvs68 です。

       $ oc delete pvc ocs-deviceset-0-0-nvs68 -n openshift-storage

       出力例:

       persistentvolumeclaim "ocs-deviceset-0-0-nvs68" deleted

    4. 先のステップで特定された PV を削除します。この例では、PV 名は local-pv-8176b2bf です。

       $ oc delete pv local-pv-8176b2bf

       出力例:

       persistentvolume "local-pv-8176b2bf" deleted

    5. 失敗した OSD をクラスターから削除します。

       $ oc process -n openshift-storage ocs-osd-removal -p FAILED_OSD_ID=${osd_id_to_remove} | oc create -f -

    6. ocs-osd-removal Pod のステータスをチェックして、OSD が正常に削除されたことを確認します。Completed のステータスで、OSD の削除ジョブが正常に完了したことを確認します。

       # oc get pod -l job-name=ocs-osd-removal-${osd_id_to_remove} -n openshift-storage

       注記

       ocs-osd-removal が失敗し、Pod が予想される Completed の状態にない場合、追加のデバッグのために Pod ログを確認します。以下に例を示します。

       # oc logs -l job-name=ocs-osd-removal-${osd_id_to_remove} -n openshift-storage --tail=-1

    7. OSD Pod デプロイメントを削除します。

       $ oc delete deployment rook-ceph-osd-${osd_id_to_remove} -n openshift-storage

17. 先の手順で特定された crashcollector Pod デプロイメントを削除します。

    $ oc delete deployment --selector=app=rook-ceph-crashcollector,node_name=<old_node_name> -n openshift-storage

18. rook-ceph-operator を再起動して Operator の調整を強制的に実行して新規 OSD をデプロイします。

    $ oc get -n openshift-storage pod -l app=rook-ceph-operator

    出力例:

    NAME                                  READY   STATUS    RESTARTS   AGE
    rook-ceph-operator-6f74fb5bff-2d982   1/1     Running   0          5h3m

    1. rook-ceph-operator を削除します。

       $ oc delete -n openshift-storage pod rook-ceph-operator-6f74fb5bff-2d982

       出力例:

       pod "rook-ceph-operator-6f74fb5bff-2d982" deleted

    2. rook-ceph-operator Pod が再起動していることを確認します。

       $ oc get -n openshift-storage pod -l app=rook-ceph-operator

       出力例:

       NAME                                  READY   STATUS    RESTARTS   AGE
       rook-ceph-operator-6f74fb5bff-7mvrq   1/1     Running   0          66s

       新規 OSD の作成には、Operator が起動するまでに数分かかる場合があります。

19. ocs-osd-removal ジョブを削除します。

    $ oc delete job ocs-osd-removal-${osd_id_to_remove}

    出力例:

    job.batch "ocs-osd-removal-0" deleted

検証手順

1. 以下のコマンドを実行して、出力で新規ノードが表示されていることを確認します。

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

2. Workloads → Pods をクリックし、新規ノード上の少なくとも以下の Pod が Running 状態にあることを確認します。

   • csi-cephfsplugin-*
   • csi-rbdplugin-*

3. 他の必要なすべての OpenShift Container Storage Pod が Running 状態にあることを確認します。

   また、増分の mon が新規に作成されており、Running 状態にあることを確認します。

   $ oc get pod -n openshift-storage | grep mon

   出力例:

   rook-ceph-mon-a-64556f7659-c2ngc    1/1     Running     0   5h1m
   rook-ceph-mon-b-7c8b74dc4d-tt6hd    1/1     Running     0   5h1m
   rook-ceph-mon-d-57fb8c657-wg5f2     1/1     Running     0   27m

   OSD と mon が Running 状態になるまで数分かかる場合があります。

4. 検証手順が失敗した場合は、Red Hat サポートにお問い合わせください。

手順

1. ノードを特定し、置き換えるノードのラベルを取得します。

   $ oc get nodes --show-labels | grep <node_name>

2. 置き換えるノードで実行されている mon (ある場合) および OSD を特定します。

   $ oc get pods -n openshift-storage -o wide | grep -i <node_name>

3. 先の手順で特定された Pod のデプロイメントをスケールダウンします。

   以下に例を示します。

   $ oc scale deployment rook-ceph-mon-c --replicas=0 -n openshift-storage
   $ oc scale deployment rook-ceph-osd-0 --replicas=0 -n openshift-storage
   $ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name>  --replicas=0 -n openshift-storage

4. ノードにスケジュール対象外 (unschedulable) のマークを付けます。

   $ oc adm cordon <node_name>

5. ノードをドレイン (解放) します。

   $ oc adm drain <node_name> --force --delete-local-data --ignore-daemonsets

6. ノードを削除します。

   $ oc delete node <node_name>

7. VSphere にログインし、特定された仮想マシンを終了します。
8. 必要なインフラストラクチャーで VMware に新規の仮想マシンを作成します。サポートされるインフラストラクチャーおよびプラットフォームについて参照してください。
9. 新規の仮想マシンを使用して新規 OpenShift Container Platform ワーカーノードを作成します。

10. Pending 状態の OpenShift Container Platform に関連する証明書署名要求 (CSR) の有無を確認します。

    $ oc get csr

11. 新規ノードに必要なすべての OpenShift Container Platform CSR を承認します。

    $ oc adm certificate approve <Certificate_Name>

12. OpenShift Web コンソールで Compute → Nodes をクリックし、新規ノードが Ready 状態にあるかどうかを確認します。

13. 以下のいずれかを使用して、OpenShift Container Storage ラベルを新規ノードに適用します。

    ユーザーインターフェースを使用する場合

    1. 新規ノードについて、Action Menu (⋮) → Edit Labels をクリックします。
    2. cluster.ocs.openshift.io/openshift-storage を追加し、Save をクリックします。

    コマンドラインインターフェースの使用

    • 以下のコマンドを実行して、OpenS+hift Container Storage ラベルを新規ノードに適用します。

      $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

14. これらのワーカーノードで利用可能なローカルストレージデバイスを OpenShift Container Storage StorageCluster に追加します。

    1. 新規ディスクエントリーを LocalVolume CR に追加します。

       LocalVolume CR を編集し、障害のあるデバイス /dev/disk/by-id/{id} を削除またはコメントアウトし、新規の /dev/disk/by-id/{id} を追加します。この例では、新規デバイスは /dev/disk/by-id/nvme-eui.01000000010000005cd2e490020e5251 です。

       # oc get -n local-storage localvolume

       出力例:

       NAME          AGE
       local-block   25h

       # oc edit -n local-storage localvolume local-block

       出力例:

       [...]
           storageClassDevices:
           - devicePaths:
             - /dev/disk/by-id/nvme-eui.01000000010000005cd2e4895e0e5251
             - /dev/disk/by-id/nvme-eui.01000000010000005cd2e4ea2f0f5251
         #   - /dev/disk/by-id/nvme-eui.01000000010000005cd2e4de2f0f5251
             - /dev/disk/by-id/nvme-eui.01000000010000005cd2e490020e5251
             storageClassName: localblock
             volumeMode: Block
       [...]

       CR の編集後に変更を保存するようにしてください。

    2. localblock と共に PV を表示します。

       $ oc get pv | grep localblock

       出力例:

       local-pv-3e8964d3                          1490Gi      RWO            Delete           Bound       openshift-storage/ocs-deviceset-2-0-79j94   localblock                             25h
       local-pv-414755e0                          1490Gi      RWO            Delete           Bound       openshift-storage/ocs-deviceset-1-0-959rp   localblock                             25h
       local-pv-b481410                           1490Gi      RWO            Delete           Available                                               localblock                             3m24s
       local-pv-d9c5cbd6                          1490Gi      RWO            Delete           Bound     openshift-storage/ocs-deviceset-0-0-nvs68   localblock

15. 障害のあるノードに関連付けられた PV を削除します。

    1. 置き換える OSD に関連付けられた DeviceSet を特定します。

       # osd_id_to_remove=0
       # oc get -n openshift-storage -o yaml deployment rook-ceph-osd-${osd_id_to_remove} | grep ceph.rook.io/pvc

       ここで、osd_id_to_remove は rook-ceph-osd プレフィックスの直後にくる Pod 名の整数です。この例では、デプロイメント名は rook-ceph-osd-0 です。

       出力例:

       ceph.rook.io/pvc: ocs-deviceset-0-0-nvs68
       ceph.rook.io/pvc: ocs-deviceset-0-0-nvs68

       この例では、PVC 名は OCS-deviceset-0-0-nvs68 です。

    2. PVC に関連付けられた PV を特定します。

       # oc get -n openshift-storage pvc ocs-deviceset-<x>-<y>-<pvc-suffix>

       ここで、x、y、および pvc-suffix は、直前の手順で特定された DeviceSet の値です。

       出力例:

       NAME                      STATUS        VOLUME        CAPACITY   ACCESS MODES   STORAGECLASS   AGE
       ocs-deviceset-0-0-nvs68   Bound   local-pv-d9c5cbd6   1490Gi     RWO            localblock     24h

       この例では、関連付けられた PV は local-pv-d9c5cbd6 です。

    3. PVC を削除します。

       oc delete pvc <pvc-name> -n openshift-storage

    4. PV を削除します。

       # oc delete pv local-pv-d9c5cbd6

       出力例:

       persistentvolume "local-pv-d9c5cbd6" deleted

16. 失敗した OSD をクラスターから削除します。

    # oc process -n openshift-storage ocs-osd-removal -p FAILED_OSD_ID=${osd_id_to_remove} | oc create -f -

17. ocs-osd-removal Pod のステータスをチェックして、OSD が正常に削除されたことを確認します。Completed のステータスで、OSD の削除ジョブが正常に完了したことを確認します。

    # oc get pod -l job-name=ocs-osd-removal-${osd_id_to_remove} -n openshift-storage

    注記

    ocs-osd-removal が失敗し、Pod が予想される Completed の状態にない場合、追加のデバッグのために Pod ログを確認します。以下に例を示します。

    # oc logs -l job-name=ocs-osd-removal-${osd_id_to_remove} -n openshift-storage --tail=-1

18. OSD Pod デプロイメントおよび crashcollector Pod デプロイメントを削除します。

    $ oc delete deployment rook-ceph-osd-${osd_id_to_remove} -n openshift-storage
    $ oc delete deployment --selector=app=rook-ceph-crashcollector,node_name=<old_node_name> -n openshift-storage

19. rook-ceph-operator を再起動して Operator の調整を強制的に実行して新規 OSD をデプロイします。

    # oc get -n openshift-storage pod -l app=rook-ceph-operator

    出力例:

    NAME                                  READY   STATUS    RESTARTS   AGE
    rook-ceph-operator-6f74fb5bff-2d982   1/1     Running   0          1d20h

    1. rook-ceph-operator を削除します。

       # oc delete -n openshift-storage pod rook-ceph-operator-6f74fb5bff-2d982

       出力例:

       pod "rook-ceph-operator-6f74fb5bff-2d982" deleted

    2. rook-ceph-operator Pod が再起動していることを確認します。

       # oc get -n openshift-storage pod -l app=rook-ceph-operator

       出力例:

       NAME                                  READY   STATUS    RESTARTS   AGE
       rook-ceph-operator-6f74fb5bff-7mvrq   1/1     Running   0          66s

       新規 OSD および mon の作成には、Operator が再起動するまでに数分かかる場合があります。

20. ocs-osd-removal ジョブを削除します。

    # oc delete job ocs-osd-removal-${osd_id_to_remove}

    出力例:

    job.batch "ocs-osd-removal-0" deleted

検証手順

1. 以下のコマンドを実行して、出力で新規ノードが表示されていることを確認します。

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

2. Workloads → Pods をクリックし、新規ノード上の少なくとも以下の Pod が Running 状態にあることを確認します。

   • csi-cephfsplugin-*
   • csi-rbdplugin-*

3. 他の必要なすべての OpenShift Container Storage Pod が Running 状態にあることを確認します。

   また、増分の mon が新規に作成されており、Running 状態にあることを確認します。

   $ oc get pod -n openshift-storage | grep mon

   出力例:

   rook-ceph-mon-c-64556f7659-c2ngc                                  1/1     Running     0          6h14m
   rook-ceph-mon-d-7c8b74dc4d-tt6hd                                  1/1     Running     0          4h24m
   rook-ceph-mon-e-57fb8c657-wg5f2                                   1/1     Running     0          162m

   OSD と Mon が Running 状態になるまで数分かかる場合があります。

4. 検証手順が失敗した場合は、Red Hat サポートにお問い合わせください。

手順

1. ノードを特定し、置き換えるノードのラベルを取得します。

   $ oc get nodes --show-labels | grep <node_name>

2. 置き換えるノードで実行されている mon (ある場合) および OSD を特定します。

   $ oc get pods -n openshift-storage -o wide | grep -i <node_name>

3. 先の手順で特定された Pod のデプロイメントをスケールダウンします。

   以下に例を示します。

   $ oc scale deployment rook-ceph-mon-c --replicas=0 -n openshift-storage
   $ oc scale deployment rook-ceph-osd-0 --replicas=0 -n openshift-storage
   $ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=<node_name>  --replicas=0 -n openshift-storage

4. ノードにスケジュール対象外 (unschedulable) のマークを付けます。

   $ oc adm cordon <node_name>

5. Terminating 状態の Pod を削除します。

   $ oc get pods -A -o wide | grep -i <node_name> |  awk '{if ($4 == "Terminating") system ("oc -n " $1 " delete pods " $2  " --grace-period=0 " " --force ")}'

6. ノードをドレイン (解放) します。

   $ oc adm drain <node_name> --force --delete-local-data --ignore-daemonsets

7. ノードを削除します。

   $ oc delete node <node_name>

8. VSphere にログインし、特定された仮想マシンを終了します。
9. 必要なインフラストラクチャーで VMware に新規の仮想マシンを作成します。サポートされるインフラストラクチャーおよびプラットフォームについて参照してください。
10. 新規の仮想マシンを使用して新規 OpenShift Container Platform ワーカーノードを作成します。

11. Pending 状態の OpenShift Container Platform に関連する証明書署名要求 (CSR) の有無を確認します。

    $ oc get csr

12. 新規ノードに必要なすべての OpenShift Container Platform CSR を承認します。

    $ oc adm certificate approve <Certificate_Name>

13. OpenShift Web コンソールで Compute → Nodes をクリックし、新規ノードが Ready 状態にあるかどうかを確認します。

14. 以下のいずれかを使用して、OpenShift Container Storage ラベルを新規ノードに適用します。

    ユーザーインターフェースを使用する場合

    1. 新規ノードについて、Action Menu (⋮) → Edit Labels をクリックします。
    2. cluster.ocs.openshift.io/openshift-storage を追加し、Save をクリックします。

    コマンドラインインターフェースの使用

    • 以下のコマンドを実行して、OpenS+hift Container Storage ラベルを新規ノードに適用します。

    $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

15. これらのワーカーノードで利用可能なローカルストレージデバイスを OpenShift Container Storage StorageCluster に追加します。

    1. 新規ディスクエントリーを LocalVolume CR に追加します。

       LocalVolume CR を編集し、障害のあるデバイス /dev/disk/by-id/{id} を削除またはコメントアウトし、新規の /dev/disk/by-id/{id} を追加します。この例では、新規デバイスは /dev/disk/by-id/nvme-eui.01000000010000005cd2e490020e5251 です。

       # oc get -n local-storage localvolume

       出力例:

       NAME          AGE
       local-block   25h

       # oc edit -n local-storage localvolume local-block

       出力例:

       [...]
           storageClassDevices:
           - devicePaths:
             - /dev/disk/by-id/nvme-eui.01000000010000005cd2e4895e0e5251
             - /dev/disk/by-id/nvme-eui.01000000010000005cd2e4ea2f0f5251
         #   - /dev/disk/by-id/nvme-eui.01000000010000005cd2e4de2f0f5251
             - /dev/disk/by-id/nvme-eui.01000000010000005cd2e490020e5251
             storageClassName: localblock
             volumeMode: Block
       [...]

       CR の編集後に変更を保存するようにしてください。

    2. localblock と共に PV を表示します。

       $ oc get pv | grep localblock

       出力例:

       local-pv-3e8964d3                          1490Gi      RWO            Delete           Bound       openshift-storage/ocs-deviceset-2-0-79j94   localblock                             25h
       local-pv-414755e0                          1490Gi      RWO            Delete           Bound       openshift-storage/ocs-deviceset-1-0-959rp   localblock                             25h
       local-pv-b481410                           1490Gi      RWO            Delete           Available                                               localblock                             3m24s
       local-pv-d9c5cbd6                          1490Gi      RWO            Delete           Bound     openshift-storage/ocs-deviceset-0-0-nvs68   localblock

16. 障害のあるノードに関連付けられた PV を削除します。

    1. 置き換える OSD に関連付けられた DeviceSet を特定します。

       # osd_id_to_remove=0
       # oc get -n openshift-storage -o yaml deployment rook-ceph-osd-${osd_id_to_remove} | grep ceph.rook.io/pvc

       ここで、osd_id_to_remove は rook-ceph-osd プレフィックスの直後にくる Pod 名の整数です。この例では、デプロイメント名は rook-ceph-osd-0 です。

       出力例:

       ceph.rook.io/pvc: ocs-deviceset-0-0-nvs68
       ceph.rook.io/pvc: ocs-deviceset-0-0-nvs68

       この例では、PVC 名は OCS-deviceset-0-0-nvs68 です。

    2. PVC に関連付けられた PV を特定します。

       # oc get -n openshift-storage pvc ocs-deviceset-<x>-<y>-<pvc-suffix>

       ここで、x、y、および pvc-suffix は、直前の手順で特定された DeviceSet の値です。

       出力例:

       NAME                      STATUS        VOLUME        CAPACITY   ACCESS MODES   STORAGECLASS   AGE
       ocs-deviceset-0-0-nvs68   Bound   local-pv-d9c5cbd6   1490Gi     RWO            localblock     24h

       この例では、関連付けられた PV は local-pv-d9c5cbd6 です。

    3. PVC を削除します。

       oc delete pvc <pvc-name> -n openshift-storage

    4. PV を削除します。

       # oc delete pv local-pv-d9c5cbd6

       出力例:

       persistentvolume "local-pv-d9c5cbd6" deleted

17. 失敗した OSD をクラスターから削除します。

    # oc process -n openshift-storage ocs-osd-removal -p FAILED_OSD_ID=${osd_id_to_remove} | oc create -f -

18. ocs-osd-removal Pod のステータスをチェックして、OSD が正常に削除されたことを確認します。Completed のステータスで、OSD の削除ジョブが正常に完了したことを確認します。

    # oc get pod -l job-name=ocs-osd-removal-${osd_id_to_remove} -n openshift-storage

    注記

    ocs-osd-removal が失敗し、Pod が予想される Completed の状態にない場合、追加のデバッグのために Pod ログを確認します。以下に例を示します。

    # oc logs -l job-name=ocs-osd-removal-${osd_id_to_remove} -n openshift-storage --tail=-1

19. OSD Pod デプロイメントおよび crashcollector Pod デプロイメントを削除します。

    $ oc delete deployment rook-ceph-osd-${osd_id_to_remove} -n openshift-storage
    $ oc delete deployment --selector=app=rook-ceph-crashcollector,node_name=<old_node_name> -n openshift-storage

20. rook-ceph-operator を再起動して Operator の調整を強制的に実行して新規 OSD をデプロイします。

    # oc get -n openshift-storage pod -l app=rook-ceph-operator

    出力例:

    NAME                                  READY   STATUS    RESTARTS   AGE
    rook-ceph-operator-6f74fb5bff-2d982   1/1     Running   0          1d20h

    1. rook-ceph-operator を削除します。

       # oc delete -n openshift-storage pod rook-ceph-operator-6f74fb5bff-2d982

       出力例:

       pod "rook-ceph-operator-6f74fb5bff-2d982" deleted

    2. rook-ceph-operator Pod が再起動していることを確認します。

       # oc get -n openshift-storage pod -l app=rook-ceph-operator

       出力例:

       NAME                                  READY   STATUS    RESTARTS   AGE
       rook-ceph-operator-6f74fb5bff-7mvrq   1/1     Running   0          66s

       新規 OSD および mon の作成には、Operator が再起動するまでに数分かかる場合があります。

21. `ocs-osd-removal` ジョブを削除します。

    # oc delete job ocs-osd-removal-${osd_id_to_remove}

    出力例:

    job.batch "ocs-osd-removal-0" deleted

検証手順

1. 以下のコマンドを実行して、出力で新規ノードが表示されていることを確認します。

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

2. Workloads → Pods をクリックし、新規ノード上の少なくとも以下の Pod が Running 状態にあることを確認します。

   • csi-cephfsplugin-*
   • csi-rbdplugin-*

3. 他の必要なすべての OpenShift Container Storage Pod が Running 状態にあることを確認します。

   また、増分の mon が新規に作成されており、Running 状態にあることを確認します。

   $ oc get pod -n openshift-storage | grep mon

   出力例:

   rook-ceph-mon-c-64556f7659-c2ngc                                  1/1     Running     0          6h14m
   rook-ceph-mon-d-7c8b74dc4d-tt6hd                                  1/1     Running     0          4h24m
   rook-ceph-mon-e-57fb8c657-wg5f2                                   1/1     Running     0          162m

   OSD と Mon が Running 状態になるまで数分かかる場合があります。

4. 検証手順が失敗した場合は、Red Hat サポートにお問い合わせください。