手順

1. OpenShift Web コンソールの左側のペインで、Operators → OperatorHub をクリックします。

   図2.1 Operator Hub の Operator 一覧

   

2. OpenShift Container Storage をクリックします。

   Filter by keyword テキストボックスまたはフィルター一覧を使用して、Operator の一覧から OpenShift Container Storage を検索できます。

3. OpenShift Container Storage Operator ページで、Install をクリックします。

   図2.2 Install Operator ページ

   

   Install ボタンをクリックすると、以下のページが表示されます。

   

4. Install Operator ページで、以下のオプションが選択されていることを確認します。

   1. Channel を stable-4.6として更新します。
   2. Installation Mode オプションに A specific namespace on the cluster を選択します。
   3. Installed Namespace に Operator recommended namespace PR openshift-storage を選択します。namespace openshift-storage が存在しない場合、これは Operator のインストール時に作成されます。
   4. Enable operator recommended cluster monitoring on this namespace が選択されていることを確認します。これはクラスターのモニターリングに必要です。
   5. Approval Strategy に Automatic を選択します。

5. Install をクリックします。

   図2.3 Installed Operators ダッシュボード

   

手順

1. OpenShift Web コンソールの左側のペインで、Operators → OperatorHub をクリックします。
2. Operator の一覧から Local Storage Operator を検索し、これをクリックします。

3. Install をクリックします。

   図2.4 Install Operator ページ

   

   Install ボタンをクリックすると、以下のページが表示されます。

   

4. Install Operator ページで、以下のオプションが選択されていることを確認します。

   1. Channel を stable-4.6として更新します。
   2. Installation Mode オプションに A specific namespace on the cluster を選択します。
   3. Installed Namespace を openshift-local-storage に選択します。
   4. Approval Strategy に Automatic を選択します。

5. Install をクリックします。

   図2.5 Installed Operators ダッシュボード

   

手順

1. OpenShift Container Storage ラベルの付いたワーカーノードの名前の一覧を表示し、確認します。

   $ oc get nodes -l cluster.ocs.openshift.io/openshift-storage=

   出力例:

   NAME        STATUS   ROLES    AGE     VERSION
   worker-0    Ready    worker   39h   v1.18.3+2cf11e2
   worker-1    Ready    worker   39h   v1.18.3+2cf11e2
   Worker-2    Ready    worker   39h   v1.18.3+2cf11e2

2. OpenShift Container Storage リソース、および利用可能な各 raw ブロックデバイスについて接続された追加ストレージのあるディスクに使用される各ワーカーノードにログインします。

   $ oc debug node/<Nodename>

   出力例:

   $ oc debug node/worker-0
   Starting pod/worker-0-debug ...
   To use host binaries, run `chroot /host`
   Pod IP: 192.168.88.11
   If you don't see a command prompt, try pressing enter.
   sh-4.2# chroot /host
   sh-4.4# lsblk
   NAME                  MAJ:MIN  RM   SIZE  RO  TYPE  MOUNTPOINT
   loop0                  7:0     0    256GG  0   loop
   vda                    252:0   0     40G  0 disk
   |-vda1                 252:1   0     4M   0 part
   |-vda2                 252:2   0    384M  0 part     /boot
   `-vda4                 252:4   0   39.6G  0 part
     `-coreos-luks-root-nocrypt 253:0  0 39.6G  0 dm   /sysroot
   vdb                    252:16  0   512B   1  disk
   vdc                    252:32  0   256G   0  disk

   この例では、worker-0 の利用可能なローカルデバイスは vdc です。

3. OpenShift Container Storage で使用されるストレージデバイスを持つその他のすべてのワーカーノードについてこの手順を繰り返します。詳細は、ナレッジベースアーティクル を参照してください。

手順

1. OpenShift Web コンソールにログインします。

2. openshift-local-storage namespace で、OpenShift Web コンソールの左ペインから Operators → Installed Operators をクリックして、インストールされている Operator を表示します。

   図2.6 Local Storage Operator ページ

   
   1. Local Storage のインストールされた Operator をクリックします。

   2. Operator Details ページで、Local Volume Set リンクをクリックします。

      図2.7 Local Volume Set タブ

      

3. Create Local Volume Set をクリックします。

   
   1. ボリュームセット名を入力します。デフォルトで、ストレージクラス名がボリュームセット名について表示されます。

   2. 利用可能なディスクを検出するには、以下のいずれかを選択できます。

      • All nodes: すべてのノードでディスクを検出します。
      • Select nodes: ノードの一覧からノードのサブセットを選択します。
   3. Disk type を選択します。
   4. Advanced オプションで、Disk モードに Block を選択し、追加で接続されたディスクのサイズに相当する最小のディスクサイズ、最大のディスクサイズを選択し、最大のディスク制限を設定できます。

   5. Create をクリックします。

      Create ボタンは、最低でも 3 つのノードを選択した後にのみ有効になります。ローカルボリュームセットは、利用可能なディスクを持つワーカーノードごとに 1 つのボリュームで作成されます。

4. openshift-storage namespace で、OpenShift Web コンソールの左ペインから Operators → Installed Operators をクリックして、インストールされている Operator を表示します。

   図2.8 OpenShift Container Storage Operator ページ

   
   1. OpenShift Container Storage インストール Operator をクリックします。

   2. Operator Details ページで、Storage Cluster リンクをクリックします。

      図2.9 Storage Cluster タブ

      

5. Create Storage Cluster をクリックします。

   
6. Select Mode に Internal-Attached devices を選択します。

1. 必要なストレージクラスを選択します。
2. 要件に応じて、ストレージクラスターのデータ暗号化を有効または無効にします。
3. ストレージクラスに対応するノードは、ドロップダウンで選択したストレージクラスに基づいて表示されます。

4. Create をクリックします。

   Create ボタンは、最低でも 3 つのノードを選択した後にのみ有効になります。3 つのボリュームからなる新規ストレージクラスターは、1 ワーカーノードごとに 1 つのボリュームを設定して作成されます。デフォルト設定では、レプリケーション係数 3 を使用します。

手順

1. OpenShift Web コンソールの左側のペインから Workloads → Pods をクリックします。

2. Project ドロップダウンリストから openshift-storage を選択します。

   各コンポーネントについて予想される Pod 数や、これがノード数によってどのように異なるかについての詳細は、表3.1「OpenShift Container Storage クラスターに対応する Pod」 を参照してください。

   注記

   OpenShift Container Storage のクラスター全体でのデフォルトノードセレクターを上書きする必要がある場合は、コマンドラインインターフェイスで以下の手順を実行できます。

   1. openshift-storage namespace の空のノードセレクターを指定します。

      $ oc annotate namespace openshift-storage openshift.io/node-selector=

   2. DaemonSets によって生成される元の Pod を削除します。

      oc delete pod -l app=csi-cephfsplugin -n openshift-storage
      oc delete pod -l app=csi-rbdplugin -n openshift-storage

3. Running および Completed タブをクリックして、以下の Pod が実行中および完了状態にあることを確認します。

   表3.1 OpenShift Container Storage クラスターに対応する Pod

   コンポーネント	対応する Pod
   OpenShift Container Storage Operator	ocs-operator-* (任意のワーカーノードに 1 Pod)
   Rook-ceph Operator	rook-ceph-operator-* (任意のワーカーノードに 1 Pod)
   MON	rook-ceph-mon-* (ストレージノードに分散する 3 Pod)
   MGR	rook-ceph-mgr-* (任意のストレージノードに 1 Pod)
   MDS	rook-ceph-mds-ocs-storagecluster-cephfilesystem-* (ストレージノードに分散する 2 Pod)
   RGW	rook-ceph-rgw-ocs-storagecluster-cephobjectstore-* (ストレージノードに分散する 2 Pod)
   CSI	cephfs csi-cephfsplugin-* (各ワーカーノードに 1 Pod) csi-cephfsplugin-provisioner-* (ストレージノードに分散する 2 Pod) rbd csi-rbdplugin-* (各ワーカーノードに 1 Pod) csi-rbdplugin-provisioner-* (ストレージノードに分散する 2 Pod)
   rook-ceph-drain-canary	rook-ceph-drain-canary-* (各ストレージノードに 1 Pod)
   rook-ceph-crashcollector	rook-ceph-crashcollector-* (各ストレージノードに 1 Pod)
   OSD	rook-ceph-osd-* (各デバイス用に 1 Pod) rook-ceph-osd-prepare-ocs-deviceset-* (各デバイス用に 1 Pod)

1. OpenShift Container Storage を使用しているボリュームスナップショットを削除します。

   1. すべての namespace からボリュームスナップショットを一覧表示します。

      $ oc get volumesnapshot --all-namespaces

   2. 直前のコマンドの出力から、OpenShift Container Storage を使用しているボリュームスナップショットを特定し、削除します。

      $ oc delete volumesnapshot <VOLUME-SNAPSHOT-NAME> -n <NAMESPACE>

2. OpenShift Container Storage を使用している PVC を削除します。

   デフォルトのアンインストールモード (graceful) では、アンインストーラーは OpenShift Container Storage を使用するすべての PVC が削除されるまで待機します。

   PVC を事前に削除せずに Storage Cluster を削除する場合は、アンインストールモードのアノテーションを forced に設定し、この手順を省略できます。これを実行すると、孤立した PVC がシステムに作成されます。

   1. OpenShift Container Storage を使用して、OpenShift Container Platform モニターリングスタック PVC を削除します。

      「OpenShift Container Storage からのモニターリングスタックの削除」 を参照

   2. OpenShift Container Storage を使用して、OpenShift Container Platform レジストリー PVC を削除します。

      「OpenShift Container Storage からの OpenShift Container Platform レジストリーの削除」 を参照

   3. OpenShift Container Storage を使用して、OpenShift Container Platform ロギング PVC を削除します。

      「OpenShift Container Storage からのクラスターロギング Operator の削除」 を参照

   4. OpenShift Container Storage を使用してプロビジョニングした他の PVC を削除します。

      • 以下に、OpenShift Container Storage を使用してプロビジョニングされる PVC を特定するサンプルスクリプトを示します。このスクリプトは、OpenShift Container Storage によって内部で使用される PVC を無視します。

        #!/bin/bash
        
        RBD_PROVISIONER="openshift-storage.rbd.csi.ceph.com"
        CEPHFS_PROVISIONER="openshift-storage.cephfs.csi.ceph.com"
        NOOBAA_PROVISIONER="openshift-storage.noobaa.io/obc"
        RGW_PROVISIONER="openshift-storage.ceph.rook.io/bucket"
        
        NOOBAA_DB_PVC="noobaa-db"
        NOOBAA_BACKINGSTORE_PVC="noobaa-default-backing-store-noobaa-pvc"
        
        # Find all the OCS StorageClasses
        OCS_STORAGECLASSES=$(oc get storageclasses | grep -e "$RBD_PROVISIONER" -e "$CEPHFS_PROVISIONER" -e "$NOOBAA_PROVISIONER" -e "$RGW_PROVISIONER" | awk '{print $1}')
        
        # List PVCs in each of the StorageClasses
        for SC in $OCS_STORAGECLASSES
        do
                echo "======================================================================"
                echo "$SC StorageClass PVCs"
                echo "======================================================================"
                oc get pvc  --all-namespaces --no-headers 2>/dev/null | grep $SC | grep -v -e "$NOOBAA_DB_PVC" -e "$NOOBAA_BACKINGSTORE_PVC"
                echo
        done

        注記

        クラウドプラットフォームの RGW_PROVISIONER を省略します。

      • PVC を削除します。

        $ oc delete pvc <pvc name> -n <project-name>

        注記

        クラスターに作成されているカスタムバッキングストア、バケットクラスなどを削除していることを確認します。

3. Storage Cluster オブジェクトを削除し、関連付けられたリソースが削除されるのを待機します。

   $ oc delete -n openshift-storage storagecluster --all --wait=true

4. uninstall.ocs.openshift.io/cleanup-policy が delete (default) に設定されている場合にクリーンアップ Pod の有無を確認し、それらのステータスが Completed していることを確認します。

   $ oc get pods -n openshift-storage | grep -i cleanup
   NAME                                READY   STATUS      RESTARTS   AGE
   cluster-cleanup-job-<xx>        	0/1     Completed   0          8m35s
   cluster-cleanup-job-<yy>     		0/1     Completed   0          8m35s
   cluster-cleanup-job-<zz>     		0/1     Completed   0          8m35s

5. /var/lib/rook ディレクトリーが空であることを確認します。このディレクトリーは空になるのは、uninstall.ocs.openshift.io/cleanup-policy アノテーションが delete (デフォルト) に設定されている場合に限られます。

   $ for i in $(oc get node -l cluster.ocs.openshift.io/openshift-storage= -o jsonpath='{ .items[*].metadata.name }'); do oc debug node/${i} -- chroot /host  ls -l /var/lib/rook; done

6. 暗号化がインストール時に有効にされている場合は、すべての OpenShift Container Storage ノードの OSD デバイスから dm-crypt で管理される device-mapper マッピングを削除します。

   1. デバッグ Pod を作成し、ストレージノードのホストに対して chroot を作成します。

      $ oc debug node <node name>
      $ chroot /host

   2. デバイス名を取得し、OpenShift Container Storage デバイスについてメモします。

      $ dmsetup ls
      ocs-deviceset-0-data-0-57snx-block-dmcrypt (253:1)

   3. マップ済みデバイスを削除します。

      $ cryptsetup luksClose --debug --verbose ocs-deviceset-0-data-0-57snx-block-dmcrypt

      権限が十分にないため、コマンドがスタックした場合には、以下のコマンドを実行します。

      • CTRL+Z を押して上記のコマンドを終了します。

      • スタックした cryptsetup プロセスの PID を検索します。

        $ ps

        出力例:

        PID     TTY    TIME     CMD
        778825   ?     00:00:00 cryptsetup

        PID 番号を書き留めて強制終了します。この例では、PID は 778825 です。

      • kill コマンドを使用してプロセスを終了します。

        $ kill -9 <PID>

      • デバイス名が削除されていることを確認します。

        $ dmsetup ls

7. namespace を削除し、削除が完了するまで待機します。openshift-storage がアクティブなプロジェクトである場合は、別のプロジェクトに切り替える必要があります。

   以下に例を示します。

   $ oc project default
   $ oc delete project openshift-storage --wait=true --timeout=5m

   以下のコマンドが NotFound エラーを返すと、プロジェクトが削除されます。

   $ oc get project openshift-storage

   注記

   OpenShift Container Storage のアンインストール時に、namespace が完全に削除されず、Terminating 状態のままである場合は、Troubleshooting and deleting remaining resources during Uninstall の記事に記載の手順を実行して namespace の終了をブロックしているオブジェクトを特定します。

8. ローカルストレージデバイスを使用して OpenShift Container Storage をデプロイした場合には、ローカルのストレージ Operator 設定を削除します。ローカルストレージ Operator の設定の削除 を参照してください。

9. ストレージノードのラベルを解除します。

   $ oc label nodes  --all cluster.ocs.openshift.io/openshift-storage-
   $ oc label nodes  --all topology.rook.io/rack-

10. ノードにテイントのマークが付けられている場合に OpenShift Container Storage テイントを削除します。

    $ oc adm taint nodes --all node.ocs.openshift.io/storage-

11. OpenShift Container Storage を使用してプロビジョニングした PV がすべて削除されていることを確認します。Released 状態のままの PV がある場合は、これを削除します。

    $ oc get pv
    $ oc delete pv <pv name>

12. Multicloud Object Gateway storageclass を削除します。

    $ oc delete storageclass openshift-storage.noobaa.io --wait=true --timeout=5m

13. CustomResourceDefinitions を削除します。

    $ oc delete crd backingstores.noobaa.io bucketclasses.noobaa.io cephblockpools.ceph.rook.io cephclusters.ceph.rook.io cephfilesystems.ceph.rook.io cephnfses.ceph.rook.io cephobjectstores.ceph.rook.io cephobjectstoreusers.ceph.rook.io noobaas.noobaa.io ocsinitializations.ocs.openshift.io  storageclusterinitializations.ocs.openshift.io storageclusters.ocs.openshift.io cephclients.ceph.rook.io cephobjectrealms.ceph.rook.io cephobjectzonegroups.ceph.rook.io cephobjectzones.ceph.rook.io cephrbdmirrors.ceph.rook.io --wait=true --timeout=5m

14. OpenShift Container Platform Web コンソールで、OpenShift Container Storage が完全にアンインストールされていることを確認するには、以下を実行します。

    1. Home → Overview をクリックし、ダッシュボードにアクセスします。
    2. Persistent Storage タブが Cluster タブの横に表示されなくなることを確認します。

手順

1. openshift-monitoring namespace で現在実行されている Pod および PVC を一覧表示します。

   $ oc get pod,pvc -n openshift-monitoring
   NAME                           READY   STATUS    RESTARTS   AGE
   pod/alertmanager-main-0         3/3     Running   0          8d
   pod/alertmanager-main-1         3/3     Running   0          8d
   pod/alertmanager-main-2         3/3     Running   0          8d
   pod/cluster-monitoring-
   operator-84457656d-pkrxm        1/1     Running   0          8d
   pod/grafana-79ccf6689f-2ll28    2/2     Running   0          8d
   pod/kube-state-metrics-
   7d86fb966-rvd9w                 3/3     Running   0          8d
   pod/node-exporter-25894         2/2     Running   0          8d
   pod/node-exporter-4dsd7         2/2     Running   0          8d
   pod/node-exporter-6p4zc         2/2     Running   0          8d
   pod/node-exporter-jbjvg         2/2     Running   0          8d
   pod/node-exporter-jj4t5         2/2     Running   0          6d18h
   pod/node-exporter-k856s         2/2     Running   0          6d18h
   pod/node-exporter-rf8gn         2/2     Running   0          8d
   pod/node-exporter-rmb5m         2/2     Running   0          6d18h
   pod/node-exporter-zj7kx         2/2     Running   0          8d
   pod/openshift-state-metrics-
   59dbd4f654-4clng                3/3     Running   0          8d
   pod/prometheus-adapter-
   5df5865596-k8dzn                1/1     Running   0          7d23h
   pod/prometheus-adapter-
   5df5865596-n2gj9                1/1     Running   0          7d23h
   pod/prometheus-k8s-0            6/6     Running   1          8d
   pod/prometheus-k8s-1            6/6     Running   1          8d
   pod/prometheus-operator-
   55cfb858c9-c4zd9                1/1     Running   0          6d21h
   pod/telemeter-client-
   78fc8fc97d-2rgfp                3/3     Running   0          8d
   
   NAME                                                              STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS                  AGE
   persistentvolumeclaim/my-alertmanager-claim-alertmanager-main-0   Bound    pvc-0d519c4f-15a5-11ea-baa0-026d231574aa   40Gi       RWO            ocs-storagecluster-ceph-rbd   8d
   persistentvolumeclaim/my-alertmanager-claim-alertmanager-main-1   Bound    pvc-0d5a9825-15a5-11ea-baa0-026d231574aa   40Gi       RWO            ocs-storagecluster-ceph-rbd   8d
   persistentvolumeclaim/my-alertmanager-claim-alertmanager-main-2   Bound    pvc-0d6413dc-15a5-11ea-baa0-026d231574aa   40Gi       RWO            ocs-storagecluster-ceph-rbd   8d
   persistentvolumeclaim/my-prometheus-claim-prometheus-k8s-0        Bound    pvc-0b7c19b0-15a5-11ea-baa0-026d231574aa   40Gi       RWO            ocs-storagecluster-ceph-rbd   8d
   persistentvolumeclaim/my-prometheus-claim-prometheus-k8s-1        Bound    pvc-0b8aed3f-15a5-11ea-baa0-026d231574aa   40Gi       RWO            ocs-storagecluster-ceph-rbd   8d

2. モニタリング configmap を編集します。

   $ oc -n openshift-monitoring edit configmap cluster-monitoring-config

3. 以下の例が示すように、OpenShift Container Storage ストレージクラスを参照する config セクションを削除し、これを保存します。

   編集前

   . . . apiVersion: v1 data: config.yaml: | alertmanagerMain: volumeClaimTemplate: metadata: name: my-alertmanager-claim spec: resources: requests: storage: 40Gi storageClassName: ocs-storagecluster-ceph-rbd prometheusK8s: volumeClaimTemplate: metadata: name: my-prometheus-claim spec: resources: requests: storage: 40Gi storageClassName: ocs-storagecluster-ceph-rbd kind: ConfigMap metadata: creationTimestamp: "2019-12-02T07:47:29Z" name: cluster-monitoring-config namespace: openshift-monitoring resourceVersion: "22110" selfLink: /api/v1/namespaces/openshift-monitoring/configmaps/cluster-monitoring-config uid: fd6d988b-14d7-11ea-84ff-066035b9efa8 . . .

   編集後

   . . . apiVersion: v1 data: config.yaml: | kind: ConfigMap metadata: creationTimestamp: "2019-11-21T13:07:05Z" name: cluster-monitoring-config namespace: openshift-monitoring resourceVersion: "404352" selfLink: /api/v1/namespaces/openshift-monitoring/configmaps/cluster-monitoring-config uid: d12c796a-0c5f-11ea-9832-063cd735b81c . . .

   この例では、alertmanagerMain および prometheusK8s モニターリングコンポーネントは OpenShift Container Storage PVC を使用しています。

4. 関連する PVC を削除します。ストレージクラスを使用するすべての PVC を削除してください。

   $ oc delete -n openshift-monitoring pvc <pvc-name> --wait=true --timeout=5m

手順

1. configs.imageregistry.operator.openshift.io オブジェクトを編集し、storage セクションのコンテンツを削除します。

   $ oc edit configs.imageregistry.operator.openshift.io

   編集前

   . . . storage: pvc: claim: registry-cephfs-rwx-pvc . . .

   編集後

   . . . storage: emptyDir: {} . . .

   この例では、PVC は registry-cephfs-rwx-pvc と呼ばれ、これは安全に削除できます。

2. PVC を削除します。

   $ oc delete pvc <pvc-name> -n openshift-image-registry --wait=true --timeout=5m

手順

1. namespace の ClusterLogging インスタンスを削除します。

   $ oc delete clusterlogging instance -n openshift-logging --wait=true --timeout=5m

   openshift-logging namespace の PVC は安全に削除できます。

2. PVC を削除します。

   $ oc delete pvc <pvc-name> -n openshift-logging --wait=true --timeout=5m

手順

1. OpenShift Container Storage がインストールされている OpenShift Container Platform ノードにストレージ容量を追加するには、以下を実行する必要があります。

   1. ワーカーノードごとに少なくとも 1 つのデバイスを追加するため、利用可能なデバイスを見つけます。各デプロイメントガイドで説明されている利用可能なストレージデバイスを検索する手順に従ってください。

      注記

      このプロセスを、ストレージを追加する既存ノードのすべて (3 ノード以上) に対して実行するようにしてください。

   2. ノード内で lsblk を実行して、新規ディスクがノードに追加されたかどうかを確認します。

      $ oc debug node/worker-0
      $lsblk

      出力例:

      Creating debug namespace/openshift-debug-node-ggrqr ...
      Starting pod/worker-2-debug ...
      To use host binaries, run `chroot /host`
      Pod IP: 192.168.88.23
      If you don't see a command prompt, try pressing enter.
      sh-4.4# chroot /host
      sh-4.4# lsblk
      NAME                         MAJ:MIN RM  SIZE RO TYPE MOUNTPOINT
      loop0                          7:0    0  256G  0 loop
      vda                          252:0    0   40G  0 disk
      |-vda1                       252:1    0    4M  0 part
      |-vda2                       252:2    0  384M  0 part /boot
      `-vda4                       252:4    0 39.6G  0 part
        `-coreos-luks-root-nocrypt 253:0    0 39.6G  0 dm   /sysroot
      vdb                          252:16   0  512B  1 disk
      vdc                          252:32   0  256G  0 disk
      vdd                          252:48   0  256G  0 disk
      sh-4.4#
      sh-4.4#
      Removing debug pod ...
      Removing debug namespace/openshift-debug-node-ggrqr ...

   3. 新規に追加されたディスクは LocalVolumeSet によって自動的に検出されます。

2. 新規に作成された PV を localVolumeSet CR で使用される storageclass 名前で表示します。

   $ oc get pv | grep localblock | grep Available

   出力例:

   local-pv-290020c2   256Gi   RWO     Delete  Available   localblock      2m35s
   local-pv-7702952c   256Gi   RWO     Delete  Available   localblock      2m27s
   local-pv-a7a567d    256Gi   RWO     Delete  Available   localblock      2m22s
   ...

   新しい OSD に使用されるサイズと同じサイズの 3 つの PV が利用可能です。

3. OpenShift Web コンソールに移動します。
4. 左側のナビゲーションバーの Operators をクリックします。
5. Installed Operators を選択します。

6. ウィンドウで、OpenShift Container Storage Operator をクリックします。

   

7. 上部のナビゲーションバーで、右にスクロールし、Storage Cluster タブをクリックします。

   
8. 表示されるリストには 1 つの項目のみが含まれます。右端の (⋮) をクリックして、オプションメニューを拡張します。

9. オプションメニューから Add Capacity を選択します。

   

   このダイアログボックスで、Storage Class 名を localVolumeset CR で使用される名前に設定します。表示される利用可能な容量は、ストレージクラスで利用可能なローカルディスクをベースとしています。

10. 設定が終了したら、Add をクリックします。ストレージクラスターが Ready 状態になるまでに数分待機する必要がある場合があります。

11. 3 つの新規 OSD およびそれらの対応する新規 PVC が作成されていることを確認します。

    $ oc get -n openshift-storage pods -l app=rook-ceph-osd

    出力例:

    NAME                               READY   STATUS    RESTARTS   AGE
    rook-ceph-osd-0-6f8655ff7b-gj226   1/1     Running   0          1h
    rook-ceph-osd-1-6c66d77f65-cfgfq   1/1     Running   0          1h
    rook-ceph-osd-2-69f6b4c597-mtsdv   1/1     Running   0          1h
    rook-ceph-osd-3-c784bdbd4-w4cmj    1/1     Running   0          5m
    rook-ceph-osd-4-6d99845f5b-k7f8n   1/1     Running   0          5m
    rook-ceph-osd-5-fdd9897c9-r9mgb    1/1     Running   0          5m

    上記の例では、osd-3、osd-4、および osd-5 は、新たに OpenShift Container Storage クラスターに追加される Pod です。

    $ oc get pvc -n openshift-storage |grep localblock

    出力例:

    ocs-deviceset-localblock-0-data-0-sfsgf   Bound    local-pv-8137c873      256Gi     RWO    localblock  1h
    ocs-deviceset-localblock-0-data-1-qhs9m   Bound    local-pv-290020c2      256Gi     RWO    localblock  10m
    ocs-deviceset-localblock-1-data-0-499r2   Bound    local-pv-ec7f2b80      256Gi     RWO    localblock  1h
    ocs-deviceset-localblock-1-data-1-p9rth   Bound    local-pv-a7a567d       256Gi     RWO    localblock  10m
    ocs-deviceset-localblock-2-data-0-8pzjr   Bound    local-pv-1e31f771      256Gi     RWO    localblock  1h
    ocs-deviceset-localblock-2-data-1-7zwwn   Bound    local-pv-7702952c      256Gi     RWO    localblock  10m

    上記の例では、3 つの新規 PVC が作成されています。

検証手順

1. Overview → Persistent Storage タブに移動してから、Capacity breakdown カードをチェックします。

   

   容量は選択に応じて増大することに注意してください。

   重要

   OpenShift Container Storage では、OSD またはノードの縮小によるクラスターの削減はサポートしていません。

手順

1. 障害が発生したノードのラベルを確認し、ラックラベルをメモします。

   $ oc get nodes --show-labels | grep failed-node-name

2. 障害のあるノードで実行されている mon(ある場合) およびオブジェクトストレージデバイス (OSD) Pod を特定します。

   $ oc get pods -n openshift-storage -o wide | grep -i failed-node-name

3. 先の手順で特定された Pod のデプロイメントをスケールダウンします。

   以下に例を示します。

   $ oc scale deployment rook-ceph-mon-a --replicas=0 -n openshift-storage
   $ oc scale deployment rook-ceph-osd-1 --replicas=0 -n openshift-storage
   $ oc scale deployment --selector=app=rook-ceph-crashcollector,node_name=failed-node-name  --replicas=0 -n openshift-storage

4. 障害のあるノードにマークを付けて、これがスケジュールされないようにします。

   $ oc adm cordon failed-node-name

5. 既存の機能から障害のあるノードをドレイン (解放) します。

   $ oc adm drain failed-node-name --force --delete-local-data --ignore-daemonsets

   注記

   障害が発生したノードがネットワークに接続されていない場合には、以下のコマンドを使用してそのノードで実行されている Pod を削除します。

   $ oc get pods -A -o wide | grep -i failed-node-name |  awk '{if ($4 == "Terminating") system ("oc -n " $1 " delete pods " $2  " --grace-period=0 " " --force ")}'
   $ oc adm drain failed-node-name --force --delete-local-data --ignore-daemonsets

6. 障害のあるノードを削除します。

   $ oc delete node failed-node-name

7. 必要なインフラストラクチャーで新規の IBM Power マシンを取得します。クラスターの IBM Power Systems へのインストール について参照してください。
8. 新規 IBM Power Systems マシンを使用して新規 OpenShift Container Platform Systems ノードを作成します。

9. Pending 状態の OpenShift Container Storage に関連する証明書署名要求 (CSR) の有無を確認します。

   $ oc get csr

10. 新規ノードに必要なすべての OpenShift Container Storage CSR を承認します。

    $ oc adm certificate approve certificate-name

11. OpenShift Web コンソールで Compute → Nodes をクリックし、新規ノードが Ready 状態にあることを確認します。

12. 優先するインターフェイスを使用して、OpenShift Container Storage ラベルを新規ノードに適用します。

    • OpenShift Web コンソールの使用

      1. 新規ノードについて、Action Menu (⋮) → Edit Labels をクリックします。
      2. cluster.ocs.openshift.io/openshift-storage を追加し、Save をクリックします。

    • コマンドラインインターフェイスの使用

      1. 以下のコマンドを実行して、OpenS+hift Container Storage ラベルを新規ノードに適用します。

         $ oc label node new-node-name cluster.ocs.openshift.io/openshift-storage=""

13. これらのワーカーノードで利用可能なローカルストレージデバイスを OpenShift Container Storage StorageCluster に追加します。

    1. 編集する localVolumeSet を決定します。

       以下のコマンドの local-storage-project は、ローカルストレージプロジェクトの名前に置き換えます。デフォルトのプロジェクト名は、OpenShift Container Storage 4.6 以降の openshift-local-storage です。以前のバージョンでは、デフォルトで local-storage を使用します。

       # oc get -n local-storage-project localvolumeset
       NAME           AGE
       localblock    25h

    2. localVolumeSet 定義を更新して、新規ノードを追加し、障害が発生したノードを削除します。

       # oc edit -n local-storage-project localvolumeset localblock
       [...]
           nodeSelector:
           nodeSelectorTerms:
             - matchExpressions:
                 - key: kubernetes.io/hostname
                   operator: In
                   values:
                   #- worker-0
                   - worker-1
                   - worker-2
                   - worker-3
       [...]

       エディターを終了する前に必ず保存します。

14. 新規 localblock PV が利用可能であることを確認します。

    $ oc get pv | grep localblock
    NAME              CAPACITY   ACCESSMODES RECLAIMPOLICY STATUS     CLAIM             STORAGECLASS                 AGE
    local-pv-3e8964d3    500Gi    RWO         Delete       Bound      ocs-deviceset-localblock-2-data-0-mdbg9  localblock     25h
    local-pv-414755e0    500Gi    RWO         Delete       Bound      ocs-deviceset-localblock-1-data-0-4cslf  localblock     25h
    local-pv-b481410   500Gi     RWO        Delete       Available                                            localblock     3m24s
    local-pv-5c9b8982    500Gi    RWO         Delete       Bound      ocs-deviceset-localblock-0-data-0-g2mmc  localblock     25h

15. openshift-storage プロジェクトを変更します。

    $ oc project openshift-storage

16. 失敗した OSD をクラスターから削除します。必要に応じて、複数の障害のある OSD を指定することができます。

    1. PVC を特定します。後に、その特定の PVC に関連付けられた PV を削除する必要があるためです。

       # osd_id_to_remove=1
       # oc get -n openshift-storage -o yaml deployment rook-ceph-osd-${osd_id_to_remove} | grep ceph.rook.io/pvc

       ここで、osd_id_to_remove は rook-ceph-osd 接頭辞の直後にくる Pod 名の整数です。この例では、デプロイメント名は rook-ceph-osd-1 です。

       出力例:

       ceph.rook.io/pvc: ocs-deviceset-localblock-0-data-0-g2mmc
           ceph.rook.io/pvc: ocs-deviceset-localblock-0-data-0-g2mmc

       この例では、PVC 名は ocs-deviceset-localblock-0-data-0-g2mmc です。

    2. 失敗した OSD をクラスターから削除します。

       # oc process -n openshift-storage ocs-osd-removal -p FAILED_OSD_IDS=${osd_id_to_remove},{osd_id_to_remove2} | oc create -f -

17. ocs-osd-removal Pod のステータスをチェックして、OSD が正常に削除されたことを確認します。

    Completed のステータスで、OSD の削除ジョブが正常に完了したことを確認します。

    # oc get pod -l job-name=ocs-osd-removal-${osd_id_to_remove} -n openshift-storage

    注記

    ocs-osd-removal が失敗し、Pod が予想される Completed の状態にない場合、追加のデバッグのために Pod ログを確認します。以下に例を示します。

    # oc logs -l job-name=ocs-osd-removal-${osd_id_to_remove} -n openshift-storage --tail=-1

18. 障害のあるノードに関連付けられた PV を削除します。

    1. PVC に関連付けられた PV を特定します。

       # oc get -n openshift-storage pvc ocs-deviceset-<x>-<y>-<pvc-suffix>

       ここで、x、y、および pvc-suffix は、直前の手順で特定された DeviceSet の値です。

       以下に例を示します。

       # oc get -n openshift-storage pvc ocs-deviceset-localblock-0-data-0-g2mmc
       NAME                      STATUS        VOLUME        CAPACITY   ACCESS MODES   STORAGECLASS   AGE
       ocs-deviceset-localblock-0-data-0-g2mmc   Bound   local-pv-5c9b8982   500Gi      RWO            localblock     24h

       この例では、関連付けられた PV は local-pv-5c9b8982 です。

    2. PV を削除します。

       # oc delete pv <persistent-volume>

       以下に例を示します。

       # oc delete pv local-pv-5c9b8982
       persistentvolume "local-pv-5c9b8982" deleted

19. crashcollector Pod デプロイメントを削除します。

    $ oc delete deployment --selector=app=rook-ceph-crashcollector,node_name=failed-node-name -n openshift-storage

20. rook-ceph-operator を再起動して Operator の調整を強制的に実行して新規 OSD をデプロイします。

    # oc get -n openshift-storage pod -l app=rook-ceph-operator

    出力例:

    NAME                                  READY   STATUS    RESTARTS   AGE
    rook-ceph-operator-77758ddc74-dlwn2   1/1     Running   0          1d20h

    1. rook-ceph-operator を削除します。

       # oc delete -n openshift-storage pod rook-ceph-operator-77758ddc74-dlwn2

       出力例:

       pod "rook-ceph-operator-77758ddc74-dlwn2" deleted

21. rook-ceph-operator Pod が再起動していることを確認します。

    # oc get -n openshift-storage pod -l app=rook-ceph-operator

    出力例:

    NAME                                  READY   STATUS    RESTARTS   AGE
    rook-ceph-operator-77758ddc74-wqf25   1/1     Running   0          66s

    新規 OSD および mon の作成には、Operator が再起動するまでに数分かかる場合があります。

22. ocs-osd-removal ジョブを削除します。

    # oc delete job ocs-osd-removal-${osd_id_to_remove}

    以下に例を示します。

    # oc delete job ocs-osd-removal-1
    job.batch "ocs-osd-removal-1" deleted

手順

1. 置き換える必要がある OSD と、その OSD がスケジュールされている OpenShift Container Platform ノードを特定します。

   # oc get -n openshift-storage pods -l app=rook-ceph-osd -o wide

   出力例:

   rook-ceph-osd-0-86bf8cdc8-4nb5t   0/1     crashLoopBackOff   0   24h   10.129.2.26     worker-0     <none>       <none>
   rook-ceph-osd-1-7c99657cfb-jdzvz   1/1     Running   0          24h     10.128.2.46     worker-1     <none>       <none>
   rook-ceph-osd-2-5f9f6dfb5b-2mnw9    1/1     Running   0          24h     10.131.0.33    worker-2     <none>       <none>

   この例では、rook-ceph-osd-0-86bf8cdc8-4nb5t を置き換える必要があり、worker-0 は OSD がスケジュールされる RHOCP ノードです。

   注記

   置き換える OSD が正常である場合、Pod のステータスは Running になります。

2. 置き換えられる OSD の OSD デプロイメントをスケールダウンします。

   # osd_id_to_remove=0
   # oc scale -n openshift-storage deployment rook-ceph-osd-${osd_id_to_remove} --replicas=0

   ここで、osd_id_to_remove は rook-ceph-osd 接頭辞の直後にくる Pod 名の整数です。この例では、デプロイメント名は rook-ceph-osd-0 です。

   出力例:

   deployment.apps/rook-ceph-osd-0 scaled

3. rook-ceph-osd Pod が停止していることを確認します。

   # oc get -n openshift-storage pods -l ceph-osd-id=${osd_id_to_remove}

   出力例:

   No resources found in openshift-storage namespace.

   注記

   rook-ceph-osd Pod が terminating 状態にある場合は、force オプションを使用して Pod を削除します。

   # oc delete pod rook-ceph-osd-0-86bf8cdc8-4nb5t --grace-period=0 --force

   出力例:

   warning: Immediate deletion does not wait for confirmation that the running resource has been terminated. The resource may continue to run on the cluster indefinitely.
     pod "rook-ceph-osd-0-86bf8cdc8-4nb5t" force deleted

4. 新規 OSD を追加できるようにクラスターから古い OSD を削除します。

   1. 置き換える OSD に関連付けられた DeviceSet を特定します。

      # oc get -n openshift-storage -o yaml deployment rook-ceph-osd-${osd_id_to_remove} | grep ceph.rook.io/pvc

      出力例:

      ceph.rook.io/pvc: ocs-deviceset-localblock-0-data-0-64xjl
          ceph.rook.io/pvc: ocs-deviceset-localblock-0-data-0-64xjl

      この例では、PVC 名は ocs-deviceset-localblock-0-data-0-64xjl です。

   2. クラスターから以前の OSD を削除します。

      # oc process -n openshift-storage ocs-osd-removal -p FAILED_OSD_IDS=${osd_id_to_remove} | oc -n openshift-storage create -f -

      出力例:

      job.batch/ocs-osd-removal-0 created

      警告

      この手順により、OSD はクラスターから完全に削除されます。osd_id_to_remove の正しい値が指定されていることを確認します。

5. ocs-osd-removal Pod のステータスをチェックして、OSD が正常に削除されたことを確認します。Completed のステータスで、OSD の削除ジョブが正常に完了したことを確認します。

   # oc get pod -l job-name=ocs-osd-removal-${osd_id_to_remove} -n openshift-storage

   注記

   ocs-osd-removal が失敗し、Pod が予想される Completed の状態にない場合、追加のデバッグのために Pod ログを確認します。以下に例を示します。

   # oc logs ${osd_id_to_remove} -n openshift-storage --tail=-1

6. 置き換える OSD に関連付けられた Persistent Volume Claim (永続ボリューム要求、PVC) リソースを削除します。

   1. PVC に関連付けられた PV を特定します。

      # oc get -n openshift-storage pvc ocs-deviceset-<x>-<y>-<pvc-suffix>

      ここで、x、y、および pvc-suffix は、ステップ 4(a) で特定された DeviceSet の値です。

      出力例:

      NAME                      STATUS        VOLUME        CAPACITY   ACCESS MODES   STORAGECLASS   AGE
      ocs-deviceset-localblock-0-data-0-64xjl   Bound    local-pv-8137c873    256Gi      RWO     localblock     24h

      この例では、関連付けられた PV は local-pv-8137c873 です。

   2. 置き換えるデバイスの名前を特定します。

      # oc get pv local-pv-<pv-suffix> -o yaml | grep path

      ここで、pv-suffix は、前のステップで特定された PV 名の値です。

      出力例:

      path: /mnt/local-storage/localblock/vdc

      この例では、デバイス名は vdc です。

   3. 置き換える OSD に関連付けられた prepare-pod を特定します。

      # oc describe -n openshift-storage pvc ocs-deviceset-<x>-<y>-<pvc-suffix> | grep Mounted

      ここで、x、y、および pvc-suffix は、直前の手順で特定された DeviceSet の値です。

      出力例:

      Mounted By:    rook-ceph-osd-prepare-ocs-deviceset-localblock-0-data-0-64knzkc

      この例では、prepare-pod の名前は rook-ceph-osd-prepare-ocs-deviceset-localblock-0-data-0-64knzkc です。

   4. 関連付けられた PVC を削除する前に osd-prepare Pod を削除します。

      # oc delete -n openshift-storage pod rook-ceph-osd-prepare-ocs-deviceset-<x>-<y>-<pvc-suffix>-<pod-suffix>

      ここで、x、y、pvc-suffix、および pod-suffix は、直前の手順で特定された osd-prepare Pod 名の値です。

      出力例:

      pod "rook-ceph-osd-prepare-ocs-deviceset-localblock-0-data-0-64knzkc" deleted

   5. 置き換える OSD に関連付けられた PVC を削除します。

      # oc delete -n openshift-storage pvc ocs-deviceset-<x>-<y>-<pvc-suffix>

      ここで、x、y、および pvc-suffix は、直前の手順で特定された DeviceSet の値です。

      出力例:

      persistentvolumeclaim "ocs-deviceset-localblock-0-data-0-64xjl" deleted

7. 古いデバイスを置き換え、新規デバイスを使用して新規の OpenShift Container Platform PV を作成します。

   1. 置き換えるデバイスで OpenShift Container Platform ノードにログインします。この例では、OpenShift Container Platform ノードは worker-0 です。

      # oc debug node/worker-0

      出力例:

      Starting pod/worker-0-debug ...
      To use host binaries, run `chroot /host`
      Pod IP: 192.168.88.21
      If you don't see a command prompt, try pressing enter.
      # chroot /host

   2. 先に特定したデバイス名 vdc を使用して置き換える /dev/disk の内容を記録します。

      # ls -alh /mnt/local-storage/localblock

      出力例:

      total 0
      drwxr-xr-x. 2 root root 17 Nov  18 15:23 .
      drwxr-xr-x. 3 root root 24 Nov  18 15:23 ..
      lrwxrwxrwx. 1 root root  8 Nov  18 15:23 vdc -> /dev/vdc

   3. LocalVolumeSet CR の名前を見つけ、置き換えるデバイス /dev/disk を削除またはコメントアウトします。

      # oc get -n openshift-local-storage localvolumeset
      NAME          AGE
      localblock   25h

8. 置き換えるデバイスで OpenShift Container Platform ノードにログインし、古い symlink を削除します。

   # oc debug node/worker-0

   出力例:

   Starting pod/worker-0-debug ...
   To use host binaries, run `chroot /host`
   Pod IP: 192.168.88.21
   If you don't see a command prompt, try pressing enter.
   # chroot /host

   1. 置き換えるデバイス名の古い symlink を特定します。この例では、デバイス名は vdc です。

      # ls -alh /mnt/local-storage/localblock

      出力例:

      total 0
      drwxr-xr-x. 2 root root 17 Nov  18 15:23 .
      drwxr-xr-x. 3 root root 24 Nov  18 15:23 ..
      lrwxrwxrwx. 1 root root  8 Nov  18 15:23 vdc -> /dev/vdc

   2. symlink を削除します。

      # rm /mnt/local-storage/localblock/vdc

   3. symlink が削除されていることを確認します。

      # ls -alh /mnt/local-storage/localblock

      出力例:

      total 0
      drwxr-xr-x. 2 root root 6 Nov 18 17:11 .
      drwxr-xr-x. 3 root root 24 Nov 18 15:23 ..

      重要

      OpenShift Container Storage 4.5 以降の新規デプロイメントでは、LVM が使用されていないため、ceph-volume raw モードが動作します。そのため、追加の検証は不要であり、次のステップに進むことができます。

9. 先の手順で特定された、置き換えるデバイスに関連付けられた PV を削除します。この例では、PV 名は local-pv-8137c873 です。

   # oc delete pv local-pv-8137c873

   出力例:

   persistentvolume "local-pv-8137c873" deleted

10. デバイスを新しいデバイスに置き換えます。

11. 正しい OpenShift Container Platform ノードにログインし、新規ドライブのデバイス名を特定します。同じデバイスを使用しない限り、デバイス名は変更する必要があります。

    # lsblk

    出力例:

    NAME                         MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
    vda                          252:0    0   40G  0 disk
    |-vda1                       252:1    0    4M  0 part
    |-vda2                       252:2    0  384M  0 part /boot
    `-vda4                       252:4    0 39.6G  0 part
      `-coreos-luks-root-nocrypt 253:0    0 39.6G  0 dm   /sysroot
    vdb                          252:16   0  512B  1 disk
    vdd                          252:32   0  256G  0 disk

    この例では、新しいデバイス名は vdd です。

12. 新しい /dev/disk が利用可能になると、localvolumeset によって自動検出されます。

13. 新規 PV が Available 状態にあり、正しいサイズであることを確認します。

    # oc get pv | grep 256Gi

    出力例:

    local-pv-1e31f771   256Gi   RWO    Delete  Bound  openshift-storage/ocs-deviceset-localblock-2-data-0-6xhkf   localblock    24h
    local-pv-ec7f2b80   256Gi   RWO    Delete  Bound  openshift-storage/ocs-deviceset-localblock-1-data-0-hr2fx   localblock    24h
    local-pv-8137c873   256Gi   RWO    Delete  Available                                                          localblock    32m

14. 新規デバイス用に新規 OSD を作成します。

    1. rook-ceph-operator を再起動して Operator の調整を強制的に実行して新規 OSD をデプロイします。

       1. rook-ceph-operator の名前を特定します。

          # oc get -n openshift-storage pod -l app=rook-ceph-operator

          出力例:

          NAME                                  READY   STATUS    RESTARTS   AGE
          rook-ceph-operator-85f6494db4-sg62v   1/1     Running   0          1d20h

       2. rook-ceph-operator を削除します。

          # oc delete -n openshift-storage pod rook-ceph-operator-85f6494db4-sg62v

          出力例:

          pod "rook-ceph-operator-85f6494db4-sg62v" deleted

          この例では、rook-ceph-operator Pod 名は rook-ceph-operator-85f6494db4-sg62v です。

       3. rook-ceph-operator Pod が再起動していることを確認します。

          # oc get -n openshift-storage pod -l app=rook-ceph-operator

          出力例:

          NAME                                  READY   STATUS    RESTARTS   AGE
          rook-ceph-operator-85f6494db4-wx9xx   1/1     Running   0          50s

          新規 OSD の作成には、Operator が再起動するまでに数分かかる場合があります。