手順

1. Operators → OperatorHub をクリックします。
2. Filter by keyword テキストボックスまたはフィルター一覧を使用して、Operator の一覧から OpenShift Container Storage を検索できます。
3. OpenShift Container Storage をクリックします。
4. OpenShift Container Storage Operator ページで、Install をクリックします。

5. Install Operator ページで、以下の必須オプションがデフォルトで選択されていることを確認します。

   1. Channel を stable-4.6として更新します。
   2. Installation Mode オプションに A specific namespace on the cluster を選択します。
   3. Installed Namespace に Operator recommended namespace openshift-storage を選択します。namespace openshift-storage が存在しない場合、これは Operator のインストール時に作成されます。
6. Enable operator recommended cluster monitoring on this namespace が選択されていることを確認します。この設定はクラスターのモニターリングに必要です。

7. 承認ストラテジーはデフォルトで Automatic に設定されます。

   図1.1 Install Operator ページ

   
8. Install をクリックします。

手順

1. OpenShift Web コンソールにログインします。
2. Operators → OperatorHub をクリックします。
3. Operator の一覧から Local Storage Operator を検索し、これをクリックします。

4. Install をクリックします。

   図1.2 Install Operator ページ

   

5. Install Operator ページで、以下のオプションを設定します。

   1. Channel を stable-4.6として更新します。
   2. Installation Mode オプションに A specific namespace on the cluster を選択します。
   3. Installed Namespace に Operator recommended namespace openshift-local-storage を選択します。
   4. Approval Strategy に Automatic を選択します。
6. Install をクリックします。
7. Local Storage Operator のステータスが Succeeded と表示されていることを確認します。

手順

1. OpenShift Container Storage ラベルの付いたワーカーノードの名前の一覧を表示し、確認します。

   $ oc get nodes -n openshift-storage

   出力例:

   NAME          STATUS   ROLES    AGE     VERSION
   bmworker01    Ready    worker   6h45m   v1.16.2
   bmworker02    Ready    worker   6h45m   v1.16.2
   bmworker03    Ready    worker   6h45m   v1.16.2

2. OpenShift Container Storage リソースに使用される各ワーカーノードにログインし、利用可能な各 raw ブロックデバイスの一意の by-id デバイス名を見つけます。

   $ oc debug node/<Nodename>

   出力例:

   $ oc debug node/bmworker01
   Starting pod/bmworker01-debug ...
   To use host binaries, run `chroot /host`
   Pod IP: 10.0.135.71
   If you don't see a command prompt, try pressing enter.
   sh-4.2# chroot /host
   sh-4.4# lsblk
   NAME                         MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
   xvda                         202:0    0   120G  0 disk
   |-xvda1                      202:1    0   384M  0 part /boot
   |-xvda2                      202:2    0   127M  0 part /boot/efi
   |-xvda3                      202:3    0     1M  0 part
   `-xvda4                      202:4    0 119.5G  0 part
     `-coreos-luks-root-nocrypt 253:0    0 119.5G  0 dm   /sysroot
   nvme0n1                      259:0    0   931G  0 disk

   この例では、bmworker01 について利用可能なローカルデバイスは nvme0n1 です。

3. 手順 2 で選択した各デバイスの一意の ID を特定します。

   sh-4.4#  ls -l /dev/disk/by-id/ | grep nvme0n1
   lrwxrwxrwx. 1 root root 13 Mar 17 16:24 nvme-INTEL_SSDPE2KX010T7_PHLF733402LM1P0GGN -> ../../nvme0n1

   上記の例では、ローカルデバイス nvme0n1 の ID は以下になります。

   nvme-INTEL_SSDPE2KX010T7_PHLF733402LM1P0GGN

4. 上記の手順を繰り返し、OpenShift Container Storage で使用されるストレージデバイスを持つその他のすべてのノードのデバイス ID を特定します。詳細は、ナレッジベースアーティクル を参照してください。

手順

1. LocalVolume カスタムリソース (CR) を使用してストレージノードにローカル永続ボリューム (PV) を作成します。

   OpenShift Container Storage ラベルをノードセレクターとして使用する LocalVolume CR local-storage-block.yaml の例:

   apiVersion: local.storage.openshift.io/v1
   kind: LocalVolume
   metadata:
     name: local-block
     namespace: local-storage
     labels:
       app: ocs-storagecluster
   spec:
     nodeSelector:
       nodeSelectorTerms:
       - matchExpressions:
           - key: cluster.ocs.openshift.io/openshift-storage
             operator: In
             values:
             - ""
     storageClassDevices:
       - storageClassName: localblock
         volumeMode: Block
         devicePaths:
           - /dev/disk/by-id/nvme-INTEL_SSDPEKKA128G7_BTPY81260978128A   # <-- modify this line
           - /dev/disk/by-id/nvme-INTEL_SSDPEKKA128G7_BTPY80440W5U128A   # <-- modify this line
           - /dev/disk/by-id/nvme-INTEL_SSDPEKKA128G7_BTPYB85AABDE128A   # <-- modify this line

2. ブロック PV の LocalVolume CR を作成します。

   $ oc create -f local-storage-block.yaml

3. Pod が作成されているかどうかを確認します。

   出力例:

   NAME                                    READY   STATUS  RESTARTS AGE
   local-block-local-diskmaker-cmfql       1/1     Running 0        31s
   local-block-local-diskmaker-g6fzr       1/1     Running 0        31s
   local-block-local-diskmaker-jkqxt       1/1     Running 0        31s
   local-block-local-provisioner-jgqcc     1/1     Running 0        31s
   local-block-local-provisioner-mx49d     1/1     Running 0        31s
   local-block-local-provisioner-qbcvp     1/1     Running 0        31s
   local-storage-operator-54bc7566c6-ddbrt 1/1     Running 0        12m

4. PV が作成されているかどうかを確認します。

   $ oc get pv

   出力例:

   NAME                CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM   STORAGECLASS   REASON   AGE
   local-pv-150fdc87   931Gi      RWO            Delete           Available           localblock              2m11s
   local-pv-183bfc0a   931Gi      RWO            Delete           Available           localblock              2m15s
   local-pv-b2f5cb25   931Gi      RWO            Delete           Available           localblock              2m21s

5. 新規 localblock StorageClass を確認します。

   $ oc get sc | grep localblock

   出力例:

   NAME            PROVISIONER                    RECLAIMPOLICY
   VOLUMEBINDINGMODE ALLOWVOLUMEEXPANSION     AGE
   localblock      kubernetes.io/no-provisioner   Delete
   WaitForFirstConsumer  false                2m10s

6. localblock Storage Class ストレージクラスを使用する OpenShift Container Storage Cluster Service を作成します。

   1. OpenShift Web コンソールにログインします。

   2. OpenShift Web コンソールの左側のペインで Installed Operators をクリックし、インストールされた Operator を表示します。

      図1.3 OpenShift Container Storage Operator ページ

      
   3. OpenShift Container Storage インストール Operator をクリックします。

   4. Operator Details ページで、Storage Cluster リンクをクリックします。

      図1.4 Storage Cluster タブ

      

   5. Create Storage Cluster をクリックします。

      
7. Select Mode に Internal-Attached devices を選択します。

8. 以下のいずれかのシナリオに基づいてストレージクラスターを作成する手順を実行します。

   ローカルストレージ Operator がインストールされておらず、ストレージクラスは作成されていない

   1. ローカルストレージ Operator をインストールすることを求めるプロンプトが出されます。Install をクリックし、ローカルストレージ Operator で説明されているように Operator をインストールします。
   2. 次の手順で説明されているように、ウィザードからストレージクラスの作成に進みます。

   ローカルストレージ Operator がインストールされているが、ストレージクラスは作成されていない

   ウィザードで以下の手順を実行します。

   ディスクの検出

   図1.5 Discovery Disks ウィザードページ

   

   1. 以下のいずれかを選択します。

      • All nodes: すべてのノードでディスクを検出します。

      • Select nodes: 一覧表示されるノードからノードのサブセットを選択します。

        クラスターで特定のワーカーノードを見つけるには、Name または Label に基づいてノードをフィルターできます。Name を使用するとノード名で検索でき、Label を使用すると事前に定義されたラベルを選択して検索できます。

        高可用性を確保するために、ワーカーノードは 3 つの異なる物理ノード、ラック、障害ドメインに分散することが推奨されます。

        注記

        OpenShift Container Storage のラックラベルがデータセンターの物理ラックに合わせて調整されていることを確認し、障害ドメインのレベルで二重ノードに障害が発生しないようにします。

        選択したノードが集約された 30 CPU および 72 GiB の RAM の OpenShift Container Storage クラスターの要件と一致しない場合は、最小クラスターがデプロイされます。ノードの最小要件については、プランニングガイドの リソース要件 セクションを参照してください。

        注記

        選択したノードにテイントのマークが付けられており、そのノードがウィザードで検出されない場合は、回避策として Red Hat ナレッジベースソリューション に記載されている手順に従ってください。

   2. Next をクリックします。

   ストレージクラスの作成

   図1.6 Create Storage Class ウィザードページ

   

   1. ボリュームセット名を入力します。

   2. ストレージクラス名を入力します。デフォルトで、ボリュームセット名がストレージクラス名について表示されます。

      ノードに反映されるまでに数秒待機する必要がある場合があります。

   3. 検出されたノードからノードを選択するには、以下のいずれかを選択できます。

      • All nodes: 利用可能なディスクを検出したすべてのノードを選択します。
      • Select nodes: 利用可能なディスクを検出したノードのサブセットを選択します。

   4. (オプション) ドーナツ チャートを使用して選択されたノードでディスクの選択した容量を表示できます。また、ノードおよびディスクの一覧を表示するチャートの Nodes および Disks リンクをクリックできます。選択したノードおよびディスクの詳細を表示できます。

      
      
   5. Disk type を選択します。

   6. Advanced セクションでは、以下のオプションを設定できます。

      ディスクモード	デフォルトではブロックが選択されます。
      ディスクサイズ	Max および Min にそれぞれ含める必要のあるデバイスの最小および最大サイズ。
      最大ディスク制限	これは、ノードで作成可能な永続ボリューム (PV) の最大数を示します。このフィールドが空のままの場合、PV は一致するノードで利用可能なすべてのディスクに作成されます。

   7. Next をクリックします。

   8. メッセージアラートで Yes をクリックし、ストレージクラスの作成を確認します。

      ローカルボリュームセットおよびストレージクラスの作成後に、この手順に戻ることはできません。

   ローカルストレージ Operator がインストールされており、ストレージクラスが作成されている

   ストレージクラスターの作成

   図1.7 Create Storage Cluster ウィザードページ

   

   1. 必要なストレージクラスを選択します。

      選択したストレージクラスに対応するストレージノードが追加されるまでに数分待機する必要がある場合があります。

   2. (オプション) Encryption セクションで、トグルを Enabled に設定して、クラスターでデータ暗号化を有効にします。
   3. ストレージクラスに対応するノードは、ドロップダウン一覧で選択したストレージクラスに基づいて表示されます。

   4. Create をクリックします。

      Create ボタンは、3 つのノードを選択した場合にのみ有効になります。3 つのボリュームからなる新規ストレージクラスターは、1 ワーカーノードごとに 1 つのボリュームを設定して作成されます。デフォルト設定では、レプリケーション係数 3 を使用します。

      初期クラスターの容量を拡張するには、Scaling Storage ガイドを参照してください。

手順

1. OpenShift Web コンソールの左側のペインから Workloads → Pods をクリックします。

2. Project ドロップダウンリストから openshift-storage を選択します。

   各コンポーネントについて予想される Pod 数や、これがノード数によってどのように異なるかについての詳細は、表2.1「OpenShift Container Storage クラスターに対応する Pod」 を参照してください。

3. Running および Completed タブをクリックして、以下の Pod が実行中および完了状態にあることを確認します。

   表2.1 OpenShift Container Storage クラスターに対応する Pod

   コンポーネント	対応する Pod
   OpenShift Container Storage Operator	ocs-operator-* (任意のワーカーノードに 1 Pod)
   Rook-ceph Operator	rook-ceph-operator-* (任意のワーカーノードに 1 Pod)
   Multicloud Object Gateway	noobaa-operator-* (任意のワーカーノードに 1 Pod) noobaa-core-* (任意のストレージノードに 1 Pod) nooba-db-* (任意のストレージノードに 1 Pod) noobaa-endpoint-* (任意のストレージノードに 1 Pod)
   MON	rook-ceph-mon-* (ストレージノードに分散する 3 Pod)
   MGR	rook-ceph-mgr-* (任意のストレージノードに 1 Pod)
   MDS	rook-ceph-mds-ocs-storagecluster-cephfilesystem-* (ストレージノードに分散する 2 Pod)
   RGW	rook-ceph-rgw-ocs-storagecluster-cephobjectstore-* (ストレージノードに分散する 2 Pod)
   CSI	cephfs csi-cephfsplugin-* (各ワーカーノードに 1 Pod) csi-cephfsplugin-provisioner-* (ストレージノードに分散する 2 Pod) rbd csi-rbdplugin-* (各ワーカーノードに 1 Pod) csi-rbdplugin-provisioner-* (ストレージノードに分散する 2 Pod)
   rook-ceph-drain-canary	rook-ceph-drain-canary-* (各ストレージノードに 1 Pod)
   rook-ceph-crashcollector	rook-ceph-crashcollector-* (各ストレージノードに 1 Pod)
   OSD	rook-ceph-osd-* (各デバイス用に 1 Pod) rook-ceph-osd-prepare-ocs-deviceset-* (各デバイス用に 1 Pod)

1. OpenShift Container Storage を使用しているボリュームスナップショットを削除します。

   1. すべての namespace からボリュームスナップショットを一覧表示します。

      $ oc get volumesnapshot --all-namespaces

   2. 直前のコマンドの出力から、OpenShift Container Storage を使用しているボリュームスナップショットを特定し、削除します。

      $ oc delete volumesnapshot <VOLUME-SNAPSHOT-NAME> -n <NAMESPACE>

2. OpenShift Container Storage を使用している PVC および OBC を削除します。

   デフォルトのアンインストールモード (graceful) では、アンインストーラーは OpenShift Container Storage を使用するすべての PVC および OBC が削除されるまで待機します。

   PVC を事前に削除せずに Storage Cluster を削除する場合は、アンインストールモードのアノテーションを forced に設定し、この手順を省略できます。これを実行すると、孤立した PVC および OBC がシステムに作成されます。

   1. OpenShift Container Storage を使用して、OpenShift Container Platform モニターリングスタック PVC を削除します。

      「OpenShift Container Storage からのモニターリングスタックの削除」 を参照

   2. OpenShift Container Storage を使用して、OpenShift Container Platform レジストリー PVC を削除します。

      「OpenShift Container Storage からの OpenShift Container Platform レジストリーの削除」 を参照

   3. OpenShift Container Storage を使用して、OpenShift Container Platform ロギング PVC を削除します。

      「OpenShift Container Storage からのクラスターロギング Operator の削除」 を参照

   4. OpenShift Container Storage を使用してプロビジョニングした PVC および OBC を削除します。

      • 以下に、OpenShift Container Storage を使用してプロビジョニングされる PVC および OBC を特定するサンプルスクリプトを示します。このスクリプトは、OpenShift Container Storage によって内部で使用される PVC を無視します。

        #!/bin/bash
        
        RBD_PROVISIONER="openshift-storage.rbd.csi.ceph.com"
        CEPHFS_PROVISIONER="openshift-storage.cephfs.csi.ceph.com"
        NOOBAA_PROVISIONER="openshift-storage.noobaa.io/obc"
        RGW_PROVISIONER="openshift-storage.ceph.rook.io/bucket"
        
        NOOBAA_DB_PVC="noobaa-db"
        NOOBAA_BACKINGSTORE_PVC="noobaa-default-backing-store-noobaa-pvc"
        
        # Find all the OCS StorageClasses
        OCS_STORAGECLASSES=$(oc get storageclasses | grep -e "$RBD_PROVISIONER" -e "$CEPHFS_PROVISIONER" -e "$NOOBAA_PROVISIONER" -e "$RGW_PROVISIONER" | awk '{print $1}')
        
        # List PVCs in each of the StorageClasses
        for SC in $OCS_STORAGECLASSES
        do
                echo "======================================================================"
                echo "$SC StorageClass PVCs and OBCs"
                echo "======================================================================"
                oc get pvc  --all-namespaces --no-headers 2>/dev/null | grep $SC | grep -v -e "$NOOBAA_DB_PVC" -e "$NOOBAA_BACKINGSTORE_PVC"
                oc get obc  --all-namespaces --no-headers 2>/dev/null | grep $SC
                echo
        done

        注記

        クラウドプラットフォームの RGW_PROVISIONER を省略します。

      • OBC を削除します。

        $ oc delete obc <obc name> -n <project name>

      • PVC を削除します。

        $ oc delete pvc <pvc name> -n <project-name>

        注記

        クラスターに作成されているカスタムバッキングストア、バケットクラスなどを削除していることを確認します。

3. Storage Cluster オブジェクトを削除し、関連付けられたリソースが削除されるのを待機します。

   $ oc delete -n openshift-storage storagecluster --all --wait=true

4. uninstall.ocs.openshift.io/cleanup-policy が delete (default) に設定されている場合にクリーンアップ Pod の有無を確認し、それらのステータスが Completed していることを確認します。

   $ oc get pods -n openshift-storage | grep -i cleanup
   NAME                                READY   STATUS      RESTARTS   AGE
   cluster-cleanup-job-<xx>        	0/1     Completed   0          8m35s
   cluster-cleanup-job-<yy>     		0/1     Completed   0          8m35s
   cluster-cleanup-job-<zz>     		0/1     Completed   0          8m35s

5. /var/lib/rook ディレクトリーが空であることを確認します。このディレクトリーは空になるのは、uninstall.ocs.openshift.io/cleanup-policy アノテーションが delete (デフォルト) に設定されている場合に限られます。

   $ for i in $(oc get node -l cluster.ocs.openshift.io/openshift-storage= -o jsonpath='{ .items[*].metadata.name }'); do oc debug node/${i} -- chroot /host  ls -l /var/lib/rook; done

6. 暗号化がインストール時に有効にされている場合は、すべての OpenShift Container Storage ノードの OSD デバイスから dm-crypt で管理される device-mapper マッピングを削除します。

   1. デバッグ Pod を作成し、ストレージノードのホストに対して chroot を作成します。

      $ oc debug node <node name>
      $ chroot /host

   2. デバイス名を取得し、OpenShift Container Storage デバイスについてメモします。

      $ dmsetup ls
      ocs-deviceset-0-data-0-57snx-block-dmcrypt (253:1)

   3. マップ済みデバイスを削除します。

      $ cryptsetup luksClose --debug --verbose ocs-deviceset-0-data-0-57snx-block-dmcrypt

      権限が十分にないため、コマンドがスタックした場合には、以下のコマンドを実行します。

      • CTRL+Z を押して上記のコマンドを終了します。

      • スタックした cryptsetup プロセスの PID を検索します。

        $ ps

        出力例:

        PID     TTY    TIME     CMD
        778825   ?     00:00:00 cryptsetup

        PID 番号を書き留めて強制終了します。この例では、PID は 778825 です。

      • kill コマンドを使用してプロセスを終了します。

        $ kill -9 <PID>

      • デバイス名が削除されていることを確認します。

        $ dmsetup ls

7. namespace を削除し、削除が完了するまで待機します。openshift-storage がアクティブなプロジェクトである場合は、別のプロジェクトに切り替える必要があります。

   以下に例を示します。

   $ oc project default
   $ oc delete project openshift-storage --wait=true --timeout=5m

   以下のコマンドが NotFound エラーを返すと、プロジェクトが削除されます。

   $ oc get project openshift-storage

   注記

   OpenShift Container Storage のアンインストール時に、namespace が完全に削除されず、Terminating 状態のままである場合は、Troubleshooting and deleting remaining resources during Uninstall の記事に記載の手順を実行して namespace の終了をブロックしているオブジェクトを特定します。

8. ストレージノードのラベルを解除します。

   $ oc label nodes  --all cluster.ocs.openshift.io/openshift-storage-
   $ oc label nodes  --all topology.rook.io/rack-

9. ノードにテイントのマークが付けられている場合に OpenShift Container Storage テイントを削除します。

   $ oc adm taint nodes --all node.ocs.openshift.io/storage-

10. OpenShift Container Storage を使用してプロビジョニングした PV がすべて削除されていることを確認します。Released 状態のままの PV がある場合は、これを削除します。

    $ oc get pv
    $ oc delete pv <pv name>

11. Multicloud Object Gateway storageclass を削除します。

    $ oc delete storageclass openshift-storage.noobaa.io --wait=true --timeout=5m

12. CustomResourceDefinitions を削除します。

    $ oc delete crd backingstores.noobaa.io bucketclasses.noobaa.io cephblockpools.ceph.rook.io cephclusters.ceph.rook.io cephfilesystems.ceph.rook.io cephnfses.ceph.rook.io cephobjectstores.ceph.rook.io cephobjectstoreusers.ceph.rook.io noobaas.noobaa.io ocsinitializations.ocs.openshift.io  storageclusterinitializations.ocs.openshift.io storageclusters.ocs.openshift.io cephclients.ceph.rook.io cephobjectrealms.ceph.rook.io cephobjectzonegroups.ceph.rook.io cephobjectzones.ceph.rook.io cephrbdmirrors.ceph.rook.io --wait=true --timeout=5m

13. OpenShift Container Platform Web コンソールで、OpenShift Container Storage が完全にアンインストールされていることを確認するには、以下を実行します。

    1. Home → Overview をクリックし、ダッシュボードにアクセスします。
    2. Persistent Storage および Object Service タブが Cluster タブの横に表示されなくなることを確認します。

手順

1. openshift-monitoring namespace で現在実行されている Pod および PVC を一覧表示します。

   $ oc get pod,pvc -n openshift-monitoring
   NAME                           READY   STATUS    RESTARTS   AGE
   pod/alertmanager-main-0         3/3     Running   0          8d
   pod/alertmanager-main-1         3/3     Running   0          8d
   pod/alertmanager-main-2         3/3     Running   0          8d
   pod/cluster-monitoring-
   operator-84457656d-pkrxm        1/1     Running   0          8d
   pod/grafana-79ccf6689f-2ll28    2/2     Running   0          8d
   pod/kube-state-metrics-
   7d86fb966-rvd9w                 3/3     Running   0          8d
   pod/node-exporter-25894         2/2     Running   0          8d
   pod/node-exporter-4dsd7         2/2     Running   0          8d
   pod/node-exporter-6p4zc         2/2     Running   0          8d
   pod/node-exporter-jbjvg         2/2     Running   0          8d
   pod/node-exporter-jj4t5         2/2     Running   0          6d18h
   pod/node-exporter-k856s         2/2     Running   0          6d18h
   pod/node-exporter-rf8gn         2/2     Running   0          8d
   pod/node-exporter-rmb5m         2/2     Running   0          6d18h
   pod/node-exporter-zj7kx         2/2     Running   0          8d
   pod/openshift-state-metrics-
   59dbd4f654-4clng                3/3     Running   0          8d
   pod/prometheus-adapter-
   5df5865596-k8dzn                1/1     Running   0          7d23h
   pod/prometheus-adapter-
   5df5865596-n2gj9                1/1     Running   0          7d23h
   pod/prometheus-k8s-0            6/6     Running   1          8d
   pod/prometheus-k8s-1            6/6     Running   1          8d
   pod/prometheus-operator-
   55cfb858c9-c4zd9                1/1     Running   0          6d21h
   pod/telemeter-client-
   78fc8fc97d-2rgfp                3/3     Running   0          8d
   
   NAME                                                              STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS                  AGE
   persistentvolumeclaim/my-alertmanager-claim-alertmanager-main-0   Bound    pvc-0d519c4f-15a5-11ea-baa0-026d231574aa   40Gi       RWO            ocs-storagecluster-ceph-rbd   8d
   persistentvolumeclaim/my-alertmanager-claim-alertmanager-main-1   Bound    pvc-0d5a9825-15a5-11ea-baa0-026d231574aa   40Gi       RWO            ocs-storagecluster-ceph-rbd   8d
   persistentvolumeclaim/my-alertmanager-claim-alertmanager-main-2   Bound    pvc-0d6413dc-15a5-11ea-baa0-026d231574aa   40Gi       RWO            ocs-storagecluster-ceph-rbd   8d
   persistentvolumeclaim/my-prometheus-claim-prometheus-k8s-0        Bound    pvc-0b7c19b0-15a5-11ea-baa0-026d231574aa   40Gi       RWO            ocs-storagecluster-ceph-rbd   8d
   persistentvolumeclaim/my-prometheus-claim-prometheus-k8s-1        Bound    pvc-0b8aed3f-15a5-11ea-baa0-026d231574aa   40Gi       RWO            ocs-storagecluster-ceph-rbd   8d

2. モニタリング configmap を編集します。

   $ oc -n openshift-monitoring edit configmap cluster-monitoring-config

3. 以下の例が示すように、OpenShift Container Storage ストレージクラスを参照する config セクションを削除し、これを保存します。

   編集前

   . . . apiVersion: v1 data: config.yaml: | alertmanagerMain: volumeClaimTemplate: metadata: name: my-alertmanager-claim spec: resources: requests: storage: 40Gi storageClassName: ocs-storagecluster-ceph-rbd prometheusK8s: volumeClaimTemplate: metadata: name: my-prometheus-claim spec: resources: requests: storage: 40Gi storageClassName: ocs-storagecluster-ceph-rbd kind: ConfigMap metadata: creationTimestamp: "2019-12-02T07:47:29Z" name: cluster-monitoring-config namespace: openshift-monitoring resourceVersion: "22110" selfLink: /api/v1/namespaces/openshift-monitoring/configmaps/cluster-monitoring-config uid: fd6d988b-14d7-11ea-84ff-066035b9efa8 . . .

   編集後

   . . . apiVersion: v1 data: config.yaml: | kind: ConfigMap metadata: creationTimestamp: "2019-11-21T13:07:05Z" name: cluster-monitoring-config namespace: openshift-monitoring resourceVersion: "404352" selfLink: /api/v1/namespaces/openshift-monitoring/configmaps/cluster-monitoring-config uid: d12c796a-0c5f-11ea-9832-063cd735b81c . . .

   この例では、alertmanagerMain および prometheusK8s モニターリングコンポーネントは OpenShift Container Storage PVC を使用しています。

4. 関連する PVC を削除します。ストレージクラスを使用するすべての PVC を削除してください。

   $ oc delete -n openshift-monitoring pvc <pvc-name> --wait=true --timeout=5m

手順

1. configs.imageregistry.operator.openshift.io オブジェクトを編集し、storage セクションのコンテンツを削除します。

   $ oc edit configs.imageregistry.operator.openshift.io

   編集前

   . . . storage: pvc: claim: registry-cephfs-rwx-pvc . . .

   編集後

   . . . storage: emptyDir: {} . . .

   この例では、PVC は registry-cephfs-rwx-pvc と呼ばれ、これは安全に削除できます。

2. PVC を削除します。

   $ oc delete pvc <pvc-name> -n openshift-image-registry --wait=true --timeout=5m

手順

1. namespace の ClusterLogging インスタンスを削除します。

   $ oc delete clusterlogging instance -n openshift-logging --wait=true --timeout=5m

   openshift-logging namespace の PVC は安全に削除できます。

2. PVC を削除します。

   $ oc delete pvc <pvc-name> -n openshift-logging --wait=true --timeout=5m

手順

1. zFCP ディスクを使用してハードウェアリソースを追加します。

   1. 以下のコマンドを使用してすべてのディスクを一覧表示します。

      $ lszdev

      出力例:

      TYPE         ID                                              ON   PERS  NAMES
      zfcp-host    0.0.8204                                        yes  yes
      zfcp-lun     0.0.8204:0x102107630b1b5060:0x4001402900000000  yes  no    sda sg0
      zfcp-lun     0.0.8204:0x500407630c0b50a4:0x3002b03000000000  yes  yes   sdb sg1
      qeth         0.0.bdd0:0.0.bdd1:0.0.bdd2                      yes  no    encbdd0
      generic-ccw  0.0.0009                                        yes  no

      SCSI ディスクは、ID セクションの <device-id>:<wwpn>:<lun-id> 構造で zfcp-lun として表されます。最初のディスクはオペレーティングシステムに使用されます。新規ディスクのデバイス ID は同じである可能性があります。

   2. 以下のコマンドで新規 SCSI ディスクを追加します。

      $ chzdev -e 0.0.8204:0x400506630b1b50a4:0x3001301a00000000

      注記

      新規ディスクのデバイス ID は、置き換えるディスクと同じである必要があります。新規ディスクは、WWPN および LUN ID で識別されます。

   3. すべての FCP デバイスを一覧表示して、新規ディスクが設定されていることを確認します。

      $ lszdev zfcp-lun
      TYPE         ID                                              ON   PERS  NAMES
      zfcp-lun     0.0.8204:0x102107630b1b5060:0x4001402900000000 yes  no    sda sg0
      zfcp-lun     0.0.8204:0x500507630b1b50a4:0x4001302a00000000  yes  yes   sdb sg1
      zfcp-lun     0.0.8204:0x400506630b1b50a4:0x3001301a00000000  yes  yes   sdc sg2

2. OpenShift Web コンソールに移動します。
3. 左側のナビゲーションバーの Operators をクリックします。
4. Installed Operators を選択します。

5. ウィンドウで、OpenShift Container Storage Operator をクリックします。

   

6. 上部のナビゲーションバーで、右にスクロールし、Storage Cluster タブをクリックします。

   
7. 表示される一覧の横にある (⋮) をクリックして、オプションメニューを拡張します。

8. オプションメニューから Add Capacity を選択します。

   

   Raw Capacity フィールドには、ストレージクラスの作成時に設定されるサイズが表示されます。OpenShift Container Storage はレプリカ数 3 を使用するため、消費されるストレージの合計量はこの量の 3 倍になります。

9. Add をクリックし、クラスターの状態が Ready になるまで待機します。

検証手順

1. Overview → Persistent Storage タブに移動してから、Capacity breakdown カードをチェックします。

   
2. 容量は選択に応じて増大することに注意してください。

手順

1. OpenShift Web コンソールにログインします。
2. Compute → Nodes をクリックします。
3. 置き換える必要のあるノードを特定します。その マシン名 をメモします。

4. 以下のコマンドを実行して、ノードにスケジュール対象外 (unschedulable) のマークを付けます。

   $ oc adm cordon <node_name>

5. 以下のコマンドを使用してノードをドレイン (解放) します。

   $ oc adm drain <node_name> --force --delete-local-data --ignore-daemonsets

   重要

   このアクティビティーには少なくとも 5-10 分以上かかる場合があります。この期間に生成される Ceph のエラーは一時的なもので、新規ノードにラベルが付けられ、これが機能すると自動的に解決されます。

6. Compute → Machines をクリックします。必要なマシンを検索します。
7. 必要なマシンの横にある Action menu (⋮) → Delete Machine をクリックします。
8. Delete をクリックしてマシンの削除を確認します。新しいマシンが自動的に作成されます。

9. 新規マシンが起動し、Running 状態に移行するまで待機します。

   重要

   このアクティビティーには少なくとも 5-10 分以上かかる場合があります。

10. Compute → Nodes をクリックし、新規ノードが Ready 状態にあることを確認します。

11. 以下のいずれかを使用して、OpenShift Container Storage ラベルを新規ノードに適用します。

    ユーザーインターフェイスを使用する場合

    1. 新規ノードについて、Action Menu (⋮) → Edit Labels をクリックします。
    2. cluster.ocs.openshift.io/openshift-storage を追加し、Save をクリックします。

    コマンドラインインターフェイスの使用

    • 以下のコマンドを実行して、OpenS+hift Container Storage ラベルを新規ノードに適用します。

      $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

検証手順

1. 以下のコマンドを実行して、出力で新規ノードが表示されていることを確認します。

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= |cut -d' ' -f1

2. Workloads → Pods をクリックし、新規ノード上の少なくとも以下の Pod が Running 状態にあることを確認します。

   • csi-cephfsplugin-*
   • csi-rbdplugin-*
3. 他の必要なすべての OpenShift Container Storage Pod が Running 状態にあることを確認します。

4. 新規 OSD Pod が交換後のノードで実行されていることを確認します。

   $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

5. (オプション) クラスターでデータの暗号化が有効な場合には、新規 OSD デバイスが暗号化されていることを確認します。

   1. デバッグ Pod を作成し、ホストの chroot 環境を開きます。

      $ oc debug node new-node-name
      $ chroot /host

   2. デバイスが暗号化されていることを確認します。

      $ dmsetup ls | grep ocs-deviceset
      ocs-deviceset-0-data-0-57snx-block-dmcrypt (253:1)

      $ lsblk | grep ocs-deviceset
      `-ocs-deviceset-0-data-0-57snx-block-dmcrypt 253:1    0   512G  0 crypt

6. 検証手順が失敗した場合は、Red Hat サポートにお問い合わせください。

手順

1. OpenShift Web コンソールにログインし、Compute → Nodes をクリックします。
2. 障害のあるノードを特定し、その Machine Name をクリックします。
3. Actions → Edit Annotations をクリックし、Add More をクリックします。
4. machine.openshift.io/exclude-node-draining を追加し、Save をクリックします。
5. Actions → Delete Machine をクリックしてから、Delete をクリックします。

6. 新しいマシンが自動的に作成されます。新規マシンが起動するのを待機します。

   重要

   このアクティビティーには少なくとも 5-10 分以上かかる場合があります。この期間に生成される Ceph のエラーは一時的なもので、新規ノードにラベルが付けられ、これが機能すると自動的に解決されます。

7. Compute → Nodes をクリックし、新規ノードが Ready 状態にあることを確認します。

8. 以下のいずれかを使用して、OpenShift Container Storage ラベルを新規ノードに適用します。

   Web ユーザーインターフェイスの使用

   1. 新規ノードについて、Action Menu (⋮) → Edit Labels をクリックします。
   2. cluster.ocs.openshift.io/openshift-storage を追加し、Save をクリックします。

   コマンドラインインターフェイスの使用

   • 以下のコマンドを実行して、OpenS+hift Container Storage ラベルを新規ノードに適用します。

     $ oc label node <new_node_name> cluster.ocs.openshift.io/openshift-storage=""

9. 以下のコマンドを実行して、出力で新規ノードが表示されていることを確認します。

   $ oc get nodes --show-labels | grep cluster.ocs.openshift.io/openshift-storage= | cut -d' ' -f1

10. Workloads → Pods をクリックし、新規ノード上の少なくとも以下の Pod が Running 状態にあることを確認します。

    • csi-cephfsplugin-*
    • csi-rbdplugin-*
11. 他の必要なすべての OpenShift Container Storage Pod が Running 状態にあることを確認します。

12. 新規 OSD Pod が交換後のノードで実行されていることを確認します。

    $ oc get pods -o wide -n openshift-storage| egrep -i new-node-name | egrep osd

13. (オプション) クラスターでデータの暗号化が有効な場合には、新規 OSD デバイスが暗号化されていることを確認します。

    1. デバッグ Pod を作成し、ホストの chroot 環境を開きます。

       $ oc debug node new-node-name
       $ chroot /host

    2. デバイスが暗号化されていることを確認します。

       $ dmsetup ls | grep ocs-deviceset
       ocs-deviceset-0-data-0-57snx-block-dmcrypt (253:1)

       $ lsblk | grep ocs-deviceset
       `-ocs-deviceset-0-data-0-57snx-block-dmcrypt 253:1    0   512G  0 crypt

14. 検証手順が失敗した場合は、Red Hat サポートにお問い合わせください。

手順

1. 以下のコマンドを使用してすべてのディスクを一覧表示します。

   $ lszdev

   出力例:

   TYPE         ID
   zfcp-host    0.0.8204                                        yes  yes
   zfcp-lun     0.0.8204:0x102107630b1b5060:0x4001402900000000 yes  no    sda sg0
   zfcp-lun     0.0.8204:0x500407630c0b50a4:0x3002b03000000000  yes  yes   sdb sg1
   qeth         0.0.bdd0:0.0.bdd1:0.0.bdd2                      yes  no    encbdd0
   generic-ccw  0.0.0009                                        yes  no

   SCSI ディスクは、ID セクションの <device-id>:<wwpn>:<lun-id> 構造で zfcp-lun として表されます。最初のディスクはオペレーティングシステムに使用されます。1 つのストレージデバイスに障害が発生した場合は、これを新しいディスクに置き換えることができます。

2. ディスクを削除します。

   ディスクで以下のコマンドを実行し、scsi-id を、置き換えるディスクの SCSI ディスク識別子に置き換えます。

   $ chzdev -d scsi-id

   たとえば、以下のコマンドはデバイス ID 0.0.8204、WWPN 0x500507630a0b50a4、および LUN 0x4002403000000000 のディスクを 1 つ削除します。

   $ chzdev -d 0.0.8204:0x500407630c0b50a4:0x3002b03000000000

3. 以下のコマンドを使用して新規 SCSI ディスクを追加します。

   $ chzdev -e 0.0.8204:0x500507630b1b50a4:0x4001302a00000000

   注記

   新規ディスクのデバイス ID は、置き換えるディスクと同じである必要があります。新規ディスクは、WWPN および LUN ID で識別されます。

4. すべての FCP デバイスを一覧表示して、新規ディスクが設定されていることを確認します。

   $ lszdev zfcp-lun
   TYPE         ID                                              ON   PERS  NAMES
   zfcp-lun     0.0.8204:0x102107630b1b5060:0x4001402900000000 yes  no    sda sg0
   zfcp-lun     0.0.8204:0x500507630b1b50a4:0x4001302a00000000  yes  yes   sdb sg1