1. Red Hat Enterprise Linux ベースのノードにログインし、ターミナルを開きます。

2. ノードが rhel-7-server-extras-rpms リポジトリーにアクセスできることを確認します。

   # subscription-manager repos --list-enabled | grep rhel-7-server

   出力に rhel-7-server-rpms と rhel-7-server-extras-rpms の両方が表示されない場合は、以下のコマンドを実行して各リポジトリーを有効にします。

   # subscription-manager repos --enable=rhel-7-server-rpms
   # subscription-manager repos --enable=rhel-7-server-extras-rpms

3. 必要なパッケージをインストールします。

   # yum install -y policycoreutils container-selinux

4. SELinux での Ceph ファイルシステムのコンテナーの使用を永続的に有効にします。

   # setsebool -P container_use_cephfs on

手順

1. OpenShift Web コンソールの左側のペインで、Operators → OperatorHub をクリックします。

   図1.1 Operator Hub の Operator 一覧

   

2. OpenShift Container Storage をクリックします。

   Filter by keyword テキストボックスまたはフィルター一覧を使用して、Operator の一覧から OpenShift Container Storage を検索できます。

3. OpenShift Container Storage Operator ページで、Install をクリックします。

4. Install Operator ページで、以下のオプションが選択されていることを確認します。

   1. Channel を stable-4.5として更新します。
   2. Installation Mode オプションに A specific namespace on the cluster を選択します。
   3. Installed Namespace に Operator recommended namespace PR openshift-storage を選択します。namespace openshift-storage が存在しない場合、これは Operator のインストール時に作成されます。

   4. 承認ストラテジー を Automatic または Manual として選択している。承認ストラテジーはデフォルトで Automatic に設定されます。

      • Approval Strategy に Automatic を選択します。

        注記

        Approval Strategy を Automatic として選択すると、新規インストール時、または OpenShift Container Storage の最新バージョンへの更新時に承認は必要ありません。

        1. インストール をクリックします。
        2. インストールが開始するまで待機します。これには、最長 20 分の時間がかかる可能性があります。
        3. Operators → Installed Operators をクリックします。
        4. Project が openshift-storage であることを確認します。デフォルトで、プロジェクト は openshift-storage です。
        5. OpenShift Container Storage の Status が Succeeded に変更するまで待機します。

      • Approval Strategy に Manual を選択します。

        注記

        Approval Strategy を Manual として選択すると、新規インストール時、または OpenShift Container Storage の最新バージョンへの更新時に承認が必要になります。

        1. Install をクリックします。
        2. Installed Operators ページで、ocs-operator をクリックします。
        3. Subscription Details ページで、Install Plan リンクをクリックします。
        4. InstallPlan Details ページで、Preview Install Plan をクリックします。
        5. インストール計画を確認し、Approve をクリックします。
        6. Components の Status が Unknown から Created または Present のいずれかに変更するまで待機します。
        7. Operators → Installed Operators をクリックします。
        8. Project が openshift-storage であることを確認します。デフォルトで、プロジェクト は openshift-storage です。
        9. OpenShift Container Storage の Status が Succeeded に変更するまで待機します。

手順

1. OpenShift Web コンソールから Operators → Installed Operators をクリックし、インストールされた Operator を表示します。選択された Project が openshift-storage であることを確認します。

2. Installed Operators ページで、Openshift Container Storage をクリックします。

   図1.2 OpenShift Container Storage Operator ページ

   

3. Installed Operators → Operator Details ページで、以下のいずれかを実行して Storage Cluster Service を作成します。

   1. Details タブで Provided APIs → OCS Storage Cluster で、Create Instance をクリックします。

      図1.3 Operator Details ページ

      

   2. または、Storage cluster タブを選択し、Create OCS Cluster Service をクリックします。

      図1.4 Storage Cluster タブ

      

4. Create Storage Cluster ページで、以下のオプションが選択されていることを確認します。

   図1.5 Create Storage Cluster ページ

   
   1. デフォルトでは、Select Mode に Internal が選択されています。

   2. Nodes セクションでは、OpenShift Container Storage サービスを使用するには、利用可能な一覧から 3 つ以上のワーカーノードを選択します。

      高可用性を確保するために、ワーカーノードは 3 つの異なる物理ノード、ラック、障害ドメインに分散することが推奨されます。

      注記

      • クラスターで特定のワーカーノードを見つけるには、Name または Label に基づいてノードをフィルターできます。

        • Name では、ノード名で検索できます。
        • Label では、事前に定義されたラベルを選択して検索できます。
      • vCenter の非アフィニティーを使用して OpenShift Container Storage のラックラベルをデータセンターの物理ノードおよびラックラベルに合わせて調整し、同じ物理シャーシに 2 つのワーカーノードがスケジュールされないようにします。

      ノードの最小要件については、『プランニング』ガイドの「リソース要件」セクションを参照してください。

   3. Storage Class は、VMware ではデフォルトで thin に設定されます。

   4. ドロップダウンリストから OCS Service Capacity を選択します。

      注記

      初期ストレージ容量を選択すると、クラスターの拡張は、選択された使用可能な容量を使用してのみ実行されます (raw ストレージの 3 倍)。

5. Create をクリックします。

   注記

   Create ボタンは、最低でも 3 つのワーカーノードを選択した後にのみ有効になります。

   デプロイメントに成功すると、3 つのストレージデバイスを持つストレージクラスターが作成されます。これらのデバイスは、選択したノードの 3 つに分散されます。この設定では、3 のレプリケーション係数が使用されます。初期クラスターをスケーリングするには、「 ストレージノードのスケーリング 」を参照してください。

1. ローカルストレージデバイスを使用して OpenShift Container Storage をインストールするための要件を確認します。

2. Red Hat Enterprise Linux ベースのホストについては、 Red Hat Enterprise Linux ベースのノードでのコンテナーのファイルシステムのアクセスを有効にします。

   注記

   Red Hat Enterprise Linux CoreOS (RHCOS) の場合は、この手順を省略します。

3. Red Hat OpenShift Container Storage Operator をインストールします。
4. ローカルストレージ Operator をインストールします。
5. 利用可能なストレージデバイスを見つけます。
6. VMware での OpenShift Container Storage クラスターサービスの作成。

1. Red Hat Enterprise Linux ベースのノードにログインし、ターミナルを開きます。

2. ノードが rhel-7-server-extras-rpms リポジトリーにアクセスできることを確認します。

   # subscription-manager repos --list-enabled | grep rhel-7-server

   出力に rhel-7-server-rpms と rhel-7-server-extras-rpms の両方が表示されない場合は、以下のコマンドを実行して各リポジトリーを有効にします。

   # subscription-manager repos --enable=rhel-7-server-rpms
   # subscription-manager repos --enable=rhel-7-server-extras-rpms

3. 必要なパッケージをインストールします。

   # yum install -y policycoreutils container-selinux

4. SELinux での Ceph ファイルシステムのコンテナーの使用を永続的に有効にします。

   # setsebool -P container_use_cephfs on

手順

1. OpenShift Web コンソールの左側のペインで、Operators → OperatorHub をクリックします。

   図2.1 Operator Hub の Operator 一覧

   

2. OpenShift Container Storage をクリックします。

   Filter by keyword テキストボックスまたはフィルター一覧を使用して、Operator の一覧から OpenShift Container Storage を検索できます。

3. OpenShift Container Storage Operator ページで、Install をクリックします。

4. Install Operator ページで、以下のオプションが選択されていることを確認します。

   1. Channel を stable-4.5として更新します。
   2. Installation Mode オプションに A specific namespace on the cluster を選択します。
   3. Installed Namespace に Operator recommended namespace PR openshift-storage を選択します。namespace openshift-storage が存在しない場合、これは Operator のインストール時に作成されます。

   4. 承認ストラテジー を Automatic または Manual として選択している。承認ストラテジーはデフォルトで Automatic に設定されます。

      • Approval Strategy に Automatic を選択します。

        注記

        Approval Strategy を Automatic として選択すると、新規インストール時、または OpenShift Container Storage の最新バージョンへの更新時に承認は必要ありません。

        1. インストール をクリックします。
        2. インストールが開始するまで待機します。これには、最長 20 分の時間がかかる可能性があります。
        3. Operators → Installed Operators をクリックします。
        4. Project が openshift-storage であることを確認します。デフォルトで、プロジェクト は openshift-storage です。
        5. OpenShift Container Storage の Status が Succeeded に変更するまで待機します。

      • Approval Strategy に Manual を選択します。

        注記

        Approval Strategy を Manual として選択すると、新規インストール時、または OpenShift Container Storage の最新バージョンへの更新時に承認が必要になります。

        1. Install をクリックします。
        2. Installed Operators ページで、ocs-operator をクリックします。
        3. Subscription Details ページで、Install Plan リンクをクリックします。
        4. InstallPlan Details ページで、Preview Install Plan をクリックします。
        5. インストール計画を確認し、Approve をクリックします。
        6. Components の Status が Unknown から Created または Present のいずれかに変更するまで待機します。
        7. Operators → Installed Operators をクリックします。
        8. Project が openshift-storage であることを確認します。デフォルトで、プロジェクト は openshift-storage です。
        9. OpenShift Container Storage の Status が Succeeded に変更するまで待機します。

手順

1. OpenShift Web コンソールの左側のペインで、Operators → OperatorHub をクリックします。
2. Operator の一覧から Local Storage Operator を検索し、これをクリックします。

3. Install をクリックします。

   図2.2 Install Operator ページ

   

4. Install Operator ページで、以下のオプションが選択されていることを確認します。

   1. Channel を stable-4.5として更新します。
   2. Installation Mode オプションに A specific namespace on the cluster を選択します。
   3. Installed Namespace を local-storage に選択します。
   4. Approval Strategy に Automatic を選択します。
5. Install をクリックします。
6. Local Storage Operator のステータスが Succeeded と表示されていることを確認します。

手順

1. OpenShift Container Storage ラベルの付いたノードの名前の一覧を表示し、確認します。

   $ oc get nodes -l cluster.ocs.openshift.io/openshift-storage=

   出力例:

   NAME        STATUS   ROLES    AGE    VERSION
   compute-0   Ready    worker   106m   v1.18.3+2cf11e2
   compute-1   Ready    worker   106m   v1.18.3+2cf11e2
   compute-2   Ready    worker   106m   v1.18.3+2cf11e2

2. OpenShift Container Storage リソースに使用される各ノードにログインし、利用可能な各 raw ブロックデバイスの一意の by-id デバイス名を見つけます。

   $ oc debug node/<Nodename>

   出力例:

   $ oc debug node/compute-0
   Starting pod/compute-0-debug ...
   To use host binaries, run `chroot /host`
   Pod IP: 10.1.50.36
   If you don't see a command prompt, try pressing enter.
   sh-4.2# chroot /host
   sh-4.4# lsblk
   NAME                         MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
   sda                            8:0    0   120G  0 disk
   |-sda1                         8:1    0   384M  0 part /boot
   |-sda2                         8:2    0   127M  0 part /boot/efi
   |-sda3                         8:3    0     1M  0 part
   `-sda4                         8:4    0 119.5G  0 part
     `-coreos-luks-root-nocrypt 253:0    0 119.5G  0 dm   /sysroot
   nvme0n1                      259:0    0   1.5T  0 disk

   この例では、compute- 0 の場合、利用可能なローカルデバイスは nvme0n1 です。

3. 手順 2 で選択した各デバイスの一意の ID を特定します。

   sh-4.4#
   ls -l /dev/disk/by-id/ | grep nvme0n1
   lrwxrwxrwx. 1 root root 13 Aug 19 06:41 nvme-Dell_Express_Flash_NVMe_P4610_1.6TB_SFF_PHLN951601QF1P6AGN -> ../../nvme0n1
   lrwxrwxrwx. 1 root root 13 Aug 19 06:41 nvme-eui.01000000010000005cd2e4895e0e5251 -> ../../nvme0n1

   上記の例では、ローカルデバイス 'nvme0n1' の ID は以下になります。

   nvme-eui.01000000010000005cd2e4895e0e5251

4. 上記の手順を繰り返し、OpenShift Container Storage で使用されるストレージデバイスを持つその他のすべてのノードのデバイスID を特定します。詳細は、ナレッジベースアーティクルを参照してください。

手順

1. ブロック PV の LocalVolume CR を作成します。

   OpenShift Container Storage ラベルをノードセレクターとして使用する LocalVolume CR local-storage-block.yaml の例:

   apiVersion: local.storage.openshift.io/v1
   kind: LocalVolume
   metadata:
     name: local-block
     namespace: local-storage
     labels:
       app: ocs-storagecluster
   spec:
     nodeSelector:
       nodeSelectorTerms:
       - matchExpressions:
           - key: cluster.ocs.openshift.io/openshift-storage
             operator: In
             values:
             - ""
     storageClassDevices:
       - storageClassName: localblock
         volumeMode: Block
         devicePaths:
           - /dev/disk/by-id/nvme-eui.01000000010000005cd2e4895e0e5251   # <-- modify this line
           - /dev/disk/by-id/nvme-eui.01000000010000005cd2e4ea2f0f5251   # <-- modify this line
           - /dev/disk/by-id/nvme-eui.01000000010000005cd2e4de2f0f5251   # <-- modify this line

2. ブロック PV の LocalVolume CR を作成します。

   $ oc create -f local-storage-block.yaml

   出力例:

   localvolume.local.storage.openshift.io/local-block created

3. Pod が作成されているかどうかを確認します。

   $ oc -n local-storage get pods

   出力例:

   NAME                                      READY   STATUS    RESTARTS   AGE
   local-block-local-diskmaker-5brzv         1/1     Running   0          31s
   local-block-local-diskmaker-8sxcs         1/1     Running   0          31s
   local-block-local-diskmaker-s7s9p         1/1     Running   0          31s
   local-block-local-provisioner-9cbw8       1/1     Running   0          31s
   local-block-local-provisioner-cpddv       1/1     Running   0          31s
   local-block-local-provisioner-f6h7h       1/1     Running   0          31s
   local-storage-operator-75b9776b75-vwdzh   1/1     Running   0          12m

4. 新規の localblock StorageClass を確認します。

   $ oc get sc | grep localblock

   出力例:

   localblock       kubernetes.io/no-provisioner   Delete          WaitForFirstConsumer   false                  96s

5. Available のステータスで作成されている PV を確認します。

   $ oc get pv

   出力例:

   NAME                CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS      CLAIM   STORAGECLASS   REASON   AGE
   local-pv-264b0256   1490Gi     RWO            Delete           Available           localblock              108s
   local-pv-8b0e9b53   1490Gi     RWO            Delete           Available           localblock              99s
   local-pv-8dcc8c60   1490Gi     RWO            Delete           Available           localblock              98s

6. localblock Storage Class を使用する OpenShift Container Storage Cluster Service を作成します。

   1. OpenShift Web コンソールにログインします。
   2. OpenShift Web コンソールから Operators → Installed Operators をクリックし、インストールされた Operator を表示します。選択された Project が openshift-storage であることを確認します。

   3. Installed Operators ページで、Openshift Container Storage をクリックします。

      図2.3 OpenShift Container Storage Operator ページ

      

   4. Installed Operators → Operator Details ページで、以下のいずれかを実行して Storage Cluster Service を作成します。

      • Details タブで Provided APIs → OCS Storage Cluster で、Create Instance をクリックします。

        図2.4 Operator Details ページ

        

      • または、Storage cluster タブを選択し、Create OCS Cluster Service をクリックします。

        図2.5 Storage Cluster タブ

        

   5. Create Storage Cluster ページで、以下のオプションが選択されていることを確認します。

      
      • Select Mode を Internal のままにします。

      • Nodes セクションでは、OpenShift Container Storage サービスを使用するには、利用可能な一覧から 3 つ以上のワーカーノードを選択します。

        高可用性を確保するために、ワーカーノードは 3 つの異なる物理ノード、ラック、障害ドメインに分散することが推奨されます。

        注記

        • クラスターで特定のワーカーノードを見つけるには、Name または Label に基づいてノードをフィルターできます。

          • Name では、ノード名で検索できます。
          • Label では、事前に定義されたラベルを選択して検索できます。
        • vCenter の非アフィニティーを使用して OpenShift Container Storage のラックラベルをデータセンターの物理ノードおよびラックラベルに合わせて調整し、同じ物理シャーシに 2 つのワーカーノードがスケジュールされないようにします。

        ノードの最小要件については、『プランニング』ガイドの「リソース要件」セクションを参照してください。

      • Storage Class ドロップダウンリストから localblock を選択します。

   6. Create をクリックします。

      注記

      Create ボタンは、最低でも 3 つのワーカーノードを選択した後にのみ有効になります。

      デプロイメントに成功すると、3 つのストレージデバイスを持つストレージクラスターが作成されます。これらのデバイスは、選択したノードの 3 つに分散されます。この設定では、3 のレプリケーション係数が使用されます。初期クラスターをスケーリングするには、「 ストレージノードのスケーリング 」を参照してください。

手順

1. OpenShift Web コンソールの左側のペインから Workloads → Pods をクリックします。

2. Project ドロップダウンリストから openshift-storage を選択します。

   各コンポーネントについて予想される Pod 数や、これがノード数によってどのように異なるかについての詳細は、表3.1「OpenShift Container Storage クラスターに対応する Pod」 を参照してください。

3. Running および Completed タブをクリックして、以下の Pod が実行中および完了状態にあることを確認します。

   表3.1 OpenShift Container Storage クラスターに対応する Pod

   コンポーネント	対応する Pod
   OpenShift Container Storage Operator	ocs-operator-* （任意のワーカーノードに 1 Pod）
   Rook-ceph Operator	rook-ceph-operator-* （任意のワーカーノードに 1 Pod）
   Multicloud Object Gateway	noobaa-operator-* (任意のワーカーノードに 1 Pod) noobaa-core-* (任意のストレージノードに 1 Pod) nooba-db-* (任意のストレージノードに 1 Pod) noobaa-endpoint-* (任意のストレージノードに 1 Pod)
   MON	rook-ceph-mon-* （ストレージノードに分散する 3 Pod）
   MGR	rook-ceph-mgr-* （任意のストレージノードに 1 Pod）
   MDS	rook-ceph-mds-ocs-storagecluster-cephfilesystem-* （ストレージノードに分散する 2 Pod）
   RGW	rook-ceph-rgw-ocs-storagecluster-cephobjectstore-* (ストレージノードに分散する 2 Pod)
   CSI	cephfs csi-cephfsplugin-* (各ワーカーノードに 1 Pod) csi-cephfsplugin-provisioner-* (ストレージノードに分散する 2 Pod) rbd csi-rbdplugin-* (各ワーカーノードに 1 Pod) csi-rbdplugin-provisioner-* (ストレージノードに分散する 2 Pod)
   rook-ceph-drain-canary	rook-ceph-drain-canary-* （各ストレージノードに 1 Pod）
   rook-ceph-crashcollector	rook-ceph-crashcollector-* （各ストレージノードに 1 Pod）
   OSD	rook-ceph-osd-* (各デバイス用に 1 Pod) rook-ceph-osd-prepare-ocs-deviceset-* (各デバイス用に 1 Pod)

1. OpenShift Container Storage ベースのストレージクラスプロビジョナーを使用する PVC および OBC をクエリーします。

   以下は例になります。

   $ oc get pvc -o=jsonpath='{range .items[?(@.spec.storageClassName=="ocs-storagecluster-ceph-rbd")]}{"Name: "}{@.metadata.name}{" Namespace: "}{@.metadata.namespace}{" Labels: "}{@.metadata.labels}{"\n"}{end}' --all-namespaces|awk '! ( /Namespace: openshift-storage/ && /app:noobaa/ )' | grep -v noobaa-default-backing-store-noobaa-pvc

   $ oc get pvc -o=jsonpath='{range .items[?(@.spec.storageClassName=="ocs-storagecluster-cephfs")]}{"Name: "}{@.metadata.name}{" Namespace: "}{@.metadata.namespace}{"\n"}{end}' --all-namespaces

   $ oc get obc -o=jsonpath='{range .items[?(@.spec.storageClassName=="ocs-storagecluster-ceph-rgw")]}{"Name: "}{@.metadata.name}{" Namespace: "}{@.metadata.namespace}{"\n"}{end}' --all-namespaces

   $ oc get obc -o=jsonpath='{range .items[?(@.spec.storageClassName=="openshift-storage.noobaa.io")]}{"Name: "}{@.metadata.name}{" Namespace: "}{@.metadata.namespace}{"\n"}{end}' --all-namespaces

2. 以下の手順に従って、直前の手順に記載されている PVC および OBC が削除されていることを確認します。

   モニタリングスタック、クラスターロギング Operator、またはイメージレジストリーの設定の一部として PVC を作成した場合は、必要に応じて以下のセクションで説明されているクリーンアップ手順を実行する必要があります。

   • 「OpenShift Container Storage からのモニタリングスタックの削除」
   • 「OpenShift Container Storage からの OpenShift Container Platform レジストリーの削除」

   • 「OpenShift Container Storage からのクラスターロギング Operator の削除」

     残りの PVC または OBC のそれぞれに、以下の手順を実行します。

     1. PVC または OBC を使用する Pod を判別します。

     2. Deployment、StatefulSet、DaemonSet、Job、またはカスタムコントローラーなどの制御する側の API オブジェクトを特定します。

        各 API オブジェクトには、OwnerReference として知られるメタデータフィールドがあります。これは、関連付けられたオブジェクトの一覧です。controller フィールドが true に設定された OwnerReference は、ReplicaSet、StatefulSet、DaemonSet などの制御するオブジェクトを参照します。

     3. API オブジェクトが OpenShift Container Storage によって提供される PVC または OBC を使用していないことを確認します。オブジェクトを削除するか、ストレージを置き換える必要があります。プロジェクトオーナーに、オブジェクトを安全に削除または変更できることを確認するよう依頼します。

        注記

        noobaa Pod は無視できます。

     4. OBC を削除します。

        $ oc delete obc <obc name> -n <project name>

     5. 作成したカスタムバケットクラスを削除します。

        $ oc get bucketclass -A  | grep -v noobaa-default-bucket-class

        $ oc delete bucketclass <bucketclass name> -n <project-name>

     6. カスタム Multi Cloud Gateway バッキングストアを作成している場合は、それらを削除します。

        • バッキングストアの一覧を表示し、これらをメモします。

          for bs in $(oc get backingstore -o name -n openshift-storage | grep -v noobaa-default-backing-store); do echo "Found backingstore $bs"; echo "Its has the following pods running :"; echo "$(oc get pods -o name -n openshift-storage | grep $(echo ${bs} | cut -f2 -d/))"; done

        • 上記の各バッキングストアを削除し、依存するリソースも削除されていることを確認します。

          for bs in $(oc get backingstore -o name -n openshift-storage | grep -v noobaa-default-backing-store); do echo "Deleting Backingstore $bs"; oc delete -n openshift-storage $bs; done

        • 上上記のバッキングストアのいずれかが pv-pool をベースとする場合、対応する Pod および PVC も削除してください。

          $ oc get pods -n openshift-storage | grep noobaa-pod | grep -v noobaa-default-backing-store-noobaa-pod

          $ oc get pvc -n openshift-storage --no-headers | grep -v noobaa-db | grep noobaa-pvc | grep -v noobaa-default-backing-store-noobaa-pvc

     7. 手順 1 に記載されている残りの PVC を削除します。

        $ oc delete pvc <pvc name> -n <project-name>

3. バッキングローカルボリュームオブジェクトを一覧表示し、これをメモします。結果がない場合は、手順 7 と 8 に進みます。

   $ for sc in $(oc get storageclass|grep 'kubernetes.io/no-provisioner' |grep -E $(oc get storagecluster -n openshift-storage -o jsonpath='{ .items[*].spec.storageDeviceSets[*].dataPVCTemplate.spec.storageClassName}' | sed 's/ /|/g')| awk '{ print $1 }');
   do
       echo -n "StorageClass: $sc ";
       oc get storageclass $sc -o jsonpath=" { 'LocalVolume: ' }{ .metadata.labels['local\.storage\.openshift\.io/owner-name'] } { '\n' }";
   done

   出力例:

   StorageClass: localblock  LocalVolume: local-block

4. StorageCluster オブジェクトを削除し、関連付けられたリソースが削除されるのを待機します。

   $ oc delete -n openshift-storage storagecluster --all --wait=true

5. namespace を削除し、削除が完了するまで待機します。openshift-storage がアクティブなプロジェクトである場合、別のプロジェクトに切り替える必要があります。

   1. openshift-storage がアクティブな namespace の場合に別の namespace に切り替えます。

      以下は例になります。

      $ oc project default

   2. openshift-storage namespace を削除します。

      $ oc delete project openshift-storage --wait=true --timeout=5m

   3. 約 5 分間待機し、プロジェクトが正常に削除されたかどうかを確認します。

      $ oc get project  openshift-storage

      出力:

      Error from server (NotFound): namespaces "openshift-storage" not found

      注記

      OpenShift Container Storage のアンインストール時に、namespace が完全に削除されず、Terminating 状態のままである場合は、Troubleshooting and deleting remaining resources during Uninstall の記事に記載の手順を実行して namespace の終了をブロックしているオブジェクトを特定します。

6. 各ノードでストレージ Operator アーティファクトをクリーンアップします。

   $ for i in $(oc get node -l cluster.ocs.openshift.io/openshift-storage= -o jsonpath='{ .items[*].metadata.name }'); do oc debug node/${i} -- chroot /host rm -rfv /var/lib/rook; done

   削除されたディレクトリー /var/lib/rook が出力に表示されることを確認します。

   ディレクトリーが存在しないことを確認します。

   $ for i in $(oc get node -l cluster.ocs.openshift.io/openshift-storage= -o jsonpath='{ .items[*].metadata.name }'); do oc debug node/${i} -- chroot /host  ls -l /var/lib/rook; done

7. デプロイメント時に作成されたローカルボリュームを削除し、手順 3 に記載されている各ローカルボリュームについてこれを繰り返します。

   ローカルボリュームごとに、以下を実行します。

   1. 変数 LV を LocalVolume の名前に設定し、変数 SC を手順 3 に一覧表示されている StorageClass の名前に設定します。

      以下に例を示します。

      $ LV=local-block

      $ SC=localblock

   2. 後にクリーンアップするデバイスを一覧表示し、これをメモします。

      $ oc get localvolume -n local-storage $LV -o jsonpath='{ .spec.storageClassDevices[*].devicePaths[*] }'

      出力例:

      /dev/disk/by-id/nvme-xxxxxx
      /dev/disk/by-id/nvme-yyyyyy
      /dev/disk/by-id/nvme-zzzzzz

   3. ローカルボリュームリソースを削除します。

      $ oc delete localvolume -n local-storage --wait=true $LV

   4. 残りの PV および StorageClass が存在する場合はこれらを削除します。

      $ oc delete pv -l storage.openshift.com/local-volume-owner-name=${LV} --wait --timeout=5m

      $ oc delete storageclass $SC --wait --timeout=5m

   5. そのリソースのストレージノードからアーティファクトをクリーンアップします。

      $ [[ ! -z $SC ]] && for i in $(oc get node -l cluster.ocs.openshift.io/openshift-storage= -o jsonpath='{ .items[*].metadata.name }'); do oc debug node/${i} -- chroot /host rm -rfv /mnt/local-storage/${SC}/; done

      出力例:

      Starting pod/node-xxx-debug ...
      To use host binaries, run `chroot /host`
      removed '/mnt/local-storage/localblock/nvme2n1'
      removed directory '/mnt/local-storage/localblock'
      
      Removing debug pod ...
      Starting pod/node-yyy-debug ...
      To use host binaries, run `chroot /host`
      removed '/mnt/local-storage/localblock/nvme2n1'
      removed directory '/mnt/local-storage/localblock'
      
      Removing debug pod ...
      Starting pod/node-zzz-debug ...
      To use host binaries, run `chroot /host`
      removed '/mnt/local-storage/localblock/nvme2n1'
      removed directory '/mnt/local-storage/localblock'
      
      Removing debug pod ...

8. 手順 3 に一覧表示されている各ローカルボリュームのディスクを消去して、それらを再利用できるようにします。

   1. ストレージノードを一覧表示します。

      $ oc get nodes -l cluster.ocs.openshift.io/openshift-storage=

      出力例:

      NAME      STATUS   ROLES    AGE     VERSION
      node-xxx  Ready    worker   4h45m  v1.18.3+6c42de8
      node-yyy  Ready    worker   4h46m  v1.18.3+6c42de8
      node-zzz  Ready    worker   4h45m  v1.18.3+6c42de8

   2. プロンプトが表示されたらノードコンソールを取得し、 chroot /host コマンドを実行します。

      $ oc debug node/node-xxx
      Starting pod/node-xxx-debug ...
      To use host binaries, run `chroot /host`
      Pod IP: w.x.y.z
      If you don't see a command prompt, try pressing enter.
      sh-4.2# chroot /host

   3. 手順 7(ii)で収集されたディスクパスを引用符内の DISKS 変数に保存します。

      sh-4.2# DISKS="/dev/disk/by-id/nvme-xxxxxx
      /dev/disk/by-id/nvme-yyyyyy /dev/disk/by-id/nvme-zzzzzz"

   4. すべてのディスクで sgdisk --zap-all を実行します。

      sh-4.4# for disk in $DISKS; do sgdisk --zap-all $disk;done

      出力例:

      Problem opening /dev/disk/by-id/nvme-xxxxxx for reading! Error is 2.
      The specified file does not exist!
      Problem opening '' for writing! Program will now terminate.
      Warning! MBR not overwritten! Error is 2!
      Problem opening /dev/disk/by-id/nvme-yyyyy for reading! Error is 2.
      The specified file does not exist!
      Problem opening '' for writing! Program will now terminate.
      Warning! MBR not overwritten! Error is 2!
      Creating new GPT entries.
      GPT data structures destroyed! You may now partition the disk using fdisk or
      other utilities.
      NOTE
      Ignore file-not-found warnings as they refer to disks that are on other machines.

   5. シェルを終了し、他のノードについて手順を繰り返します。

      sh-4.4# exit
      exit
      sh-4.2# exit
      exit
      
      Removing debug pod ...

9. openshift-storage.noobaa.io ストレージクラスを削除します。

   $ oc delete storageclass  openshift-storage.noobaa.io --wait=true --timeout=5m

10. ストレージノードのラベルを解除します。

    $ oc label nodes  --all cluster.ocs.openshift.io/openshift-storage-

    $ oc label nodes  --all topology.rook.io/rack-

    注記

    label <label> not found のようなラベルが解除されているノードについて表示される警告は無視できます。

11. すべての PV が削除されていることを確認します。Released 状態のままの PV がある場合は、これを削除します。

    # oc get pv | egrep 'ocs-storagecluster-ceph-rbd|ocs-storagecluster-cephfs'

    # oc delete pv <pv name>

12. CustomResourceDefinitions を削除します。

    $ oc delete crd backingstores.noobaa.io bucketclasses.noobaa.io cephblockpools.ceph.rook.io cephclusters.ceph.rook.io cephfilesystems.ceph.rook.io cephnfses.ceph.rook.io cephobjectstores.ceph.rook.io cephobjectstoreusers.ceph.rook.io noobaas.noobaa.io ocsinitializations.ocs.openshift.io  storageclusterinitializations.ocs.openshift.io storageclusters.ocs.openshift.io cephclients.ceph.rook.io --wait=true --timeout=5m

13. OpenShift Container Platform Web コンソールで、OpenShift Container Storage が完全にアンインストールされていることを確認するには、以下を実行します。

    1. Home → Overview をクリックし、ダッシュボードにアクセスします。
    2. Persistent Storage および Object Service タブが Cluster タブの横に表示されないことを確認します。

手順

1. openshift-monitoring namespace で現在実行されている Pod および PVC を一覧表示します。

   $ oc get pod,pvc -n openshift-monitoring
   NAME                           READY   STATUS    RESTARTS   AGE
   pod/alertmanager-main-0         3/3     Running   0          8d
   pod/alertmanager-main-1         3/3     Running   0          8d
   pod/alertmanager-main-2         3/3     Running   0          8d
   pod/cluster-monitoring-
   operator-84457656d-pkrxm        1/1     Running   0          8d
   pod/grafana-79ccf6689f-2ll28    2/2     Running   0          8d
   pod/kube-state-metrics-
   7d86fb966-rvd9w                 3/3     Running   0          8d
   pod/node-exporter-25894         2/2     Running   0          8d
   pod/node-exporter-4dsd7         2/2     Running   0          8d
   pod/node-exporter-6p4zc         2/2     Running   0          8d
   pod/node-exporter-jbjvg         2/2     Running   0          8d
   pod/node-exporter-jj4t5         2/2     Running   0          6d18h
   pod/node-exporter-k856s         2/2     Running   0          6d18h
   pod/node-exporter-rf8gn         2/2     Running   0          8d
   pod/node-exporter-rmb5m         2/2     Running   0          6d18h
   pod/node-exporter-zj7kx         2/2     Running   0          8d
   pod/openshift-state-metrics-
   59dbd4f654-4clng                3/3     Running   0          8d
   pod/prometheus-adapter-
   5df5865596-k8dzn                1/1     Running   0          7d23h
   pod/prometheus-adapter-
   5df5865596-n2gj9                1/1     Running   0          7d23h
   pod/prometheus-k8s-0            6/6     Running   1          8d
   pod/prometheus-k8s-1            6/6     Running   1          8d
   pod/prometheus-operator-
   55cfb858c9-c4zd9                1/1     Running   0          6d21h
   pod/telemeter-client-
   78fc8fc97d-2rgfp                3/3     Running   0          8d
   
   NAME                                                              STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS                  AGE
   persistentvolumeclaim/my-alertmanager-claim-alertmanager-main-0   Bound    pvc-0d519c4f-15a5-11ea-baa0-026d231574aa   40Gi       RWO            ocs-storagecluster-ceph-rbd   8d
   persistentvolumeclaim/my-alertmanager-claim-alertmanager-main-1   Bound    pvc-0d5a9825-15a5-11ea-baa0-026d231574aa   40Gi       RWO            ocs-storagecluster-ceph-rbd   8d
   persistentvolumeclaim/my-alertmanager-claim-alertmanager-main-2   Bound    pvc-0d6413dc-15a5-11ea-baa0-026d231574aa   40Gi       RWO            ocs-storagecluster-ceph-rbd   8d
   persistentvolumeclaim/my-prometheus-claim-prometheus-k8s-0        Bound    pvc-0b7c19b0-15a5-11ea-baa0-026d231574aa   40Gi       RWO            ocs-storagecluster-ceph-rbd   8d
   persistentvolumeclaim/my-prometheus-claim-prometheus-k8s-1        Bound    pvc-0b8aed3f-15a5-11ea-baa0-026d231574aa   40Gi       RWO            ocs-storagecluster-ceph-rbd   8d

2. モニタリング configmap を編集します。

   $ oc -n openshift-monitoring edit configmap cluster-monitoring-config

3. 以下の例が示すように、OpenShift Container Storage ストレージクラスを参照する config セクションを削除し、これを保存します。

   編集前

   . . . apiVersion: v1 data: config.yaml: | alertmanagerMain: volumeClaimTemplate: metadata: name: my-alertmanager-claim spec: resources: requests: storage: 40Gi storageClassName: ocs-storagecluster-ceph-rbd prometheusK8s: volumeClaimTemplate: metadata: name: my-prometheus-claim spec: resources: requests: storage: 40Gi storageClassName: ocs-storagecluster-ceph-rbd kind: ConfigMap metadata: creationTimestamp: "2019-12-02T07:47:29Z" name: cluster-monitoring-config namespace: openshift-monitoring resourceVersion: "22110" selfLink: /api/v1/namespaces/openshift-monitoring/configmaps/cluster-monitoring-config uid: fd6d988b-14d7-11ea-84ff-066035b9efa8 . . .

   編集後

   . . . apiVersion: v1 data: config.yaml: | kind: ConfigMap metadata: creationTimestamp: "2019-11-21T13:07:05Z" name: cluster-monitoring-config namespace: openshift-monitoring resourceVersion: "404352" selfLink: /api/v1/namespaces/openshift-monitoring/configmaps/cluster-monitoring-config uid: d12c796a-0c5f-11ea-9832-063cd735b81c . . .

   この例では、alertmanagerMain および prometheusK8s モニタリングコンポーネントは OpenShift Container Storage PVC を使用しています。

4. 関連する PVC を削除します。ストレージクラスを使用するすべての PVC を削除してください。

   $ oc delete -n openshift-monitoring pvc <pvc-name> --wait=true --timeout=5m

手順

1. configs.imageregistry.operator.openshift.io オブジェクトを編集し、storage セクションのコンテンツを削除します。

   $ oc edit configs.imageregistry.operator.openshift.io

   編集前

   . . . storage: pvc: claim: registry-cephfs-rwx-pvc . . .

   編集後

   . . . storage: emptyDir: {} . . .

   この例では、PVC は registry-cephfs-rwx-pvc と呼ばれ、これは安全に削除できます。

2. PVC を削除します。

   $ oc delete pvc <pvc-name> -n openshift-image-registry --wait=true --timeout=5m

手順

1. namespace の ClusterLogging インスタンスを削除します。

   $ oc delete clusterlogging instance -n openshift-logging --wait=true --timeout=5m

   openshift-logging namespace の PVC は安全に削除できます。

2. PVC を削除します。

   $ oc delete pvc <pvc-name> -n openshift-logging --wait=true --timeout=5m