第3章 OpenShift Container Platform のアンインストール

手順

1. ストレージクラスを一覧表示し、以下のストレージクラスプロビジョナーのストレージクラスをメモします。

   • openshift-storage.rbd.csi.ceph.com
   • openshift-storage.cephfs.csi.ceph.com

   • openshift-storage.noobaa.io/obc

     以下は例になります。

     $ oc get storageclasses
     NAME                          PROVISIONER                             RECLAIMPOLICY   VOLUMEBINDINGMODE      ALLOWVOLUMEEXPANSION   AGE
     managed-premium (default)     kubernetes.io/azure-disk                Delete          WaitForFirstConsumer   true                   113m
     ocs-storagecluster-ceph-rbd   openshift-storage.rbd.csi.ceph.com      Delete          Immediate              false                  95m
     ocs-storagecluster-cephfs     openshift-storage.cephfs.csi.ceph.com   Delete          Immediate              false                  95m
     openshift-storage.noobaa.io   openshift-storage.noobaa.io/obc         Delete          Immediate              false                  90m

2. 直前の手順に記載されているストレージクラスプロビジョナーを使用している PVC および OBC をクエリーします。

   $ oc get pvc -o=jsonpath='{range .items[?(@.spec.storageClassName=="ocs-storagecluster-ceph-rbd")]}{"Name: "}{@.metadata.name}{" Namespace: "}{@.metadata.namespace}{" Labels: "}{@.metadata.labels}{"\n"}{end}' --all-namespaces|awk '! ( /Namespace: openshift-storage/ && /app:noobaa/ )'

   $ oc get pvc -o=jsonpath='{range .items[?(@.spec.storageClassName=="ocs-storagecluster-cephfs")]}{"Name: "}{@.metadata.name}{" Namespace: "}{@.metadata.namespace}{"\n"}{end}' --all-namespaces

   $ oc get obc -o=jsonpath='{range .items[?(@.spec.storageClassName=="openshift-storage.noobaa.io")]}{"Name: "}{@.metadata.name}{" Namespace: "}{@.metadata.namespace}{"\n"}{end}' --all-namespaces

   注記

   openshift-storage namespace の NooBaa PVC を無視します。

3. 以下の手順に従って、直前の手順に記載されている PVC が削除されていることを確認します。

   1. PVC を使用する Pod を判別します。

   2. Deployment、StatefulSet、 DeamonSet、Job、またはカスタムコントローラーなどの制御する側のオブジェクトを特定します。

      各オブジェクトには、OwnerReference として知られるメタデータフィールドがあります。これは、関連付けられたオブジェクトの一覧です。controller フィールドが true に設定された OwnerReference は、 ReplicaSet、StatefulSet、 DaemonSet などの制御する側のオブジェクトをポイントします。

   3. プロジェクトの所有者を確認してからこれを削除し、オブジェクトを安全に削除できるようにします。

   4. PVC および OBC を削除します。

      $ oc delete pvc <pvc name> -n <project-name>
      $ oc delete obc <obc name> -n <project name>

      モニタリングスタック、クラスターロギング Operator、または prometheus レジストリーの設定の一部として PVC を作成した場合は、必要に応じて以下のセクションで説明されているクリーンアップ手順を実行する必要があります。

      • 「OpenShift Container Storage からのモニタリングスタックの削除」
      • 「OpenShift Container Storage からの OpenShift Container Platform レジストリーの削除」
      • 「OpenShift Container Storage からのクラスターロギング Operator の削除」

4. バッキングローカルボリュームオブジェクトを一覧表示し、これをメモします。結果が見つからない場合は、ステップ 8 および 9 を省略します。

   $ for sc in $(oc get storageclass|grep 'kubernetes.io/no-provisioner' |grep -E $(oc get storagecluster -n openshift-storage -o jsonpath='{ .items[*].spec.storageDeviceSets[*].dataPVCTemplate.spec.storageClassName}' | sed 's/ /|/g')| awk '{ print $1 }');
   do
       echo -n "StorageClass: $sc ";
       oc get storageclass $sc -o jsonpath=" { 'LocalVolume: ' }{ .metadata.labels['local\.storage\.openshift\.io/owner-name'] } { '\n' }";
   done

   StorageClass: localblock  LocalVolume: local-block

5. StorageCluster オブジェクトを削除します。

   $ oc delete -n openshift-storage storagecluster --all --wait=true

6. namespace を削除し、削除が完了するまで待機します。

   $ oc delete project openshift-storage --wait=true --timeout=5m

   注記

   openshift-storage がアクティブなプロジェクトであった場合には、別のプロジェクトに切り替える必要があります。

   以下は例になります。

   $ oc project default

7. 各ノードでストレージ Operator アーティファクトをクリーンアップします。

   $ for i in $(oc get node -l cluster.ocs.openshift.io/openshift-storage= -o jsonpath='{ .items[*].metadata.name }'); do oc debug node/${i} -- chroot /host rm -rfv /var/lib/rook; done

   removed directory /var/lib/rook が出力に表示されることを確認します。

   Starting pod/ip-10-0-134-65us-east-2computeinternal-debug ...
   To use host binaries, run `chroot /host`
   removed '/var/lib/rook/openshift-storage/log/ocs-deviceset-2-0-gk22s/ceph-volume.log'
   removed directory '/var/lib/rook/openshift-storage/log/ocs-deviceset-2-0-gk22s'
   removed '/var/lib/rook/openshift-storage/log/ceph-osd.2.log'
   removed '/var/lib/rook/openshift-storage/log/ceph-volume.log'
   removed directory '/var/lib/rook/openshift-storage/log'
   removed directory '/var/lib/rook/openshift-storage/crash/posted'
   removed directory '/var/lib/rook/openshift-storage/crash'
   removed '/var/lib/rook/openshift-storage/client.admin.keyring'
   removed '/var/lib/rook/openshift-storage/openshift-storage.config'
   removed directory '/var/lib/rook/openshift-storage'
   removed '/var/lib/rook/osd2/openshift-storage.config'
   removed directory '/var/lib/rook/osd2'
   removed directory '/var/lib/rook'
   
   Removing debug pod ...
   Starting pod/ip-10-0-155-149us-east-2computeinternal-debug ...
   .
   .
   removed directory '/var/lib/rook'
   
   Removing debug pod ...
   Starting pod/ip-10-0-162-89us-east-2computeinternal-debug ...
   .
   .
   removed directory '/var/lib/rook'
   
   Removing debug pod ...

8. デプロイメント時に作成されたローカルボリュームを削除し、手順 4 に記載されている各ローカルボリュームについてこれを実行します。

   ローカルボリュームごとに、以下を実行します。

   1. 変数 LV を LocalVolume の名前に設定し、変数 SC を StorageClass の名前に設定します。

      以下は例になります。

      $ LV=local-block
      $ SC=localblock

   2. 後にクリーンアップするデバイスを一覧表示し、これをメモします。

      $ oc get localvolume -n local-storage $LV -o jsonpath='{ .spec.storageClassDevices[*].devicePaths[*] }'

      /dev/disk/by-id/nvme-Amazon_Elastic_Block_Store_vol078f5cdde09efc165 /dev/disk/by-id/nvme-Amazon_Elastic_Block_Store_vol0defc1d5e2dd07f9e /dev/disk/by-id/nvme-Amazon_Elastic_Block_Store_vol0c8e82a3beeb7b7e5

   3. ローカルボリュームリソースを削除します。

      $ oc delete localvolume -n local-storage --wait=true $LV

   4. 残りの PV および StorageClass が存在する場合はこれらを削除します。

      $ oc delete pv -l storage.openshift.com/local-volume-owner-name=${LV} --wait --timeout=5m
      $ oc delete storageclass $SC --wait --timeout=5m

   5. 該当するリソースのストレージノードからアーティファクトをクリーンアップします。

      $ [[ ! -z $SC ]] && for i in $(oc get node -l cluster.ocs.openshift.io/openshift-storage= -o jsonpath='{ .items[*].metadata.name }'); do oc debug node/${i} -- chroot /host rm -rfv /mnt/local-storage/${SC}/; done

      Starting pod/ip-10-0-141-2us-east-2computeinternal-debug ...
      To use host binaries, run `chroot /host`
      removed '/mnt/local-storage/localblock/nvme2n1'
      removed directory '/mnt/local-storage/localblock'
      
      Removing debug pod ...
      Starting pod/ip-10-0-144-55us-east-2computeinternal-debug ...
      To use host binaries, run `chroot /host`
      removed '/mnt/local-storage/localblock/nvme2n1'
      removed directory '/mnt/local-storage/localblock'
      
      Removing debug pod ...
      Starting pod/ip-10-0-175-34us-east-2computeinternal-debug ...
      To use host binaries, run `chroot /host`
      removed '/mnt/local-storage/localblock/nvme2n1'
      removed directory '/mnt/local-storage/localblock'
      
      Removing debug pod ...

9. 手順 4 に一覧表示されている各ローカルボリュームのディスクを消去して、それらを再利用できるようにします。

   1. ストレージノードを一覧表示します。

      oc get nodes -l cluster.ocs.openshift.io/openshift-storage=

      NAME                                         STATUS   ROLES    AGE     VERSION
      ip-10-0-134-65.us-east-2.compute.internal    Ready    worker   4h45m   v1.17.1
      ip-10-0-155-149.us-east-2.compute.internal   Ready    worker   4h46m   v1.17.1
      ip-10-0-162-89.us-east-2.compute.internal    Ready    worker   4h45m   v1.17.1

   2. プロンプトが表示されたらノードコンソールを取得し、 chroot /host コマンドを実行します。

      $ oc debug node/ip-10-0-134-65.us-east-2.compute.internal
      Starting pod/ip-10-0-134-65us-east-2computeinternal-debug ...
      To use host binaries, run `chroot /host`
      Pod IP: 10.0.134.65
      If you don't see a command prompt, try pressing enter.
      sh-4.2# chroot /host

   3. 手順 8 (ii) で収集されたディスクパスを引用符内の DISKS 変数に保存します。

      sh-4.2# DISKS="/dev/disk/by-id/nvme-Amazon_Elastic_Block_Store_vol078f5cdde09efc165 /dev/disk/by-id/nvme-Amazon_Elasti_Block_Store_vol0defc1d5e2dd07f9e /dev/disk/by-id/nvme-Amazon_Elastic_Block_Store_vol0c8e82a3beeb7b7e5"

   4. すべてのディスクで sgdisk --zap-all を実行します。

      sh-4.4# for disk in $DISKS; do sgdisk --zap-all $disk;done

      Problem opening /dev/disk/by-id/nvme-Amazon_Elastic_Block_Store_vol078f5cdde09efc165 for reading! Error is 2.
      The specified file does not exist!
      Problem opening '' for writing! Program will now terminate.
      Warning! MBR not overwritten! Error is 2!
      Problem opening /dev/disk/by-id/nvme-Amazon_Elasti_Block_Store_vol0defc1d5e2dd07f9e for reading! Error is 2.
      The specified file does not exist!
      Problem opening '' for writing! Program will now terminate.
      Warning! MBR not overwritten! Error is 2!
      Creating new GPT entries.
      GPT data structures destroyed! You may now partition the disk using fdisk or
      other utilities.

      注記

      他のマシンにあるディスクを参照していることから、「file-not-found」(ファイルが見つからない) という警告を無視します。

   5. シェルを終了し、他のノードについて手順を繰り返します。

      sh-4.4# exit
      exit
      sh-4.2# exit
      exit
      
      Removing debug pod ...

10. 手順 1 で一覧表示されている openshift-storage プロビジョナーの設定されているストレージクラスを削除します。

    $ oc delete storageclass <storageclass-name> --wait=true --timeout=5m

    以下は例になります。

    $ oc delete storageclass ocs-storagecluster-ceph-rbd ocs-storagecluster-cephfs openshift-storage.noobaa.io --wait=true --timeout=5m

11. ストレージノードのラベルを解除します。

    $ oc label nodes  --all cluster.ocs.openshift.io/openshift-storage-
    $ oc label nodes  --all topology.rook.io/rack-

    注記

    label <label> not found のようなラベルが解除されているノードについて表示される警告は無視できます。

12. CustomResourceDefinitions を削除します。

    $ oc delete crd backingstores.noobaa.io bucketclasses.noobaa.io cephblockpools.ceph.rook.io cephclusters.ceph.rook.io cephfilesystems.ceph.rook.io cephnfses.ceph.rook.io cephobjectstores.ceph.rook.io cephobjectstoreusers.ceph.rook.io noobaas.noobaa.io ocsinitializations.ocs.openshift.io  storageclusterinitializations.ocs.openshift.io storageclusters.ocs.openshift.io  --wait=true --timeout=5m

    注記

    AWS で OpenShift Container Storage クラスターをアンインストールすると、ターゲットバケットに保存されているすべての OpenShift Container Storage データが削除されますが、ユーザーによって作成されたターゲットバケットや、OpenShift Container Storage のインストール時に自動的に作成されたターゲットバケットは削除されず、OpenShift Container Storage に属していないデータはこれらのターゲットバケットに残ります。

13. OpenShift Container Storage がアンインストールされていることを確認するには、openshift-storage namespace がすでに存在しておらず、ストレージダッシュボードが UI に表示されないことを確認します。