手順

1. OpenShift Web コンソールにログインします。
2. Operators → OperatorHub をクリックします。
3. Filter by keyword… ボックスに local storage を入力し、Operator の一覧から Local Storage Operator を見つけ、これをクリックします。

4. Install Operator ページで、以下のオプションを設定します。

   1. チャンネルを 4.10 または stable のいずれかにして更新します。
   2. Installation Mode オプションに A specific namespace on the cluster を選択します。
   3. Installed Namespace に Operator recommended namespace openshift-local-storage を選択します。
   4. Approval Strategy に Automatic を選択します。
5. Install をクリックします。

手順

1. OpenShift Web コンソールにログインします。
2. Operators → OperatorHub をクリックします。
3. スクロールするか、OpenShift Data Foundation を Filter by keyword ボックスに入力し、OpenShift Data Foundation Operator を検索します。
4. Install をクリックします。

5. Install Operator ページで、以下のオプションを設定します。

   1. Channel を stable-4.10 として更新します。
   2. Installation Mode オプションに A specific namespace on the cluster を選択します。
   3. Installed Namespace に Operator recommended namespace openshift-storage を選択します。namespace openshift-storage が存在しない場合、これは Operator のインストール時に作成されます。

6. 承認ストラテジー を Automatic または Manual として選択している。

   Automatic (自動) 更新を選択した場合、Operator Lifecycle Manager (OLM) は介入なしに、Operator の実行中のインスタンスを自動的にアップグレードします。

   Manual 更新を選択した場合、OLM は更新要求を作成します。クラスター管理者は、Operator を新しいバージョンに更新できるように更新要求を手動で承認する必要があります。

7. Console プラグイン に Enable オプションが選択されていることを確認します。
8. Install をクリックします。

手順

1. Vault で Key/Value (KV) バックエンドパスを有効にします。

   Vault KV シークレットエンジン API の場合は、バージョン 1 を使用します。

   $ vault secrets enable -path=odf kv

   Vault KV シークレットエンジン API の場合は、バージョン 2 です。

   $ vault secrets enable -path=odf kv-v2

2. 以下のコマンドを使用して、シークレットでの書き込み操作または削除操作の実行をユーザーを制限するポリシーを作成します。

   echo '
   path "odf/*" {
     capabilities = ["create", "read", "update", "delete", "list"]
   }
   path "sys/mounts" {
   capabilities = ["read"]
   }'| vault policy write odf -

3. 上記のポリシーに一致するトークンを作成します。

   $ vault token create -policy=odf -format json

手順

1. サービスアカウントを作成します。

   $ oc -n openshift-storage create serviceaccount <serviceaccount_name>

   ここで、<serviceaccount_name> はサービスアカウントの名前を指定します。

   以下に例を示します。

   $ oc -n openshift-storage create serviceaccount odf-vault-auth

2. clusterrolebindings と clusterroles を作成します。

   $ oc -n openshift-storage create clusterrolebinding vault-tokenreview-binding --clusterrole=system:auth-delegator --serviceaccount=openshift-storage:_<serviceaccount_name>_

   以下に例を示します。

   $ oc -n openshift-storage create clusterrolebinding vault-tokenreview-binding --clusterrole=system:auth-delegator --serviceaccount=openshift-storage:odf-vault-auth

3. OpenShift Container Platform のバージョンに応じて、以下のいずれかを実行します。

   • OpenShift Container Platform 4.10 の場合:

     • 上記で作成された serviceaccount (SA) に関連付けられたシークレット名を特定します。

       $ VAULT_SA_SECRET_NAME=$(oc -n openshift-storage get sa <SA_NAME> -o jsonpath="{.secrets[*]['name']}") | grep -o "[^[:space:]]*-token-[^[:space:]]*"

       以下に例を示します。

       $ VAULT_SA_SECRET_NAME=$(oc -n openshift-storage get sa odf-vault-auth -o jsonpath="{.secrets[*]['name']}" | grep -o "[^[:space:]]*-token-[^[:space:]]*")

   • OpenShift Container Platform 4.11 の場合:

     • serviceaccount トークンおよび CA 証明書のシークレットを作成します。

       $ cat <<EOF | oc create -f -
       apiVersion: v1
       kind: Secret
       metadata:
         name: odf-vault-auth-token
         namespace: openshift-storage
         annotations:
           kubernetes.io/service-account.name: <serviceaccount_name>
       type: kubernetes.io/service-account-token
       data: {}
       EOF

       ここで、<serviceaccount_name> は、前の手順で作成したサービスアカウントです。

       $ VAULT_SA_SECRET_NAME=odf-vault-auth-token

4. シークレットからトークンと CA 証明書を取得します。

   $ SA_JWT_TOKEN=$(oc -n openshift-storage get secret "$VAULT_SA_SECRET_NAME" -o jsonpath="{.data.token}" | base64 --decode; echo)
   $ SA_CA_CRT=$(oc -n openshift-storage get secret "$VAULT_SA_SECRET_NAME" -o jsonpath="{.data['ca\.crt']}" | base64 --decode; echo)

5. OCP クラスターエンドポイントを取得します。

   $ OCP_HOST=$(oc config view --minify --flatten -o jsonpath="{.clusters[0].cluster.server}")

6. サービスアカウントの発行者を取得します。

   $ oc proxy &
   $ proxy_pid=$!
   $ issuer="$( curl --silent http://127.0.0.1:8001/.well-known/openid-configuration | jq -r .issuer)"
   $ kill $proxy_pid

7. 上記の手順で収集した情報を使用して、以下に示すように Vault で Kubernetes 認証方法を設定します。

   $ vault auth enable kubernetes
   $ vault write auth/kubernetes/config \
             token_reviewer_jwt="$SA_JWT_TOKEN" \
             kubernetes_host="$OCP_HOST" \
             kubernetes_ca_cert="$SA_CA_CRT" \
             issuer="$issuer"

   重要

   発行者が空の場合に Vault で Kubernetes 認証方法を設定するには、以下を行います。

   $ vault write auth/kubernetes/config \
             token_reviewer_jwt="$SA_JWT_TOKEN" \
             kubernetes_host="$OCP_HOST" \
             kubernetes_ca_cert="$SA_CA_CRT"

8. Vault で Key/Value (KV) バックエンドパスを有効にします。

   Vault KV シークレットエンジン API の場合は、バージョン 1 です。

   $ vault secrets enable -path=odf kv

   Vault KV シークレットエンジン API の場合は、バージョン 2 です。

   $ vault secrets enable -path=odf kv-v2

9. シークレットに対して書き込み操作または削除操作を実行するようにユーザーを制限するポリシーを作成します。

   echo '
   path "odf/*" {
     capabilities = ["create", "read", "update", "delete", "list"]
   }
   path "sys/mounts" {
   capabilities = ["read"]
   }'| vault policy write odf -

10. ロールを作成します。

    $ vault write auth/kubernetes/role/odf-rook-ceph-op \
            bound_service_account_names=rook-ceph-system,rook-ceph-osd,noobaa \
            bound_service_account_namespaces=openshift-storage \
            policies=odf \
            ttl=1440h

    ロール odf-rook-ceph-op は、後でストレージシステムの作成中に KMS 接続の詳細を設定するときに使用されます。

    $ vault write auth/kubernetes/role/odf-rook-ceph-osd \
            bound_service_account_names=rook-ceph-osd \
            bound_service_account_namespaces=openshift-storage \
            policies=odf \
            ttl=1440h

手順

1. OpenShift Data Foundation ラベルの付いたワーカーノードの名前の一覧を表示し、確認します。

   $ oc get nodes -l cluster.ocs.openshift.io/openshift-storage=

   出力例:

   NAME       STATUS   ROLES    AGE     VERSION
   worker-0   Ready    worker   2d11h   v1.23.3+e419edf
   worker-1   Ready    worker   2d11h   v1.23.3+e419edf
   worker-2   Ready    worker   2d11h   v1.23.3+e419edf

2. OpenShift Data Foundation リソースに使用される各ワーカーノードにログインし、Openshift Container Platform をデプロイする際にアタッチした追加ディスクの名前を見つけます。

   $ oc debug node/<node name>

   出力例:

   $ oc debug node/worker-0
   Starting pod/worker-0-debug ...
   To use host binaries, run `chroot /host`
   Pod IP: 192.168.0.63
   If you don't see a command prompt, try pressing enter.
   sh-4.4#
   sh-4.4# chroot /host
   sh-4.4# lsblk
   NAME   MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
   loop1    7:1    0   500G  0 loop
   sda      8:0    0   500G  0 disk
   sdb      8:16   0   120G  0 disk
   |-sdb1   8:17   0     4M  0 part
   |-sdb3   8:19   0   384M  0 part
   `-sdb4   8:20   0 119.6G  0 part
   sdc      8:32   0   500G  0 disk
   sdd      8:48   0   120G  0 disk
   |-sdd1   8:49   0     4M  0 part
   |-sdd3   8:51   0   384M  0 part
   `-sdd4   8:52   0 119.6G  0 part
   sde      8:64   0   500G  0 disk
   sdf      8:80   0   120G  0 disk
   |-sdf1   8:81   0     4M  0 part
   |-sdf3   8:83   0   384M  0 part
   `-sdf4   8:84   0 119.6G  0 part
   sdg      8:96   0   500G  0 disk
   sdh      8:112  0   120G  0 disk
   |-sdh1   8:113  0     4M  0 part
   |-sdh3   8:115  0   384M  0 part
   `-sdh4   8:116  0 119.6G  0 part
   sdi      8:128  0   500G  0 disk
   sdj      8:144  0   120G  0 disk
   |-sdj1   8:145  0     4M  0 part
   |-sdj3   8:147  0   384M  0 part
   `-sdj4   8:148  0 119.6G  0 part
   sdk      8:160  0   500G  0 disk
   sdl      8:176  0   120G  0 disk
   |-sdl1   8:177  0     4M  0 part
   |-sdl3   8:179  0   384M  0 part
   `-sdl4   8:180  0 119.6G  0 part /sysroot
   sdm      8:192  0   500G  0 disk
   sdn      8:208  0   120G  0 disk
   |-sdn1   8:209  0     4M  0 part
   |-sdn3   8:211  0   384M  0 part /boot
   `-sdn4   8:212  0 119.6G  0 part
   sdo      8:224  0   500G  0 disk
   sdp      8:240  0   120G  0 disk
   |-sdp1   8:241  0     4M  0 part
   |-sdp3   8:243  0   384M  0 part
   `-sdp4   8:244  0 119.6G  0 part

   この例では、worker-0 の場合、利用可能な 500G のローカルデバイスは sda、sdc、sde、sdg、sdi、sdk、sdm、sdo です。

3. OpenShift Data Foundation で使用されるストレージデバイスを持つその他のすべてのワーカーノードについてこの手順を繰り返します。詳細は、ナレッジベースアーティクル を参照してください。

手順

1. OpenShift Web コンソールにログインします。
2. openshift-local-storage namespace で、Operators → Installed Operators をクリックし、インストールされた Operator を表示します。
3. Local Storage のインストールされた Operator をクリックします。
4. Operator Details ページで、Local Volume リンクをクリックします。
5. Create Local Volume をクリックします。
6. ローカルボリュームを設定するには、YAML view をクリックします。

7. 以下の YAML を使用して、ブロック PV の LocalVolume カスタムリソースを定義します。

   apiVersion: local.storage.openshift.io/v1
   kind: LocalVolume
   metadata:
     name: localblock
     namespace: openshift-local-storage
   spec:
     logLevel: Normal
     managementState: Managed
     nodeSelector:
       nodeSelectorTerms:
         - matchExpressions:
             - key: kubernetes.io/hostname
               operator: In
               values:
                 - worker-0
                 - worker-1
                 - worker-2
     storageClassDevices:
       - devicePaths:
           - /dev/sda
         storageClassName: localblock
         volumeMode: Block

   上記の定義は、worker-0、worker-1、および worker-2 ノードから sda ローカルデバイスを選択します。localblock ストレージクラスが作成され、永続ボリュームが sda からプロビジョニングされます。

   重要

   環境に応じて nodeSelector の適切な値を指定します。デバイス名はすべてのワーカーノードで同一である必要があります。複数の devicePaths を指定することもできます。

8. Create をクリックします。

9. diskmaker-manager Pod および Persistent Volumes が作成されているかどうかを確認します。

   1. Pod の場合

      1. OpenShift Web コンソールの左側のペインから Workloads → Pods をクリックします。
      2. Project ドロップダウンリストから openshift-local-storage を選択します。
      3. LocalVolume CR の作成に使用した各ワーカーノードについて、diskmaker-manager Pod があるかどうかを確認します。

   2. 永続ボリュームの場合

      1. OpenShift Web コンソールの左側のペインから Storage → PersistentVolumes をクリックします。

      2. local-pv-* 名で永続ボリュームを確認します。永続ボリュームの数は、localVolume CR の作成中にプロビジョニングされたワーカーノードの数とストレージデバイスの数と同じです。

         重要

         • 柔軟なスケーリング機能は、3 つ以上のノードで作成したストレージクラスターが 3 つ以上のアベイラビリティーゾーンの最低要件未満に分散されている場合にのみ有効になります。

           柔軟なスケーリングについての詳細は、ストレージのスケーリングガイドの Add capacity using YAML セクションを参照してください。

10. OpenShift Web コンソールで、Operators → Installed Operators をクリックし、インストールされた Operator を表示します。

    選択された Project が openshift-storage であることを確認します。

11. OpenShift Data Foundation Operator をクリックした後、Create StorageSystem をクリックします。

12. Backing storage ページで、以下を実行します。

    1. Deployment type オプションで Full Deployment を選択します。
    2. Use an existing StorageClass オプションを選択します。

    3. LocalVolume のインストール時に使用した必要な Storage Class を選択します。

       デフォルトでは none に設定されます。

    4. Next をクリックします。

13. Capacity and nodes ページで、以下を設定します。

    1. Available raw capacity には、ストレージクラスに関連付けられた割り当てられたすべてのディスクに基づいて容量の値が設定されます。これには少し時間がかかります。
    2. Selected nodes 一覧には、ストレージクラスに基づくノードが表示されます。
    3. オプション: 選択したノードを OpenShift Data Foundation 専用にする場合は、Taint nodes チェックボックスを選択します。
    4. Next をクリックします。

14. オプション: Security and network ページで、要件に応じて以下を設定します。

    1. 暗号化を有効にするには、Enable data encryption for block and file storage を選択します。

    2. 以下の Encryption level のいずれかまたは両方を選択します。

       • クラスター全体の暗号化

         クラスター全体を暗号化します (ブロックおよびファイル)。

       • StorageClass の暗号化

         暗号化対応のストレージクラスを使用して、暗号化された永続ボリューム (ブロックのみ) を作成します。

    3. Connect to an external key management service チェックボックスを選択します。これはクラスター全体の暗号化の場合はオプションになります。

       1. Key Management Service Provider はデフォルトで Vault に設定されます。

       2. 認証方法を選択します。

          トークン認証方式の使用

          • Vault ('https://<hostname or ip>') サーバーの一意の Connection Name、host Address、Port 番号および Tokenを入力します。

          • Advanced Settings を展開して、Vault 設定に基づいて追加の設定および証明書の詳細を入力します。

            • OpenShift Data Foundation 専用かつ特有のキー値のシークレットパスを Backend Path に入力します。
            • オプション: TLS Server Name および Vault Enterprise Namespace を入力します。
            • それぞれの PEM でエンコードされた証明書ファイルをアップロードし、CA 証明書、クライアント証明書、および クライアントの秘密鍵 を提供します。
            • Save をクリックします。

          Kubernetes 認証方式の使用

          • Vault ('https://<hostname or ip>') サーバーの一意の Connection Name、host Address、Port 番号および Role 名を入力します。

          • Advanced Settings を展開して、Vault 設定に基づいて追加の設定および証明書の詳細を入力します。

            • OpenShift Data Foundation 専用かつ特有のキー値のシークレットパスを Backend Path に入力します。
            • 該当する場合は、TLS Server Name および Authentication Path を入力します。
            • それぞれの PEM でエンコードされた証明書ファイルをアップロードし、CA 証明書、クライアント証明書、および クライアントの秘密鍵 を提供します。
            • Save をクリックします。

    4. Multus は IBM Power の OpenShift Data Foundation でサポートされていないため、Default (SDN) を選択します。
    5. Next をクリックします。

15. Review and create ページで、以下を実行します。

    1. 設定の詳細を確認します。設定を変更するには、Back をクリックして以前の設定ページに戻ります。
    2. Create StorageSystem をクリックします。

手順

1. OpenShift Web コンソールの左側のペインから Workloads → Pods をクリックします。

2. Project ドロップダウンリストから openshift-storage を選択します。

   注記

   Show default projects オプションが無効になっている場合は、切り替えボタンを使用して、すべてのデフォルトプロジェクトを一覧表示します。

   各コンポーネントについて予想される Pod 数や、これがノード数によってどのように異なるかについての詳細は、表3.1「OpenShift Data Foundation クラスターに対応する Pod」 を参照してください。

3. Running および Completed タブをクリックして、以下の Pod が実行中および完了状態にあることを確認します。

   表3.1 OpenShift Data Foundation クラスターに対応する Pod

   コンポーネント	対応する Pod
   OpenShift Data Foundation Operator	ocs-operator-* (任意のワーカーノードに 1 Pod) ocs-metrics-exporter-*(任意のワーカーノードに 1 Pod) odf-operator-controller-manager-*(任意のワーカーノードに 1 Pod) odf-console-*(任意のワーカーノードに 1 Pod) csi-addons-controller-manager- * (任意のワーカーノードに 1 つの Pod)
   Rook-ceph Operator	rook-ceph-operator-* (任意のワーカーノードに 1 Pod)
   Multicloud Object Gateway	noobaa-operator-* (任意のワーカーノードに 1 Pod) noobaa-core-* (任意のストレージノードに 1 Pod) noobaa-db-pg-* (任意のストレージノードに 1 Pod) noobaa-endpoint-* (任意のストレージノードに 1 Pod)
   MON	rook-ceph-mon-* (各ストレージノードに 3 Pod)
   MGR	rook-ceph-mgr-* (任意のストレージノードに 1 Pod)
   MDS	rook-ceph-mds-ocs-storagecluster-cephfilesystem-* (ストレージノードに分散する 2 Pod)
   RGW	rook-ceph-rgw-ocs-storagecluster-cephobjectstore-* (任意のストレージノードに 1 Pod)
   CSI	cephfs csi-cephfsplugin-* (各ワーカーノードに 1 Pod) csi-cephfsplugin-provisioner-* (ワーカーノードに分散する 2 Pod) rbd csi-rbdplugin-* (各ワーカーノードに 1 Pod) csi-rbdplugin-provisioner-* (ストレージノードに分散する 2 Pod)
   rook-ceph-crashcollector	rook-ceph-crashcollector-* (各ストレージノードに 1 Pod)
   OSD	rook-ceph-osd-* (各デバイス用に 1 Pod) rook-ceph-osd-prepare-* (各デバイス用に 1 Pod)

手順

1. OpenShift Web コンソールで、Storage → Data Foundation をクリックします。
2. Storage Systems タブをクリックし、ocs-storagecluster-storagesystem をクリックします。
3. Overview タブの Block および File ダッシュボードの Status カードで、Storage Cluster と Data Resiliency の両方に緑色のチェックマークが表示されていることを確認します。
4. Details カード で、クラスター情報が表示されていることを確認します。

手順

1. OpenShift Web コンソールで、Storage → Data Foundation をクリックします。

2. Overview タブの Status カードで Storage System をクリックし、表示されたポップアップからストレージシステムリンクをクリックします。

   1. Object タブの Status カードで、Object Service と Data Resiliency の両方に緑色のチェックマークが表示されていることを確認します。
   2. Details カードで、MCG 情報が表示されることを確認します。

手順

1. OpenShift Web コンソールの左側のペインから Storage → Storage Classes をクリックします。

2. 以下のストレージクラスが OpenShift Data Foundation クラスターの作成時に作成されることを確認します。

   • ocs-storagecluster-ceph-rbd
   • ocs-storagecluster-cephfs
   • openshift-storage.noobaa.io
   • ocs-storagecluster-ceph-rgw

手順

1. OpenShift Web コンソールにログインします。
2. Operators → OperatorHub をクリックします。
3. Filter by keyword… ボックスに local storage を入力し、Operator の一覧から Local Storage Operator を見つけ、これをクリックします。

4. Install Operator ページで、以下のオプションを設定します。

   1. チャンネルを 4.10 または stable のいずれかにして更新します。
   2. Installation Mode オプションに A specific namespace on the cluster を選択します。
   3. Installed Namespace に Operator recommended namespace openshift-local-storage を選択します。
   4. Approval Strategy に Automatic を選択します。
5. Install をクリックします。

手順

1. OpenShift Web コンソールにログインします。
2. Operators → OperatorHub をクリックします。
3. スクロールするか、OpenShift Data Foundation を Filter by keyword ボックスに入力し、OpenShift Data Foundation Operator を検索します。
4. Install をクリックします。

5. Install Operator ページで、以下のオプションを設定します。

   1. Channel を stable-4.10 として更新します。
   2. Installation Mode オプションに A specific namespace on the cluster を選択します。
   3. Installed Namespace に Operator recommended namespace openshift-storage を選択します。namespace openshift-storage が存在しない場合、これは Operator のインストール時に作成されます。

6. 承認ストラテジー を Automatic または Manual として選択している。

   Automatic (自動) 更新を選択した場合、Operator Lifecycle Manager (OLM) は介入なしに、Operator の実行中のインスタンスを自動的にアップグレードします。

   Manual 更新を選択した場合、OLM は更新要求を作成します。クラスター管理者は、Operator を新しいバージョンに更新できるように更新要求を手動で承認する必要があります。

7. Console プラグイン に Enable オプションが選択されていることを確認します。
8. Install をクリックします。

手順

1. OpenShift Web コンソールにログインします。
2. openshift-local-storage namespace で、Operators → Installed Operators をクリックし、インストールされた Operator を表示します。
3. Local Storage のインストールされた Operator をクリックします。
4. Operator Details ページで、Local Volume リンクをクリックします。
5. Create Local Volume をクリックします。
6. ローカルボリュームを設定するには、YAML view をクリックします。

7. 次の YAML を使用して、ファイルシステム PV の LocalVolume カスタムリソースを定義します。

   apiVersion: local.storage.openshift.io/v1
   kind: LocalVolume
   metadata:
     name: localblock
     namespace: openshift-local-storage
   spec:
     logLevel: Normal
     managementState: Managed
     nodeSelector:
       nodeSelectorTerms:
         - matchExpressions:
             - key: kubernetes.io/hostname
               operator: In
               values:
                 - worker-0
                 - worker-1
                 - worker-2
     storageClassDevices:
       - devicePaths:
           - /dev/sda
         storageClassName: localblock
         volumeMode: Filesystem

   上記の定義は、worker-0、worker-1、および worker-2 ノードから sda ローカルデバイスを選択します。localblock ストレージクラスが作成され、永続ボリュームが sda からプロビジョニングされます。

   重要

   環境に応じて nodeSelector の適切な値を指定します。デバイス名はすべてのワーカーノードで同一である必要があります。複数の devicePaths を指定することもできます。

8. Create をクリックします。

9. OpenShift Web コンソールで、Operators → Installed Operators をクリックし、インストールされた Operator を表示します。

   選択された Project が openshift-storage であることを確認します。

10. OpenShift Data Foundation Operator をクリックした後、Create StorageSystem をクリックします。
11. Backing storage ページで、Deployment type に Multicloud Object Gateway を選択します。

12. Backing storage type の Use an existing StorageClass オプションを選択します。

    1. LocalVolume のインストール時に使用した Storage Class を選択します。
13. Next をクリックします。

14. オプション: Security ページで、Connect to an external key management service を選択します。

    1. Key Management Service Provider はデフォルトで Vault に設定されます。
    2. Vault Service Name、Vault サーバーのホスト Address('https://<hostname or ip>')、Port number および Token を入力します。

    3. Advanced Settings を展開して、Vault 設定に基づいて追加の設定および証明書の詳細を入力します。

       1. OpenShift Data Foundation 専用で固有のキーバリューシークレットパスを Backend Path に入力します。
       2. オプション: TLS Server Name および Vault Enterprise Namespace を入力します。
       3. それぞれの PEM でエンコードされた証明書ファイルをアップロードし、CA 証明書、クライアント証明書、および クライアントの秘密鍵 を提供します。
       4. Save をクリックします。
    4. Next をクリックします。

15. Review and create ページで、設定の詳細を確認します。

    設定設定を変更するには、Back をクリックします。

16. Create StorageSystem をクリックします。