3.12. 新しいストレージクラスターのブートストラップ

手順

1. JSON ファイルを作成します。この例では、ファイルの名前は mylogin.json です。

   構文

   {
    "url":"REGISTRY_URL",
    "username":"USER_NAME",
    "password":"PASSWORD"
   }

   例:

   {
    "url":"registry.redhat.io",
    "username":"myuser1",
    "password":"mypassword1"
   }

2. ストレージクラスターをブートストラップします。

   構文

   cephadm bootstrap --mon-ip IP_ADDRESS --registry-json /etc/mylogin.json

   例:

   [root@host01 ~]# cephadm bootstrap --mon-ip 10.10.128.68 --registry-json /etc/mylogin.json

手順

1. ブートストラップホストにログインします。

2. ストレージクラスターのサービス設定の .yaml ファイルを作成します。このサンプルファイルは、cephadm bootstrap に対して、最初のホストおよび 2 つの追加ホストを設定するよう指示し、利用可能なすべてのディスクに OSD を作成するように指定します。

   例:

   service_type: host
   addr: host01
   hostname: host01
   ---
   service_type: host
   addr: host02
   hostname: host02
   ---
   service_type: host
   addr: host03
   hostname: host03
   ---
   service_type: host
   addr: host04
   hostname: host04
   ---
   service_type: mon
   placement:
     host_pattern: "host[0-2]"
   ---
   service_type: osd
   service_id: my_osds
   placement:
     host_pattern: "host[1-3]"
   data_devices:
     all: true

3. --apply-spec オプションを使用してストレージクラスターをブートストラップします。

   構文

   cephadm bootstrap --apply-spec CONFIGURATION_FILE_NAME --mon-ip MONITOR_IP_ADDRESS --ssh-private-key PRIVATE_KEY --ssh-public-key PUBLIC_KEY --registry-url registry.redhat.io --registry-username USER_NAME --registry-password PASSWORD

   例:

   [root@host01 ~]# cephadm bootstrap --apply-spec initial-config.yaml --mon-ip 10.10.128.68 --ssh-private-key /home/ceph/.ssh/id_rsa --ssh-public-key /home/ceph/.ssh/id_rsa.pub --registry-url registry.redhat.io --registry-username myuser1 --registry-password mypassword1

   スクリプトが完了するまで数分かかります。スクリプトが完了すると、Red Hat Ceph Storage Dashboard URL へのクレデンシャル、Ceph コマンドラインインターフェイス (CLI) にアクセスするコマンド、およびテレメトリーを有効にする要求が提供されます。

4. ストレージクラスターが稼働状態になったら、追加のデーモンとサービスの設定の詳細について Red Hat Ceph Storage Operations Guide を参照してください。

手順

1. ブートストラップノードで sudo に変更します。

   構文

   su - SSH_USER_NAME

   例:

   [root@host01 ~]# su - ceph
   Last login: Tue Sep 14 12:00:29 EST 2021 on pts/0

2. ブートストラップノードに対して SSH 接続を確立します。

   例:

   [ceph@host01 ~]# ssh host01
   Last login: Tue Sep 14 12:03:29 EST 2021 on pts/0

3. オプション: cephadm bootstrap コマンドを呼び出します。

   注記

   秘密キーと公開キーの使用はオプションです。SSH キーがまだ作成されていない場合は、この手順で作成できます。

   --ssh-private-key オプションおよび --ssh-public-key オプションを追加します。

   構文

   cephadm bootstrap --ssh-user USER_NAME --mon-ip IP_ADDRESS --ssh-private-key PRIVATE_KEY --ssh-public-key PUBLIC_KEY --registry-url registry.redhat.io --registry-username USER_NAME --registry-password PASSWORD

   例

   cephadm bootstrap --ssh-user ceph-admin --mon-ip 10.10.128.68 --ssh-private-key /home/ceph/.ssh/id_rsa --ssh-public-key /home/ceph/.ssh/id_rsa.pub --registry-url registry.redhat.io --registry-username myuser1 --registry-password mypassword1

手順

1. パブリックネットワークとクラスターノードの両方にアクセスできるノードにログインします。

2. ノードを登録します。プロンプトが表示されたら、適切な Red Hat カスタマーポータルの認証情報を入力します。

   例:

   [root@admin ~]# subscription-manager register

3. 最新のサブスクリプションデータをプルします。

   例:

   [root@admin ~]# subscription-manager refresh

4. Red Hat Ceph Storage で利用可能なサブスクリプションのリストを表示します。

   例:

   [root@admin ~]# subscription-manager list --available --all --matches="*Ceph*"

   Red Hat Ceph Storage の利用可能なサブスクリプションのリストから Pool ID をコピーします。

5. サブスクリプションを割り当て、ソフトウェアエンタイトルメントにアクセスします。

   構文

   subscription-manager attach --pool=POOL_ID

   POOL_ID を前のステップで特定したプール ID に置き換えます。

6. デフォルトのソフトウェアリポジトリーを無効にし、サーバーおよび追加のリポジトリーを有効にします。

   Red Hat Enterprise Linux 8

   [root@admin ~]# subscription-manager repos --disable=*
   [root@admin ~]# subscription-manager repos --enable=rhel-8-for-x86_64-baseos-rpms
   [root@admin ~]# subscription-manager repos --enable=rhel-8-for-x86_64-appstream-rpms

   Red Hat Enterprise Linux 9

   [root@admin ~]# subscription-manager repos --disable=*
   [root@admin ~]# subscription-manager repos --enable=rhel-9-for-x86_64-baseos-rpms
   [root@admin ~]# subscription-manager repos --enable=rhel-9-for-x86_64-appstream-rpms

7. podman パッケージおよび httpd-tools パッケージをインストールします。

   例:

   [root@admin ~]# dnf install -y podman httpd-tools

8. プライベートレジストリーのフォルダーを作成します。

   例:

   [root@admin ~]# mkdir -p /opt/registry/{auth,certs,data}

   レジストリーは /opt/registry に保存され、ディレクトリーはレジストリーを実行しているコンテナーにマウントされます。

   • auth ディレクトリーは、レジストリーが認証に使用する htpasswd ファイルを保存します。
   • certs ディレクトリーは、レジストリーが認証に使用する証明書を保存します。
   • data ディレクトリーはレジストリーイメージを保存します。

9. プライベートレジストリーにアクセスするための認証情報を作成します。

   構文

   htpasswd -bBc /opt/registry/auth/htpasswd PRIVATE_REGISTRY_USERNAME PRIVATE_REGISTRY_PASSWORD

   • b オプションは、コマンドラインからパスワードを提供します。
   • B オプションは、Bcrypt 暗号化を使用してパスワードを保存します。
   • c オプションは htpasswd ファイルを作成します。
   • PRIVATE_REGISTRY_USERNAME を、プライベートレジストリー用に作成するユーザー名に置き換えます。

   • PRIVATE_REGISTRY_PASSWORD をプライベートレジストリーのユーザー名用に作成するパスワードに置き換えます。

     例:

     [root@admin ~]# htpasswd -bBc /opt/registry/auth/htpasswd myregistryusername myregistrypassword1

10. 自己署名証明書を作成します。

    構文

    openssl req -newkey rsa:4096 -nodes -sha256 -keyout /opt/registry/certs/domain.key -x509 -days 365 -out /opt/registry/certs/domain.crt -addext "subjectAltName = DNS:LOCAL_NODE_FQDN"

    • LOCAL_NODE_FQDN を、プライベートレジストリーノードの完全修飾ホスト名に置き換えます。

      注記

      証明書のそれぞれのオプションを求めるプロンプトが出されます。CN= 値はノードのホスト名であり、DNS または /etc/hosts ファイルで解決できる必要があります。

      例:

      [root@admin ~]# openssl req -newkey rsa:4096 -nodes -sha256 -keyout /opt/registry/certs/domain.key -x509 -days 365 -out /opt/registry/certs/domain.crt -addext "subjectAltName = DNS:admin.lab.redhat.com"

      注記

      自己署名証明書を作成する場合は、適切な Subject Alternative Name (SAN) で証明書を作成してください。適切な SAN を含まない証明書の TLS 検証を必要とする Podman コマンドは、エラーx509: certificate relies on legacy Common Name field, use SANs or temporarily enable Common Name matching with GODEBUG=x509ignoreCN=0を返します。

11. domain.cert へのシンボリックリンクを作成し、skopeo がファイル拡張子 .cert の証明書を特定できるようにします。

    例:

    [root@admin ~]# ln -s /opt/registry/certs/domain.crt /opt/registry/certs/domain.cert

12. プライベートレジストリーノードの信頼済みリストに証明書を追加します。

    構文

    cp /opt/registry/certs/domain.crt /etc/pki/ca-trust/source/anchors/
    update-ca-trust
    trust list | grep -i "LOCAL_NODE_FQDN"

    LOCAL_NODE_FQDN を、プライベートレジストリーノードの FQDN に置き換えます。

    例:

    [root@admin ~]# cp /opt/registry/certs/domain.crt /etc/pki/ca-trust/source/anchors/
    [root@admin ~]# update-ca-trust
    [root@admin ~]# trust list | grep -i "admin.lab.redhat.com"
    
        label: admin.lab.redhat.com

13. インストールのためにプライベートレジストリーにアクセスする任意のノードに証明書をコピーし、信頼されるリストを更新します。

    例:

    [root@admin ~]# scp /opt/registry/certs/domain.crt root@host01:/etc/pki/ca-trust/source/anchors/
    [root@admin ~]# ssh root@host01
    [root@host01 ~]# update-ca-trust
    [root@host01 ~]# trust list | grep -i "admin.lab.redhat.com"
    
        label: admin.lab.redhat.com

14. ローカルのセキュアなプライベートレジストリーを起動します。

    構文

    [root@admin ~]# podman run --restart=always --name NAME_OF_CONTAINER \
    -p 5000:5000 -v /opt/registry/data:/var/lib/registry:z \
    -v /opt/registry/auth:/auth:z \
    -v /opt/registry/certs:/certs:z \
    -e "REGISTRY_AUTH=htpasswd" \
    -e "REGISTRY_AUTH_HTPASSWD_REALM=Registry Realm" \
    -e REGISTRY_AUTH_HTPASSWD_PATH=/auth/htpasswd \
    -e "REGISTRY_HTTP_TLS_CERTIFICATE=/certs/domain.crt" \
    -e "REGISTRY_HTTP_TLS_KEY=/certs/domain.key" \
    -e REGISTRY_COMPATIBILITY_SCHEMA1_ENABLED=true \
    -d registry:2

    NAME_OF_CONTAINER をコンテナーに割り当てる名前に置き換えます。

    例:

    [root@admin ~]# podman run --restart=always --name myprivateregistry \
    -p 5000:5000 -v /opt/registry/data:/var/lib/registry:z \
    -v /opt/registry/auth:/auth:z \
    -v /opt/registry/certs:/certs:z \
    -e "REGISTRY_AUTH=htpasswd" \
    -e "REGISTRY_AUTH_HTPASSWD_REALM=Registry Realm" \
    -e REGISTRY_AUTH_HTPASSWD_PATH=/auth/htpasswd \
    -e "REGISTRY_HTTP_TLS_CERTIFICATE=/certs/domain.crt" \
    -e "REGISTRY_HTTP_TLS_KEY=/certs/domain.key" \
    -e REGISTRY_COMPATIBILITY_SCHEMA1_ENABLED=true \
    -d registry:2

    これにより、ポート 5000 でプライベートレジストリーを起動し、レジストリーを実行するコンテナーにレジストリーディレクトリーのボリュームをマウントします。

15. ローカルレジストリーノードで、registry.redhat.io がコンテナーレジストリーの検索パスにあることを確認します。

    1. /etc/containers/registries.conf ファイルを編集するために開き、registry.redhat.io を unqualified-search-registries リストに追加します (存在しない場合)。

       例:

       unqualified-search-registries = ["registry.redhat.io", "registry.access.redhat.com", "registry.fedoraproject.org", "registry.centos.org", "docker.io"]

16. Red Hat カスタマーポータルの認証情報を使用して registry.redhat.io にログインします。

    構文

    podman login registry.redhat.io

17. 以下の Red Hat Ceph Storage 5 イメージ、Prometheus イメージ、および Dashboard イメージを Red Hat カスタマーポータルからプライベートレジストリーにコピーします。

    表3.1 スタックを監視するためのカスタムイメージの詳細

    モニタリングスタックコンポーネント	イメージの詳細
    Prometheus	registry.redhat.io/openshift4/ose-prometheus:v4.10
    Grafana	registry.redhat.io/rhceph/rhceph-5-dashboard-rhel8:latest
    Node-exporter	registry.redhat.io/openshift4/ose-prometheus-node-exporter:v4.10
    AlertManager	registry.redhat.io/openshift4/ose-prometheus-alertmanager:v4.10
    HAProxy	registry.redhat.io/rhceph/rhceph-haproxy-rhel8:latest
    keepalived	registry.redhat.io/rhceph/keepalived-rhel8:latest
    SNMP ゲートウェイ	registry.redhat.io/rhceph/snmp-notifier-rhel8:latest

    構文

    podman run -v /CERTIFICATE_DIRECTORY_PATH:/certs:Z -v /CERTIFICATE_DIRECTORY_PATH/domain.cert:/certs/domain.cert:Z  --rm registry.redhat.io/rhel8/skopeo:8.5-8 skopeo copy  --remove-signatures --src-creds RED_HAT_CUSTOMER_PORTAL_LOGIN:RED_HAT_CUSTOMER_PORTAL_PASSWORD --dest-cert-dir=./certs/ --dest-creds PRIVATE_REGISTRY_USERNAME:PRIVATE_REGISTRY_PASSWORD docker://registry.redhat.io/SRC_IMAGE:SRC_TAG docker://LOCAL_NODE_FQDN:5000/DST_IMAGE:DST_TAG

    • CERTIFICATE_DIRECTORY_PATH は、自己署名証明書へのディレクトリーパスに置き換えます。
    • RED_HAT_CUSTOMER_PORTAL_LOGIN および RED_HAT_CUSTOMER_PORTAL_PASSWORD は、ご自分の Red Hat カスタマーポータルの認証情報に置き換えてください。
    • PRIVATE_REGISTRY_USERNAME および PRIVATE_REGISTRY_PASSWORD をプライベートレジストリーの認証情報に置き換えます。
    • SRC_IMAGE および SRC_TAG を、registry.redhat.io からコピーするイメージの名前およびタグに置き換えます。
    • DST_IMAGE および DST_TAG を、プライベートレジストリーにコピーするイメージの名前およびタグに置き換えます。

    • LOCAL_NODE_FQDN を、プライベートレジストリーの FQDN に置き換えます。

      例:

      [root@admin ~]# podman run -v /opt/registry/certs:/certs:Z -v /opt/registry/certs/domain.cert:/certs/domain.cert:Z --rm registry.redhat.io/rhel8/skopeo:8.5-8 skopeo copy  --remove-signatures --src-creds myusername:mypassword1 --dest-cert-dir=./certs/ --dest-creds myregistryusername:myregistrypassword1 docker://registry.redhat.io/rhceph/rhceph-5-rhel8:latest docker://admin.lab.redhat.com:5000/rhceph/rhceph-5-rhel8:latest
      
      [root@admin ~]# podman run -v /opt/registry/certs:/certs:Z -v /opt/registry/certs/domain.cert:/certs/domain.cert:Z --rm registry.redhat.io/rhel8/skopeo:8.5-8 skopeo copy  --remove-signatures --src-creds myusername:mypassword1 --dest-cert-dir=./certs/ --dest-creds myregistryusername:myregistrypassword1 docker://registry.redhat.io/openshift4/ose-prometheus-node-exporter:v4.10 docker://admin.lab.redhat.com:5000/openshift4/ose-prometheus-node-exporter:v4.10
      
      [root@admin ~]# podman run -v /opt/registry/certs:/certs:Z -v /opt/registry/certs/domain.cert:/certs/domain.cert:Z --rm registry.redhat.io/rhel8/skopeo:8.5-8 skopeo copy  --remove-signatures --src-creds myusername:mypassword1 --dest-cert-dir=./certs/ --dest-creds myregistryusername:myregistrypassword1 docker://registry.redhat.io/rhceph/rhceph-5-dashboard-rhel8:latest docker://admin.lab.redhat.com:5000/rhceph/rhceph-5-dashboard-rhel8:latest
      
      [root@admin ~]# podman run -v /opt/registry/certs:/certs:Z -v /opt/registry/certs/domain.cert:/certs/domain.cert:Z --rm registry.redhat.io/rhel8/skopeo:8.5-8 skopeo copy  --remove-signatures --src-creds myusername:mypassword1 --dest-cert-dir=./certs/ --dest-creds myregistryusername:myregistrypassword1 docker://registry.redhat.io/openshift4/ose-prometheus:v4.10 docker://admin.lab.redhat.com:5000/openshift4/ose-prometheus:v4.10
      
      [root@admin ~]# podman run -v /opt/registry/certs:/certs:Z -v /opt/registry/certs/domain.cert:/certs/domain.cert:Z --rm registry.redhat.io/rhel8/skopeo:8.5-8 skopeo copy  --remove-signatures --src-creds myusername:mypassword1 --dest-cert-dir=./certs/ --dest-creds myregistryusername:myregistrypassword1 docker://registry.redhat.io/openshift4/ose-prometheus-alertmanager:v4.10 docker://admin.lab.redhat.com:5000/openshift4/ose-prometheus-alertmanager:v4.10

18. curl コマンドを使用して、イメージがローカルレジストリーにあることを確認します。

    構文

    curl -u PRIVATE_REGISTRY_USERNAME:PRIVATE_REGISTRY_PASSWORD https://LOCAL_NODE_FQDN:5000/v2/_catalog

    例

    [root@admin ~]# curl -u myregistryusername:myregistrypassword1 https://admin.lab.redhat.com:5000/v2/_catalog
    
    {"repositories":["openshift4/ose-prometheus","openshift4/ose-prometheus-alertmanager","openshift4/ose-prometheus-node-exporter","rhceph/rhceph-5-dashboard-rhel8","rhceph/rhceph-5-rhel8"]}

手順

1. Ansible 管理ノードの /usr/share/cephadm-ansible ディレクトリーに移動します。
2. hosts ファイルを開いて編集し、ノードを追加します。

3. ローカルの YUM リポジトリーを使用するために ceph_origin パラメーターを custom に設定してプリフライト Playbook を実行します。

   構文

   ansible-playbook -i INVENTORY_FILE cephadm-preflight.yml --extra-vars "ceph_origin=custom" -e "custom_repo_url=CUSTOM_REPO_URL"

   例:

   [ceph-admin@admin cephadm-ansible]$ ansible-playbook -i hosts cephadm-preflight.yml --extra-vars "ceph_origin=custom" -e "custom_repo_url=http://mycustomrepo.lab.redhat.com/x86_64/os/"

   インストールが完了すると、cephadm は /usr/sbin/ ディレクトリーに配置されます。

4. あるいは、--limit オプションを使用して、ストレージクラスターの選択したホストでプリフライト Playbook を実行することができます。

   構文

   ansible-playbook -i INVENTORY_FILE cephadm-preflight.yml --extra-vars "ceph_origin=custom" -e "custom_repo_url=CUSTOM_REPO_URL" --limit GROUP_NAME|NODE_NAME

   GROUP_NAME は、インベントリーファイルからのグループ名に置き換えます。NODE_NAME は、インベントリーファイルからの特定のノード名に置き換えます。

   例:

   [ceph-admin@admin cephadm-ansible]$ ansible-playbook -i hosts cephadm-preflight.yml --extra-vars "ceph_origin=custom" -e "custom_repo_url=http://mycustomrepo.lab.redhat.com/x86_64/os/" --limit clients
   [ceph-admin@admin cephadm-ansible]$ ansible-playbook -i hosts cephadm-preflight.yml --extra-vars "ceph_origin=custom" -e "custom_repo_url=http://mycustomrepo.lab.redhat.com/x86_64/os/" --limit host02

   注記

   プリフライト Playbook を実行すると、cephadm-ansible は自動的にクライアントノードに chronyd および ceph-common をインストールします。

手順

1. ブートストラップホストにログインします。

2. ストレージクラスターをブートストラップします。

   構文

   cephadm --image PRIVATE_REGISTRY_NODE_FQDN:5000/CUSTOM_IMAGE_NAME:IMAGE_TAG bootstrap --mon-ip IP_ADDRESS --registry-url PRIVATE_REGISTRY_NODE_FQDN:5000 --registry-username PRIVATE_REGISTRY_USERNAME --registry-password PRIVATE_REGISTRY_PASSWORD

   • PRIVATE_REGISTRY_NODE_FQDN をプライベートレジストリーの完全修飾ドメイン名に置き換えます。
   • CUSTOM_IMAGE_NAME および IMAGE_TAG を、プライベートレジストリーにある Red Hat Ceph Storage コンテナーイメージの名前およびタグに置き換えます。
   • IP_ADDRESS は、cephadm bootstrap の実行に使用するノードの IP アドレスに置き換えます。
   • PRIVATE_REGISTRY_USERNAME を、プライベートレジストリー用に作成するユーザー名に置き換えます。

   • PRIVATE_REGISTRY_PASSWORD をプライベートレジストリーのユーザー名用に作成するパスワードに置き換えます。

     例:

     [root@host01 ~]# cephadm --image admin.lab.redhat.com:5000/rhceph/rhceph-5-rhel8:latest bootstrap --mon-ip 10.10.128.68 --registry-url admin.lab.redhat.com:5000 --registry-username myregistryusername --registry-password myregistrypassword1

     スクリプトが完了するまで数分かかります。スクリプトが完了すると、Red Hat Ceph Storage Dashboard URL へのクレデンシャル、Ceph コマンドラインインターフェイス (CLI) にアクセスするコマンド、およびテレメトリーを有効にする要求が提供されます。

     Ceph Dashboard is now available at:
     
                  URL: https://host01:8443/
                 User: admin
             Password: i8nhu7zham
     
     Enabling client.admin keyring and conf on hosts with "admin" label
     You can access the Ceph CLI with:
     
             sudo /usr/sbin/cephadm shell --fsid 266ee7a8-2a05-11eb-b846-5254002d4916 -c /etc/ceph/ceph.conf -k /etc/ceph/ceph.client.admin.keyring
     
     Please consider enabling telemetry to help improve Ceph:
     
             ceph telemetry on
     
     For more information see:
     
             https://docs.ceph.com/docs/master/mgr/telemetry/
     
     Bootstrap complete.

手順

1. ceph config コマンドを使用して、カスタムコンテナーイメージを設定します。

   構文

   ceph config set mgr mgr/cephadm/OPTION_NAME CUSTOM_REGISTRY_NAME/CONTAINER_NAME

   OPTION_NAME には、以下のオプションを使用します。

   container_image_prometheus
   container_image_grafana
   container_image_alertmanager
   container_image_node_exporter

   例:

   [root@host01 ~]# ceph config set mgr mgr/cephadm/container_image_prometheus myregistry/mycontainer
   [root@host01 ~]# ceph config set mgr mgr/cephadm/container_image_grafana myregistry/mycontainer
   [root@host01 ~]# ceph config set mgr mgr/cephadm/container_image_alertmanager myregistry/mycontainer
   [root@host01 ~]# ceph config set mgr mgr/cephadm/container_image_node_exporter myregistry/mycontainer

2. node_exporter を再デプロイします。

   構文

   ceph orch redeploy node-exporter