手順

1. アンダークラウドに stack ユーザーとしてログインします。

2. undercloud.conf ファイルがまだない場合には、サンプルのテンプレートファイルをコピーします。

   [stack@director ~]$ cp /usr/share/python-tripleoclient/undercloud.conf.sample ~/undercloud.conf

3. undercloud.conf ファイルを編集します。

4. [DEFAULT] セクションに以下の値を設定します。

   1. local_ip を leaf0 上のアンダークラウド IP に設定します。

      local_ip = 192.168.10.1/24

   2. undercloud_public_host をアンダークラウドの外部向け IP アドレスに設定します。

      undercloud_public_host = 10.1.1.1

   3. undercloud_admin_host をアンダークラウドの管理用 IP アドレスに設定します。この IP アドレスは、通常 leaf0 上にあります。

      undercloud_admin_host = 192.168.10.2

   4. local_interface を、ローカルネットワーク用にブリッジを設定するインターフェイスに設定します。

      local_interface = eth1

   5. enable_routed_networks を true に設定します。

      enable_routed_networks = true

   6. subnets パラメーターを使用してサブネットのリストを定義します。ルーティング対応のスパイン/リーフ内の各 L2 セグメントにサブネットを 1 つ定義します。

      subnets = leaf0,leaf1,leaf2

   7. local_subnet パラメーターを使用して、アンダークラウドにローカルな物理 L2 セグメントに関連付けられるサブネットを指定します。

      local_subnet = leaf0

   8. undercloud_nameservers の値を設定します。

      undercloud_nameservers = 10.11.5.19,10.11.5.20

      ヒント

      アンダークラウドのネームサーバーに使用する DNS サーバーの現在の IP アドレスは、/etc/resolv.conf を参照して確認することができます。

5. subnets パラメーターで定義するサブネットごとに、新規セクションを作成します。

   [leaf0]
   cidr = 192.168.10.0/24
   dhcp_start = 192.168.10.10
   dhcp_end = 192.168.10.90
   inspection_iprange = 192.168.10.100,192.168.10.190
   gateway = 192.168.10.1
   masquerade = False
   
   [leaf1]
   cidr = 192.168.11.0/24
   dhcp_start = 192.168.11.10
   dhcp_end = 192.168.11.90
   inspection_iprange = 192.168.11.100,192.168.11.190
   gateway = 192.168.11.1
   masquerade = False
   
   [leaf2]
   cidr = 192.168.12.0/24
   dhcp_start = 192.168.12.10
   dhcp_end = 192.168.12.90
   inspection_iprange = 192.168.12.100,192.168.12.190
   gateway = 192.168.12.1
   masquerade = False

6. undercloud.conf ファイルを保存します。

7. アンダークラウドをインストールするコマンドを実行します。

   [stack@director ~]$ openstack undercloud install

手順

1. stackrc ファイルを取得します。

   [stack@director ~]$ source ~/stackrc

2. 各カスタムロール用のフレーバーを作成します。

   $ ROLES="control compute_leaf0 compute_leaf1 compute_leaf2 ceph-storage_leaf0 ceph-storage_leaf1 ceph-storage_leaf2"
   $ for ROLE in $ROLES; do openstack flavor create --id auto --ram <ram_size_mb> --disk <disk_size_gb> --vcpus <no_vcpus> $ROLE ; done
   $ for ROLE in $ROLES; do openstack flavor set --property "cpu_arch"="x86_64" --property "capabilities:boot_option"="local" --property resources:DISK_GB='0' --property resources:MEMORY_MB='0' --property resources:VCPU='0' $ROLE ; done

   • <ram_size_mb> をベアメタルノードの RAM (MB 単位) に置き換えます。
   • <disk_size_gb> をベアメタルノード上のディスク容量 (GB 単位) に置き換えます。
   • <no_vcpus> をベアメタルノードの CPU 数に置き換えます。

3. ノードリストを取得して UUID を把握します。

   (undercloud)$ openstack baremetal node list

4. カスタムリソースクラスを使用して、各ベアメタルノードをリーフネットワークおよびロールにタグ付けします。

   (undercloud)$ openstack baremetal node set \
    --resource-class baremetal.LEAF-ROLE <node>

   <node> をベアメタルノードの ID に置き換えてください。

   たとえば、以下のコマンドを実行して、UUID 58c3d07e-24f2-48a7-bbb6-6843f0e8ee13 のノードを Leaf2 上の Compute ロールにタグ付けします。

   (undercloud)$ openstack baremetal node set \
    --resource-class baremetal.COMPUTE-LEAF2 58c3d07e-24f2-48a7-bbb6-6843f0e8ee13

5. 各リーフネットワークロールフレーバーをカスタムリソースクラスに関連付けます。

   (undercloud)$ openstack flavor set \
    --property resources:CUSTOM_BAREMETAL_LEAF_ROLE=1 \
   <custom_role>

   Bare Metal Provisioning サービスノードのリソースクラスに対応するカスタムリソースクラスの名前を指定するには、リソースクラスを大文字に変換し、それぞれの句読点をアンダースコアに置き換え、CUSTOM_ の接頭辞を追加します。

   注記

   フレーバーが要求できるのは、ベアメタルリソースクラスの 1 つのインスタンスだけです。

6. node-info.yaml ファイルで、各カスタムリーフロールに使用するフレーバーおよび各カスタムリーフロールに割り当てるノード数を指定します。たとえば、以下の設定では、使用するフレーバーと、カスタムのリーフロール compute_leaf0、compute_leaf1、compute_leaf2、ceph-storage_leaf0、ceph-storage_leaf1、および ceph-storage_leaf2 に割り当てるノード数を指定します。

   parameter_defaults:
     OvercloudControllerFlavor: control
     OvercloudComputeLeaf0Flavor: compute_leaf0
     OvercloudComputeLeaf1Flavor: compute_leaf1
     OvercloudComputeLeaf2Flavor: compute_leaf2
     OvercloudCephStorageLeaf0Flavor: ceph-storage_leaf0
     OvercloudCephStorageLeaf1Flavor: ceph-storage_leaf1
     OvercloudCephStorageLeaf2Flavor: ceph-storage_leaf2
     ControllerLeaf0Count: 3
     ComputeLeaf0Count: 3
     ComputeLeaf1Count: 3
     ComputeLeaf2Count: 3
     CephStorageLeaf0Count: 3
     CephStorageLeaf1Count: 3
     CephStorageLeaf2Count: 3

手順

1. stackrc ファイルを取得します。

   $ source ~/stackrc

2. ベアメタルノードをチェックします。

   $ openstack baremetal node list

3. ベアメタルノードは enroll または manageable の状態であることを確認してください。ベアメタルノードがこれらのいずれかの状態にない場合、ベアメタルポートで physical_network プロパティーを設定するコマンドは失敗します。全ノードを manageable の状態に設定するには、以下のコマンドを実行します。

   $ for node in $(openstack baremetal node list -f value -c Name); do openstack baremetal node manage $node --wait; done

4. ベアメタルポートとベアメタルノードの関連付けを確認します。

   $ openstack baremetal port list --node <node-uuid>

5. ポートの physical-network パラメーターを設定します。以下の例では、leaf0、leaf1、および leaf2 の 3 つのサブネットが設定で定義されています。local_subnet は leaf0 です。local_subnet の物理ネットワークは常に ctlplane であるため、leaf0 に接続されたベアメタルポートは必ず ctlplane を使用します。残りのポートは他のリーフ名を使用します。

   $ openstack baremetal port set --physical-network ctlplane <port-uuid>
   $ openstack baremetal port set --physical-network leaf1 <port-uuid>
   $ openstack baremetal port set --physical-network leaf2 <port-uuid>

6. オーバークラウドをデプロイする前に、ノードをイントロスペクションします。--all-manageable オプションと -provide オプションを付けて、デプロイ可能なノードとして設定します。

   $ openstack overcloud node introspect --all-manageable --provide

手順

1. アンダークラウドホストに stack ユーザーとしてログインします。

2. source コマンドでアンダークラウドの認証情報ファイルを読み込みます。

   $ source ~/stackrc

3. /home/stack/undercloud.conf ファイルで、以下の手順を実施します。

   1. subnets パラメーターを特定し、追加するリーフ用の新規サブネットを追加します。

      サブネットは、ルーティング対応のスパイン/リーフ内の L2 セグメントを表します。

      例

      以下の例では、新しいリーフ (leaf3) に新規サブネット (leaf3) が追加されます。

      subnets = leaf0,leaf1,leaf2,leaf3

   2. 追加したサブネットのセクションを作成します。

      例

      以下の例では、新しいサブネット (leaf3 に [leaf3] セクションが追加されます。

      [leaf0]
      cidr = 192.168.10.0/24
      dhcp_start = 192.168.10.10
      dhcp_end = 192.168.10.90
      inspection_iprange = 192.168.10.100,192.168.10.190
      gateway = 192.168.10.1
      masquerade = False
      
      [leaf1]
      cidr = 192.168.11.0/24
      dhcp_start = 192.168.11.10
      dhcp_end = 192.168.11.90
      inspection_iprange = 192.168.11.100,192.168.11.190
      gateway = 192.168.11.1
      masquerade = False
      
      [leaf2]
      cidr = 192.168.12.0/24
      dhcp_start = 192.168.12.10
      dhcp_end = 192.168.12.90
      inspection_iprange = 192.168.12.100,192.168.12.190
      gateway = 192.168.12.1
      masquerade = False
      
      [leaf3]
      cidr = 192.168.13.0/24
      dhcp_start = 192.168.13.10
      dhcp_end = 192.168.13.90
      inspection_iprange = 192.168.13.100,192.168.13.190
      gateway = 192.168.13.1
      masquerade = False

4. undercloud.conf ファイルを保存します。

5. アンダークラウドを再インストールします。

   $ openstack undercloud install

手順

1. ManageNetworks: true と設定するか未設定のままにして、中央スタックをデプロイします。
2. ManageNetworks: false の設定で、追加のスタックをデプロイします。

手順

1. 関連するネットワークリソースの UUID を把握します。

   $ openstack network show internal_api -c id -f value
   $ openstack subnet show internal_api_subnet -c id -f value
   $ openstack port show internal_api_virtual_ip -c id -f value

2. 上記のコマンドの出力に表示される値を保存し、それらを別のスタックの network_data.yaml ファイルの internal_api ネットワークのネットワーク定義に追加します。

   - name: InternalApi
     external_resource_network_id: 93861871-7814-4dbc-9e6c-7f51496b43af
     external_resource_subnet_id: c85c8670-51c1-4b17-a580-1cfb4344de27
     external_resource_vip_id: 8bb9d96f-72bf-4964-a05c-5d3fed203eb7
     name_lower: internal_api
     vip: true
     ip_subnet: '172.16.2.0/24'
     allocation_pools: [{'start': '172.16.2.4', 'end': '172.16.2.250'}]
     ipv6_subnet: 'fd00:fd00:fd00:2000::/64'
     ipv6_allocation_pools: [{'start': 'fd00:fd00:fd00:2000::10', 'end': 'fd00:fd00:fd00:2000:ffff:ffff:ffff:fffe'}]
     mtu: 1400

手順

1. central heat スタックを定義します。

   $ mkdir central
   $ touch central/overrides.yaml

2. central heat スタックから、データを全 DCN サイト用の共通ディレクトリーに抽出します。

   $ mkdir dcn-common
   $ touch dcn-common/overrides.yaml
   $ touch dcn-common/central-export.yaml

   central-export.yaml ファイルは、後で openstack overcloud export コマンドで作成されます。本セクションで説明するすべての DCN デプロイメントがこのファイルを使用する必要があるため、このファイルは dcn-common ディレクトリー内に作成されます。

3. dcn0 サイトを定義します。

   $ mkdir dcn0
   $ touch dcn0/overrides.yaml

手順

1. containers.yaml にレジストリーサービスアカウントの認証情報を追加します。

   parameter_defaults:
     ContainerImagePrepare:
     - push_destination: true
       set:
         ceph_namespace: registry.redhat.io/rhceph
         ceph_image: rhceph-4-rhel8
         ceph_tag: latest
         name_prefix: openstack-
         namespace: registry.redhat.io/rhosp16-rhel8
         tag: latest
     ContainerImageRegistryCredentials:
       # https://access.redhat.com/RegistryAuthentication
       registry.redhat.io:
         registry-service-account-username: registry-service-account-password

2. images-env.yaml として環境ファイルを生成します。

   sudo openstack tripleo container image prepare \
   -e containers.yaml \
   --output-env-file images-env.yaml

   作成される images-env.yaml ファイルは、ファイルを生成したスタックのデプロイメント手順の一部として追加されます。

手順

1. アンダークラウドホストに stack ユーザーとしてログインします。

2. デフォルトの roles ディレクトリーをコピーします。

   cp -r /usr/share/openstack-tripleo-heat-templates/roles ~/.

3. DistributedCompute.yaml ファイルから DistributedComputeDpdk.yaml という新しいファイルを作成します。

   cp roles/DistributedCompute.yaml roles/DistributedComputeDpdk.yaml

4. DPDK サービスを新しい DistributedComputeDpdk.yaml ファイルに追加します。DistributedComputeDpdk.yaml ファイルにないパラメーターを ComputeOvsDpdk.yaml ファイルで特定することで、追加が必要なパラメーターを特定できます。

   diff -u roles/DistributedComputeDpdk.yaml roles/ComputeOvsDpdk.yaml

   この出力では、+ で始まるパラメーターは ComputeOvsDpdk.yaml ファイルに存在しますが、DistributedComputeDpdk.yaml ファイルにはありません。これらのパラメーターを新しい DistributedComputeDpdk.yaml ファイルに追加します。

5. DistributedComputeDpdk.yaml を使用して、DistributedComputeDpdk ロールファイルを作成します。

   openstack overcloud roles generate --roles-path ~/roles/ -o ~/roles/roles-custom.yaml DistributedComputeDpdk

1. ホームディレクトリーに、デプロイする各スタックのディレクトリーを作成します。

   mkdir /home/stack/central
   mkdir /home/stack/dcn0
   mkdir /home/stack/dcn1

2. 以下のような設定で central/overrides.yaml という名前のファイルを作成します。

   parameter_defaults:
     NtpServer:
       - 0.pool.ntp.org
       - 1.pool.ntp.org
     ControllerCount: 3
     ComputeCount: 0
     OvercloudControllerFlavor: baremetal
     OvercloudComputeFlavor: baremetal
     ControllerSchedulerHints:
       'capabilities:node': '0-controller-%index%'
     GlanceBackend: swift

   • ControllerCount: 3: ノードを 3 台デプロイすることを指定します。これらのノードは、glance 用に swift を、cinder 用に lvm をそれぞれ使用し、エッジコンピュートノード用に control-plane サービスをホストします。
   • ComputeCount: 0: オプションのパラメーターで、Compute ノードが中央コントローラーノードと共にデプロイされないようにします。

   • GlanceBackend: swift: Image サービス (glance) のバックエンドとして Object Storage (swift) を使用することを指定します。

     この設定は、分散コンピュートノード (DCN) と以下のように連携します。

   • DCN 上の Image サービスは、中央の Object Storage バックエンドから受けとるイメージのキャッシュコピーを作成します。Image サービスは、HTTP を使用して Object Storage からのイメージをローカルディスクキャッシュにコピーします。

     注記

     中央のコントローラーノードは、分散コンピュートノード (DCN) サイトに接続できる必要があります。中央のコントローラーノードは、ルーティング対応のレイヤー 3 接続を使用することができます。

3. 実際の環境に適したロールを使用して、中央サイト用のロールを生成します。

   openstack overcloud roles generate Controller \
   -o ~/central/control_plane_roles.yaml

4. 環境ファイル ~/central/central-images-env.yaml を生成します。

   sudo openstack tripleo container image prepare \
   -e containers.yaml \
   --output-env-file ~/central/central-images-env.yaml

5. site-name.yaml 環境ファイルでサイトの命名規則を設定します。Nova アベイラビリティーゾーンと Cinder ストレージアベイラビリティーゾーンが一致している必要があります。

   cat > /home/stack/central/site-name.yaml << EOF
   parameter_defaults:
       NovaComputeAvailabilityZone: central
       ControllerExtraConfig:
           nova::availability_zone::default_schedule_zone: central
       NovaCrossAZAttach: false
       CinderStorageAvailabilityZone: central
   EOF

6. 中央コントローラーノードをデプロイします。たとえば、以下の内容の deploy.sh ファイルを使用することができます。

   #!/bin/bash
   
   source ~/stackrc
   time openstack overcloud deploy \
   --stack central \
   --templates /usr/share/openstack-tripleo-heat-templates/ \
   -e /usr/share/openstack-tripleo-heat-templates/environments/nova-az-config.yaml \
   -e ~/central/containers-env-file.yaml \
   -e ~/central/overrides.yaml \
   -e ~/central/site-name.yaml

1. ホームディレクトリーに、デプロイする各スタックのディレクトリーを作成します。

   mkdir /home/stack/central
   mkdir /home/stack/dcn0
   mkdir /home/stack/dcn1

2. 利用可能なハードウェアに該当する設定パラメーターおよび Ceph クラスターの名前を設定します。詳しくは、Configuring Ceph with Custom Config Settings を参照してください。

   cat > /home/stack/central/ceph.yaml << EOF
   parameter_defaults:
     CephClusterName: central
     CephAnsibleDisksConfig:
       osd_scenario: lvm
       osd_objectstore: bluestore
       devices:
         - /dev/sda
         - /dev/sdb
     CephPoolDefaultSize: 3
     CephPoolDefaultPgNum: 128
   
   EOF

3. 実際の環境に適したロールを使用して、中央サイト用のロールを生成します。

   openstack overcloud roles generate Compute Controller CephStorage \
   -o ~/central/central_roles.yaml
   
   cat > /home/stack/central/role-counts.yaml << EOF
   parameter_defaults:
     ControllerCount: 3
     ComputeCount: 2
     CephStorage: 3
   EOF

4. 環境ファイル ~/central/central-images-env.yaml を生成します。

   sudo openstack tripleo container image prepare \
   -e containers.yaml \
   --output-env-file ~/central/central-images-env.yaml

5. site-name.yaml 環境ファイルでサイトの命名規則を設定します。Nova アベイラビリティーゾーンと Cinder ストレージアベイラビリティーゾーンが一致している必要があります。

   cat > /home/stack/central/site-name.yaml << EOF
   parameter_defaults:
       NovaComputeAvailabilityZone: central
       ControllerExtraConfig:
           nova::availability_zone::default_schedule_zone: central
       NovaCrossAZAttach: false
       CinderStorageAvailabilityZone: central
       GlanceBackendID: central
   EOF

6. 以下のような内容で glance.yaml テンプレートを設定します。

   parameter_defaults:
       GlanceEnabledImportMethods: web-download,copy-image
       GlanceBackend: rbd
       GlanceStoreDescription: 'central rbd glance store'
       GlanceBackendID: central
       CephClusterName: central

7. その他すべてのテンプレートを準備したら、central スタックをデプロイします。

   openstack overcloud deploy \
          --stack central \
          --templates /usr/share/openstack-tripleo-heat-templates/ \
          -r ~/central/central_roles.yaml \
       ...
          -e /usr/share/openstack-tripleo-heat-templates/environments/ceph-ansible/ceph-ansible.yaml \
          -e /usr/share/openstack-tripleo-heat-templates/environments/nova-az-config.yaml \
          -e ~/central/central-images-env.yaml \
          -e ~/central/role-counts.yaml \
          -e ~/central/site-name.yaml \
          -e ~/central/ceph.yaml \
          -e ~/central/glance.yaml

1. ホームディレクトリーに、デプロイする各スタックのディレクトリーを作成します。これを使用して、それぞれのサイト用に設計されたテンプレートを分離します。

   mkdir /home/stack/central
   mkdir /home/stack/dcn0
   mkdir /home/stack/dcn1

2. RHOSP director が管理するロールを使用して、中央サイトのロールを生成します。外部 Ceph と統合する場合には、Ceph ロールを使用しないでください。

   cat > /home/stack/central/role-counts.yaml << EOF
   parameter_defaults:
     ControllerCount: 3
     ComputeCount: 2
   EOF

3. 環境ファイル ~/central/central-images-env.yaml を生成します。

   sudo openstack tripleo container image prepare \
   -e containers.yaml \
   --output-env-file ~/central/central-images-env.yaml

4. site-name.yaml 環境ファイルでサイトの命名規則を設定します。Compute (nova) アベイラビリティーゾーンと Block Storage (cinder) アベイラビリティーゾーンが一致している必要があります。

   cat > /home/stack/central/site-name.yaml << EOF
   parameter_defaults:
       NovaComputeAvailabilityZone: central
       ControllerExtraConfig:
           nova::availability_zone::default_schedule_zone: central
       NovaCrossAZAttach: false
       CinderStorageAvailabilityZone: central
       GlanceBackendID: central
   EOF

5. 以下のような内容で glance.yaml テンプレートを設定します。

   parameter_defaults:
       GlanceEnabledImportMethods: web-download,copy-image
       GlanceBackend: rbd
       GlanceStoreDescription: 'central rbd glance store'
       GlanceBackendID: central
       CephClusterName: central

6. Ceph が Red Hat OpenStack Platform director を使用せずにデプロイされる場合には、ceph-ansible.yaml 環境ファイルを使用しないでください。代わりに ceph-ansible-external.yaml 環境ファイルを使用してください。

   openstack overcloud deploy \
          --stack central \
          --templates /usr/share/openstack-tripleo-heat-templates/ \
          -r ~/central/central_roles.yaml \
       ...
          -e /usr/share/openstack-tripleo-heat-templates/environments/ceph-ansible/ceph-ansible-external.yaml \
          -e /usr/share/openstack-tripleo-heat-templates/environments/nova-az-config.yaml \
          -e ~/central/central-images-env.yaml \
          -e ~/central/role-counts.yaml \
          -e ~/central/site-name.yaml \
          -e ~/central/ceph.yaml \
          -e ~/central/glance.yaml

手順

1. アンダークラウドホストに stack ユーザーとしてログインします。

2. source コマンドで stackrc 認証情報ファイルを読み込みます。

   $ source ~/stackrc

3. カスタムテンプレートに NovaImageTypeExcludeList パラメーターを追加します。

   parameter_defaults:
     NovaImageTypeExcludeList:
           - raw

4. ご自分のデプロイメントに該当するその他の環境ファイルと共に、NovaImageTypeExcludeList パラメーターが含まれる環境ファイルをオーバークラウドデプロイメントコマンドに追加します。

   openstack overcloud deploy --templates \
   -n network_data.yaml \
   -r roles_data.yaml \
   -e <environment_files> \
   -e <new_environment_file>

手順

1. central スタックからスタック情報をエクスポートします。以下のコマンドを実行する前に、central スタックをデプロイする必要があります。

   openstack overcloud export \
           --config-download-dir /var/lib/mistral/central/ \
           --stack central \
           --output-file ~/dcn-common/central-export.yaml

   注記

   config-download-dir のデフォルト値は /var/lib/mistral/<stack>/ です。

2. central_ceph_external.yaml ファイルを作成します。この環境ファイルにより、DCN サイトが中央ハブの Ceph クラスターに接続されので、詳細は前の手順でデプロイした Ceph クラスターに固有のものです。

   sudo -E openstack overcloud export ceph \
   --stack central \
   --config-download-dir /var/lib/mistral \
   --output-file ~/dcn-common/central_ceph_external.yaml

   Ceph が Red Hat OpenStack Platform director を使用せずにデプロイされる場合には、openstack overcloud export ceph コマンドを実行できません。central_ceph_external.yaml ファイルを手動で作成します。

   parameter_defaults:
     CephExternalMultiConfig:
       - cluster: "central"
         fsid: "3161a3b4-e5ff-42a0-9f53-860403b29a33"
         external_cluster_mon_ips: "172.16.11.84, 172.16.11.87, 172.16.11.92"
         keys:
           - name: "client.openstack"
             caps:
               mgr: "allow *"
               mon: "profile rbd"
               osd: "profile rbd pool=vms, profile rbd pool=volumes, profile rbd pool=images"
             key: "AQD29WteAAAAABAAphgOjFD7nyjdYe8Lz0mQ5Q=="
             mode: "0600"
         dashboard_enabled: false
         ceph_conf_overrides:
           client:
             keyring: /etc/ceph/central.client.openstack.keyring

   • fsid パラメーターは、Ceph Storage クラスターのファイルシステム ID です。この値は、クラスター設定ファイルの [global] セクションで指定します。

     [global]
     fsid = 4b5c8c0a-ff60-454b-a1b4-9747aa737d19
     ...

   • key パラメーターは、openstack アカウントの ceph クライアントキーです。

     [root@ceph ~]# ceph auth list
     ...
     [client.openstack]
         key = AQC+vYNXgDAgAhAAc8UoYt+OTz5uhV7ItLdwUw==
         caps mgr = "allow *"
         caps mon = "profile rbd"
         caps osd = "profile rbd pool=volumes, profile rbd pool=vms, profile rbd pool=images, profile rbd pool=backups, profile rbd pool=metrics"
     ...

     central_ceph_external.yaml ファイルのサンプルにあるパラメーターについての詳しい情報は、Creating a custom environment file を参照してください。

3. Image サービス設定のオーバーライド用に ~/dcn0/glance.yaml ファイルを作成します。

   parameter_defaults:
     GlanceEnabledImportMethods: web-download,copy-image
     GlanceBackend: rbd
     GlanceStoreDescription: 'dcn0 rbd glance store'
     GlanceBackendID: dcn0
     GlanceMultistoreConfig:
       central:
         GlanceBackend: rbd
         GlanceStoreDescription: 'central rbd glance store'
         CephClusterName: central
         GlanceRbdPoolName: images
         CephClientUserName: openstack

   注記

   GlanceRbdPoolNameとCephClientUserNameパラメーターを glance マルチストア設定に使用しない場合、値は中央サイトの設定に使用したパラメーターから継承されます。これらの値は同じではない場合があり、デプロイに失敗する可能性があります。

4. 利用可能なハードウェアに該当する設定パラメーターで ceph.yaml ファイルを設定します。

   cat > /home/stack/dcn0/ceph.yaml << EOF
   parameter_defaults:
     CephClusterName: dcn0
     CephAnsibleDisksConfig:
       osd_scenario: lvm
       osd_objectstore: bluestore
       devices:
         - /dev/sda
         - /dev/sdb
     CephPoolDefaultSize: 3
     CephPoolDefaultPgNum: 128
   EOF

   詳しくは、Mapping the Ceph Storage node disk layout を参照してください。

5. 実際の環境要件に適した以下のパラメーターが含まれるファイルを使用して、システムのチューニングを実施します。

   cat > /home/stack/dcn0/tuning.yaml << EOF
   parameter_defaults:
     CephAnsibleExtraConfig:
       is_hci: true
     CephConfigOverrides:
       osd_recovery_op_priority: 3
       osd_recovery_max_active: 3
       osd_max_backfills: 1
    ## Set relative to your hardware:
     # DistributedComputeHCIParameters:
     #   NovaReservedHostMemory: 181000
     # DistributedComputeHCIExtraConfig:
     #   nova::cpu_allocation_ratio: 8.2
   EOF

   • パラメーター CephAnsibleExtraConfig の値の設定については、Setting ceph-ansible group variables を参照してください。
   • パラメーター CephConfigOverrides の値の設定の詳細については、Customizing the Ceph Storage cluster を参照してください。

6. site-name.yaml 環境ファイルでサイトの命名規則を設定します。Nova アベイラビリティーゾーンと Cinder ストレージアベイラビリティーゾーンが一致している必要があります。ストレージと共にエッジサイトをデプロイする場合は、CinderVolumeCluster パラメーターを含めます。このパラメーターは、エッジサイトで必要な cinder-volume をアクティブ/アクティブ設定としてデプロイする場合に使用されます。ベストプラクティスとしては、Cinder クラスター名をアベイラビリティーゾーンと一致するように設定します。

   cat > /home/stack/central/site-name.yaml << EOF
   parameter_defaults:
       ...
       NovaComputeAvailabilityZone: dcn0
       NovaCrossAZAttach: false
       CinderStorageAvailabilityZone: dcn0
       CinderVolumeCluster: dcn0

7. dcn0 のデプロイメントに使用する roles.yaml ファイルを生成します。以下に例を示します。

   openstack overcloud roles generate DistributedComputeHCI DistributedComputeHCIScaleOut -o ~/dcn0/roles_data.yaml

8. それぞれのロールに必要な値で ~/dcn0/roles-counts.yaml ファイルを作成して、各ロールに番号システムを設定します。

   GlanceApiEdge サービスの要件を満たすには、3 つのノードを割り当てる必要があります。ハイパーコンバージドインフラストラクチャーには、DistributedComputeHCICount パラメーターを使用します。他のアーキテクチャーには、DistributedComputeCount パラメーターを使用します。

   parameter_defaults:
     ControllerCount: 0
     ComputeCount: 0
     DistributedComputeHCICount: 3
     DistributedComputeHCIScaleOutCount: 1  # Optional
     DistributedComputeScaleOutCount: 1     # Optional

9. エッジサイトのコンテナーイメージを取得します。

   sudo openstack tripleo container image prepare \
   --environment-directory dcn0 \
   -r ~/dcn0/roles_data.yaml \
   -e /usr/share/openstack-tripleo-heat-templates/environments/ceph-ansible/ceph-ansible.yaml \
   ...
   -e /home/stack/dcn-common/central-export.yaml \
   -e /home/stack/containers-prepare-parameter.yaml \
   --output-env-file ~/dcn0/dcn0-images-env.yaml

   注記

   openstack tripleo container image prepare コマンドに、デプロイメントに使用するすべての環境ファイルを追加する必要があります。

10. エッジサイトをデプロイします。

    openstack overcloud deploy \
        --stack dcn0 \
        --templates /usr/share/openstack-tripleo-heat-templates/ \
        -r ~/dcn0/roles_data.yaml \
        -e /usr/share/openstack-tripleo-heat-templates/environments/ceph-ansible/ceph-ansible.yaml \
        -e /usr/share/openstack-tripleo-heat-templates/environments/dcn-storage.yaml \
        -e /usr/share/openstack-tripleo-heat-templates/environments/nova-az-config.yaml \
        -e ~/dnc0/dcn0-images-env.yaml \
        ....
        -e ~/dcn-common/central-export.yaml \
        -e ~/dcn-common/central_ceph_external.yaml \
        -e ~/dcn0/dcn_ceph_keys.yaml \
        -e ~/dcn0/role-counts.yaml \
        -e ~/dcn0/ceph.yaml \
        -e ~/dcn0/site-name.yaml \
        -e ~/dcn0/tuning.yaml \
        -e ~/dcn0/glance.yaml

    注記

    openstack overcloud deploy コマンドに、ネットワーク設定用の heat テンプレートを追加する必要があります。エッジアーキテクチャーの設計には、スパイン/リーフ型ネットワークが必要です。詳しくは、Spine Leaf Networking を参照してください。

11. エッジロケーションのデプロイ後、nova API データベースに nova cell_v2 ホストマッピングを作成する必要があります。アンダークラウドで以下のコマンドを実行します。

    TRIPLEO_PLAN_NAME=central \
    ansible -i /usr/bin/tripleo-ansible-inventory \
    nova_api[0] -b -a \
    "{{ container_cli }} exec -it nova_api \
    nova-manage cell_v2 discover_hosts --by-service --verbose"

    エッジサイトをスケールアップする場合には、このコマンドを再び実行する必要があります。

手順

1. central スタックからスタック情報をエクスポートします。以下のコマンドを実行する前に、central スタックをデプロイする必要があります。

   openstack overcloud export \
           --config-download-dir /var/lib/mistral/central/ \
           --stack central \
           --output-file ~/dcn-common/central-export.yaml

   注記

   config-download-dir のデフォルト値は /var/lib/mistral/<stack>/ です。

2. central_ceph_external.yaml ファイルを作成します。この環境ファイルにより、DCN サイトが中央ハブの Ceph クラスターに接続されので、詳細は前の手順でデプロイした Ceph クラスターに固有のものです。

   sudo -E openstack overcloud export ceph \
   --stack central \
   --config-download-dir /var/lib/mistral \
   --output-file ~/dcn-common/central_ceph_external.yaml

3. glance 設定のオーバーライド用に ~/dcn0/glance.yaml ファイルを作成します。

   parameter_defaults:
     GlanceEnabledImportMethods: web-download,copy-image
     GlanceBackend: rbd
     GlanceStoreDescription: 'dcn0 rbd glance store'
     GlanceBackendID: dcn0
     GlanceMultistoreConfig:
       central:
         GlanceBackend: rbd
         GlanceStoreDescription: 'central rbd glance store'
         CephClientUserName: 'openstack'
         CephClusterName: central

4. 利用可能なハードウェアに該当する設定パラメーターで ceph.yaml ファイルを設定します。

   cat > /home/stack/dcn0/ceph.yaml << EOF
   parameter_defaults:
     CephClusterName: dcn0
     CephAnsibleDisksConfig:
       osd_scenario: lvm
       osd_objectstore: bluestore
       devices:
         - /dev/sda
         - /dev/sdb
     CephPoolDefaultSize: 3
     CephPoolDefaultPgNum: 128
   EOF

   詳しくは、Mapping the Ceph Storage node disk layout を参照してください。

5. site-name.yaml 環境ファイルでサイトの命名規則を設定します。Nova アベイラビリティーゾーンと Cinder ストレージアベイラビリティーゾーンが一致している必要があります。ストレージと共にエッジサイトをデプロイする場合は、CinderVolumeCluster パラメーターを含めます。このパラメーターは、エッジサイトで必要な cinder-volume をアクティブ/アクティブ設定としてデプロイする場合に使用されます。ベストプラクティスとしては、Cinder クラスター名をアベイラビリティーゾーンと一致するように設定します。

   cat > /home/stack/dcn0/site-name.yaml << EOF
   parameter_defaults:
       ...
       NovaComputeAvailabilityZone: dcn0
       NovaCrossAZAttach: false
       CinderStorageAvailabilityZone: dcn0
       CinderVolumeCluster: dcn0

6. dcn0 のデプロイメントに使用する roles.yaml ファイルを生成します。以下に例を示します。

   openstack overcloud roles generate DistributedCompute DistributedComputeScaleOut CephAll-o ~/dcn0/roles_data.yaml

7. それぞれのロールに必要な値で ~/dcn0/roles-counts.yaml ファイルを作成して、各ロールに番号システムを設定します。

   GlanceApiEdge サービスの要件を満たすために、DistributedCompute ロールに 3 つのノード、および CephAll ロールに 3 つのノードを割り当てる必要があります。

   parameter_defaults:
     ControllerCount: 0
     ComputeCount: 0
     DistributedComputeCount: 3
     CephAll: 3
     DistributedComputeScaleOutCount: 1  # Optional

8. エッジサイトのコンテナーイメージを取得します。

   sudo openstack tripleo container image prepare \
   --environment-directory dcn0 \
   -r ~/dcn0/roles_data.yaml \
   -e /usr/share/openstack-tripleo-heat-templates/environments/ceph-ansible/ceph-ansible.yaml \
   ...
   -e /home/stack/dcn-common/central-export.yaml \
   -e /home/stack/containers-prepare-parameter.yaml \
   --output-env-file ~/dcn0/dcn0-images-env.yaml

   注記

   openstack tripleo container image prepare コマンドに、デプロイメントに使用するすべての環境ファイルを追加する必要があります。

9. エッジサイトをデプロイします。

   openstack overcloud deploy \
       --stack dcn0 \
       --templates /usr/share/openstack-tripleo-heat-templates/ \
       -r ~/dcn0/roles_data.yaml \
       -e /usr/share/openstack-tripleo-heat-templates/environments/ceph-ansible/ceph-ansible.yaml \
       -e /usr/share/openstack-tripleo-heat-templates/environments/dcn-storage.yaml \
       -e /usr/share/openstack-tripleo-heat-templates/environments/nova-az-config.yaml \
       -e ~/dnc0/dcn0-images-env.yaml \
       ....
       -e ~/dcn-common/central-export.yaml \
       -e ~/dcn-common/central_ceph_external.yaml \
       -e ~/dcn0/dcn_ceph_keys.yaml \
       -e ~/dcn0/role-counts.yaml \
       -e ~/dcn0/ceph.yaml \
       -e ~/dcn0/site-name.yaml \
       -e ~/dcn0/tuning.yaml \
       -e ~/dcn0/glance.yaml

   注記

   openstack overcloud deploy コマンドに、ネットワーク設定用の heat テンプレートを追加する必要があります。エッジアーキテクチャーの設計には、スパイン/リーフ型ネットワークが必要です。詳しくは、Spine Leaf Networking を参照してください。

10. エッジロケーションのデプロイ後、nova API データベースに nova cell_v2 ホストマッピングを作成する必要があります。アンダークラウドで以下のコマンドを実行します。

    TRIPLEO_PLAN_NAME=central \
    ansible -i /usr/bin/tripleo-ansible-inventory \
    nova_api[0] -b -a \
    "{{ container_cli }} exec -it nova_api \
    nova-manage cell_v2 discover_hosts --by-service --verbose"

    エッジサイトをスケールアップする場合には、このコマンドを再び実行する必要があります。

手順

1. Ceph クラスターに以下のプールを作成します。中央サイトにデプロイしている場合は、backups および metrics プールを含めます。

   [root@ceph ~]# ceph osd pool create volumes <_PGnum_>
   [root@ceph ~]# ceph osd pool create images <_PGnum_>
   [root@ceph ~]# ceph osd pool create vms <_PGnum_>
   [root@ceph ~]# ceph osd pool create backups <_PGnum_>
   [root@ceph ~]# ceph osd pool create metrics <_PGnum_>

   <_PGnum_> は配置グループの数に置き換えます。適切な値を判断するには、Ceph Placement Groups (PGs) per Pool Calculator も使用できます。

2. Ceph に OpenStack クライアントユーザーを作成し、Red Hat OpenStack Platform 環境が適切なプールにアクセスできるようにします。

   ceph auth add client.openstack mon 'allow r' osd 'allow class-read object_prefix rbd_children, allow rwx pool=volumes, allow rwx pool=vms, allow rwx pool=images'

   返された、提供された Ceph クライアントキーを保存します。アンダークラウドを設定する際に、このキーを CephClientKey パラメーターの値として使用します。

   注記

   このコマンドを中央サイトで実行し、Cinder バックアップまたは Telemetry サービスを使用する予定の場合、コマンドに allow rwx pool=backups, allow pool=metrics を追加します。

3. Ceph Storage クラスターのファイルシステム ID を保存します。Ceph 設定ファイルの [global] セクションの fsid パラメーターの値は、ファイルシステム ID です。

   [global]
   fsid = 4b5c8c0a-ff60-454b-a1b4-9747aa737d19
   ...

   この値は、アンダークラウドを設定する際に CephClusterFSID パラメーターの値として使用します。

4. アンダークラウド上で環境ファイルを作成し、ノードが非マネージド Ceph クラスターに接続するように設定します。ceph-external-<SITE>.yaml など、認識可能な命名規則を使用します。ここで、SITE はデプロイメントの場所に置き換えます (例: ceph-external-central.yaml、ceph-external-dcn1.yaml 等)。

     parameter_defaults:
       # The cluster FSID
       CephClusterFSID: '4b5c8c0a-ff60-454b-a1b4-9747aa737d19'
       # The CephX user auth key
       CephClientKey: 'AQDLOh1VgEp6FRAAFzT7Zw+Y9V6JJExQAsRnRQ=='
       # The list of IPs or hostnames of the Ceph monitors
       CephExternalMonHost: '172.16.1.7, 172.16.1.8, 172.16.1.9'
       # The desired name of the generated key and conf files
       CephClusterName: dcn1

   1. CephClusterFSID および CephClientKey パラメーターには、以前に保存した値を使用します。
   2. CephExternalMonHost パラメーターの値として、Ceph モニターの ip アドレスのコンマ区切りリストを使用します。
   3. CephClusterName パラメーターには、エッジサイト間で一意の値を選択する必要があります。名前を再利用すると、設定ファイルが上書きされます。

5. Red Hat OpenStack Platform director を使用して Red Hat Ceph Storage を中央サイトにデプロイした場合、ceph の設定を環境ファイル central_ceph_external.yaml にエクスポートできます。この環境ファイルにより、DCN サイトが中央ハブの Ceph クラスターに接続されので、詳細は前の手順でデプロイした Ceph クラスターに固有のものです。

   sudo -E openstack overcloud export ceph \
   --stack central \
   --config-download-dir /var/lib/mistral \
   --output-file ~/dcn-common/central_ceph_external.yaml

   中央サイトの外に Red Hat Ceph Storage がデプロイされている場合、openstack overcloud export ceph コマンドを使用して central_ceph_external.yaml ファイルを生成することはできません。代わりに central_ceph_external.yaml ファイルを手動で作成する必要があります。

   parameter_defaults:
     CephExternalMultiConfig:
       - cluster: "central"
         fsid: "3161a3b4-e5ff-42a0-9f53-860403b29a33"
         external_cluster_mon_ips: "172.16.11.84, 172.16.11.87, 172.16.11.92"
         keys:
           - name: "client.openstack"
             caps:
               mgr: "allow *"
               mon: "profile rbd"
               osd: "profile rbd pool=vms, profile rbd pool=volumes, profile rbd pool=images"
             key: "AQD29WteAAAAABAAphgOjFD7nyjdYe8Lz0mQ5Q=="
             mode: "0600"
         dashboard_enabled: false
         ceph_conf_overrides:
           client:
             keyring: /etc/ceph/central.client.openstack.keyring

6. 各サイトについて同様の詳細を記述した環境ファイルを作成し、中央サイトには非マネージド Red Hat Ceph Storage クラスターを使用します。openstack overcloud export ceph コマンドは、非マネージド Red Hat Ceph Storage クラスターがあるサイトでは機能しません。中央サイトを更新すると、このファイルによって、中央サイトはエッジサイトのストレージクラスターをセカンダリーロケーションとして使用できるようになります。

   parameter_defaults:
     CephExternalMultiConfig:
   cluster: dcn1
   …
   cluster: dcn2
   …

7. オーバークラウドのデプロイ時に、ceph-ansible-external.yaml、ceph-external-<SITE>.yaml、および central_ceph_external.yaml 環境ファイルを使用します。

   openstack overcloud deploy \
       --stack dcn1 \
       --templates /usr/share/openstack-tripleo-heat-templates/ \
       -r ~/dcn1/roles_data.yaml \
       -e /usr/share/openstack-tripleo-heat-templates/environments/ceph-ansible/ceph-ansible-external.yaml \
       -e /usr/share/openstack-tripleo-heat-templates/environments/dcn-hci.yaml \
       -e /usr/share/openstack-tripleo-heat-templates/environments/nova-az-config.yaml \
       -e ~/dnc1/ceph-external-dcn1.yaml  \
       ....
       -e ~/dcn-common/central-export.yaml \
       -e ~/dcn-common/central_ceph_external.yaml \
       -e ~/dcn1/dcn_ceph_keys.yaml \
       -e ~/dcn1/role-counts.yaml \
       -e ~/dcn1/ceph.yaml \
       -e ~/dcn1/site-name.yaml \
       -e ~/dcn1/tuning.yaml \
       -e ~/dcn1/glance.yaml

8. すべてのエッジサイトが配置された後、中央サイトを再デプロイします。

手順

1. アンダークラウドの stack ユーザーとして、dcn9 用に新規ディレクトリーを作成します。

   $ cd ~
   $ mkdir dcn9

2. 既存の dcn0 テンプレートを新しいディレクトリーにコピーし、dcn0 の文字列を dcn9 に置き換えます。

   $ cp dcn0/ceph.yaml dcn9/ceph.yaml
   $ sed s/dcn0/dcn9/g -i dcn9/ceph.yaml
   $ cp dcn0/overrides.yaml dcn9/overrides.yaml
   $ sed s/dcn0/dcn9/g -i dcn9/overrides.yaml
   $ sed s/"0-ceph-%index%"/"9-ceph-%index%"/g -i dcn9/overrides.yaml
   $ cp dcn0/deploy.sh dcn9/deploy.sh
   $ sed s/dcn0/dcn9/g -i dcn9/deploy.sh

3. dcn9 ディレクトリーのファイルを調べ、要件を満たしていることを確認します。

4. undercloud.conf を編集して、新しいリーフを追加します。以下の例では、leaf9 を undercloud.conf に追加します。

   [leaf0]
   cidr = 192.168.10.0/24
   dhcp_start = 192.168.10.10
   dhcp_end = 192.168.10.90
   inspection_iprange = 192.168.10.100,192.168.10.190
   gateway = 192.168.10.1
   masquerade = False
   
   …
   [leaf9]
   cidr = 192.168.19.0/24
   dhcp_start = 192.168.19.10
   dhcp_end = 192.168.19.90
   inspection_iprange = 192.168.19.100,192.168.19.190
   gateway = 192.168.10.1
   masquerade = False

5. openstack undercloud install コマンドを再度実行して、環境設定を更新します。

6. オーバークラウドのテンプレートで、NetworkDeploymentActions パラメーターの値を ["CREATE"] の値から ["CREATE", "UPDATE"] の値に更新します。このパラメーターが現在テンプレートに含まれていない場合は、環境ファイルのいずれかに追加するか、新しい環境ファイルを作成します。

   cat > /home/stack/central/network-environment.yaml << EOF
   parameter_defaults:
     NetworkDeploymentActions: ["CREATE", "UPDATE"]
   EOF

7. 中央サイトのデプロイスクリプトを実行します。中央サイトの初回デプロイ時に使用した全テンプレートと、新たに作成または編集した network-environment.yaml ファイルを含めします。

   openstack overcloud deploy \
       --stack central \
       --templates /usr/share/openstack-tripleo-heat-templates/ \
       -r ~/central/roles_data.yaml \
       -e /usr/share/openstack-tripleo-heat-templates/environments/ceph-ansible/ceph-ansible.yaml \
       -e /usr/share/openstack-tripleo-heat-templates/environments/dcn-hci.yaml \
       -e /usr/share/openstack-tripleo-heat-templates/environments/nova-az-config.yaml \
       -e ~/central/dcn9-images-env.yaml \
       ....
       -e ~/dcn-common/central-export.yaml \
       -e ~/dcn-common/central_ceph_external.yaml \
       -e ~/central/dcn_ceph_keys.yaml \
       -e ~/central/role-counts.yaml \
       -e ~/central/ceph.yaml \
       -e ~/central/site-name.yaml \
       -e ~/central/tuning.yaml \
       -e ~/central/glance.yaml

8. ノードが利用可能で、Provisioning state の状態にあることを確認します。

   $ openstack baremetal node list

9. ノードが利用可能な場合は、適切なすべてのテンプレートで新しいエッジサイトをデプロイします。

   openstack overcloud deploy \
       --stack dcn9 \
       --templates /usr/share/openstack-tripleo-heat-templates/ \
       -r ~/dcn9/roles_data.yaml \
       -e /usr/share/openstack-tripleo-heat-templates/environments/ceph-ansible/ceph-ansible.yaml \
       -e /usr/share/openstack-tripleo-heat-templates/environments/dcn-hci.yaml \
       -e /usr/share/openstack-tripleo-heat-templates/environments/nova-az-config.yaml \
       -e ~/dnc9/dcn9-images-env.yaml \
       ....
       -e ~/dcn-common/central-export.yaml \
       -e ~/dcn-common/central_ceph_external.yaml \
       -e ~/dcn9/dcn_ceph_keys.yaml \
       -e ~/dcn9/role-counts.yaml \
       -e ~/dcn9/ceph.yaml \
       -e ~/dcn9/site-name.yaml \
       -e ~/dcn9/tuning.yaml \
       -e ~/dcn9/glance.yaml

10. エッジ間の直接通信でロケーションをデプロイしている場合は、各エッジサイトを再デプロイして、ルートを更新し、新しいロケーションとの通信を確立する必要があります。

手順

1. 以下のような内容で ~/central/glance_update.yaml ファイルを作成します。以下の例には、2 つのエッジサイト dcn0 および dcn1 の設定が含まれています。

     parameter_defaults:
       GlanceEnabledImportMethods: web-download,copy-image
       GlanceBackend: rbd
       GlanceStoreDescription: 'central rbd glance store'
       CephClusterName: central
       GlanceBackendID: central
       GlanceMultistoreConfig:
         dcn0:
           GlanceBackend: rbd
           GlanceStoreDescription: 'dcn0 rbd glance store'
           CephClientUserName: 'openstack'
           CephClusterName: dcn0
           GlanceBackendID: dcn0
         dcn1:
           GlanceBackend: rbd
           GlanceStoreDescription: 'dcn1 rbd glance store'
           CephClientUserName: 'openstack'
           CephClusterName: dcn1
           GlanceBackendID: dcn1

2. dcn_ceph.yaml ファイルを作成します。以下の例では、このファイルは、エッジサイト dcn0 および dcn1 の Ceph クラスターのクライアントとして、中央サイトの glance サービスを設定します。

   sudo -E openstack overcloud export ceph \
   --stack dcn0,dcn1 \
   --config-download-dir /var/lib/mistral \
   --output-file ~/central/dcn_ceph.yaml

3. 元のテンプレートを使用して中央サイトを再デプロイする際に、新たに作成した dcn_ceph.yaml および glance_update.yaml ファイルを追加します。

   openstack overcloud deploy \
          --stack central \
          --templates /usr/share/openstack-tripleo-heat-templates/ \
          -r ~/central/central_roles.yaml \
       ...
          -e /usr/share/openstack-tripleo-heat-templates/environments/ceph-ansible/ceph-ansible.yaml \
          -e /usr/share/openstack-tripleo-heat-templates/environments/nova-az-config.yaml \
          -e ~/central/central-images-env.yaml \
          -e ~/central/role-counts.yaml \
          -e ~/central/site-name.yaml
          -e ~/central/ceph.yaml \
          -e ~/central/ceph_keys.yaml \
          -e ~/central/glance.yaml \
          -e ~/central/dcn_ceph_external.yaml

4. 中央サイトのコントローラーで、cinder-volume サービスを再起動します。cinder-backup サービスと一緒に中央サイトをデプロイしている場合は、cinder-backup サービスも再起動してください。

   ssh heat-admin@controller-0 sudo pcs resource restart openstack-cinder-volume
   ssh heat-admin@controller-0 sudo pcs resource restart openstack-cinder-backup

手順

1. Red Hat OpenStack Platform director に stack としてログインします。

2. DistributedComputeHCIDashboard ロールおよびお使いの環境に適したその他のロールを生成します。

   openstack overcloud roles generate DistributedComputeHCIDashboard -o ~/dnc0/roles.yaml

3. オーバークラウドデプロイコマンドに roles.yaml および network_data_dashboard.yaml を追加します。

   $ openstack overcloud deploy --templates \
   -r ~/<dcn>/<dcn_site_roles>.yaml \
   -n /usr/share/openstack-tripleo-heat-templates/network_data_dashboard.yaml \
   -e <overcloud_environment_files> \
   ...
   -e /usr/share/openstack-tripleo-heat-templates/environments/ceph-ansible/ceph-ansible.yaml \
   -e /usr/share/openstack-tripleo-heat-templates/environments/ceph-ansible/ceph-dashboard.yaml

1. /var/lib/mistral/<stackname>/ceph-ansible/group_vars/all.yml から、選択したスタックに固有の Dashboard 管理者のログイン認証情報を取得します。

2. 選択したスタックに固有のインベントリー /var/lib/mistral/<stackname>/ceph-ansible/inventory.yml で、DistributedComputeHCI ロールホストのリストを見つけ、storage_ip の値を 3 つすべて保存します。以下の例では、最初の 2 つの Dashboard IP は 172.16.11.84 と 172.16.11.87 です。

   DistributedComputeHCI:
     hosts:
       dcn1-distributed-compute-hci-0:
         ansible_host: 192.168.24.16
   ...
   storage_hostname: dcn1-distributed-compute-hci-0.storage.localdomain
   storage_ip: 172.16.11.84
   ...
       dcn1-distributed-compute-hci-1:
   ansible_host: 192.168.24.22
   ...
   storage_hostname: dcn1-distributed-compute-hci-1.storage.localdomain
   storage_ip: 172.16.11.87

3. これらの IP アドレスにアクセス可能な場合は、Ceph Dashboard がそのいずれかでアクティブであることを確認することができます。これらの IP アドレスはストレージネットワーク上にあり、ルーティングされません。これらの IP アドレスが利用できない場合、インベントリーから取得する 3 つの IP アドレスのロードバランサーを設定して、検証用に仮想 IP アドレスを取得する必要があります。

手順

1. スタックから削除するノードを削除します。

   `openstack overcloud node delete --stack <dcn2> \
   <computehci2-1>

2. 削除するノードのネットワークエージェントを削除します。

   (central) [stack@site-undercloud-0 ~]$ openstack network agent list | grep dcn2
   …
   | 17726d1a-e9d1-4e57-b40d-e742be5d073c | Open vSwitch agent | dcn2-computehci2-1.redhat.local         | None              | XXX   | UP    | neutron-openvswitch-agent |
   …
   (central) [stack@site-undercloud-0 ~]$ openstack network agent delete 17726d1a-e9d1-4e57-b40d-e742be5d073c

手順

1. SSH を使用して、削除する DistributedComputeHCI ノードに接続し、root ユーザーとしてログインします。

   $ ssh heat-admin@<dcn-computehci-node>
   $ sudo su -
   #

2. 削除する DistributedComputeHCI ノードに関連付けられた OSD を特定します。

   [root@dcn2-computehci2-1 ~]# podman exec ceph-mon-dnc2-computehci2-1 ceph osd tree -c /etc/ceph/dcn2.conf
   …
   -3       0.24399     host dcn2-computehci2-1
    1   hdd 0.04880         osd.1                           up  1.00000 1.00000
    7   hdd 0.04880         osd.7                           up  1.00000 1.00000
   11   hdd 0.04880         osd.11                          up  1.00000 1.00000
   15   hdd 0.04880         osd.15                          up  1.00000 1.00000
   18   hdd 0.04880         osd.18                          up  1.00000 1.00000
   …

3. 関連する Ceph ノードの OSD を無効化します。

   [root@dcn2-computehci2-1 ~]# podman exec ceph-mon-dcn2-computehci2-1 ceph osd out 1 7 11 15 18 -c /etc/ceph/dcn2.conf
   marked out osd.1. marked out osd.7. marked out osd.11. marked out osd.15. marked out osd.18.

4. Ceph osd リバランシングが終了するのを待ちます。以下のコマンドを使用して進捗を監視します。

   [root@dcn2-computehci2-1 ~]# podman exec ceph-mon-dcn2-computehci2-1 ceph -w -c /etc/ceph/dcn2.conf
   …
   mon.dcn2-computehci2-2 has auth_allow_insecure_global_id_reclaim set to true

   auth_allow_insecure_global_id_reclaim が true に設定されると、リバランスが完了します。

5. OSD を停止し、無効にします。

   [root@dcn2-computehci2-1 ~]# systemctl stop ceph-osd@1
   [root@dcn2-computehci2-1 ~]# systemctl stop ceph-osd@7
   [root@dcn2-computehci2-1 ~]# systemctl stop ceph-osd@11
   [root@dcn2-computehci2-1 ~]# systemctl stop ceph-osd@15
   [root@dcn2-computehci2-1 ~]# systemctl stop ceph-osd@18
   [root@dcn2-computehci2-1 ~]# systemctl disable ceph-osd@1
   Removed /etc/systemd/system/multi-user.target.wants/ceph-osd@1.service.
   [root@dcn2-computehci2-1 ~]# systemctl disable ceph-osd@7
   Removed /etc/systemd/system/multi-user.target.wants/ceph-osd@7.service.
   [root@dcn2-computehci2-1 ~]# systemctl disable ceph-osd@11
   Removed /etc/systemd/system/multi-user.target.wants/ceph-osd@11.service.
   [root@dcn2-computehci2-1 ~]# systemctl disable ceph-osd@15
   Removed /etc/systemd/system/multi-user.target.wants/ceph-osd@15.service.
   [root@dcn2-computehci2-1 ~]# systemctl disable ceph-osd@18
   Removed /etc/systemd/system/multi-user.target.wants/ceph-osd@18.service.

6. CRUSH マップから OSD を削除します。

   [root@dcn2-computehci2-1 ~]# podman exec ceph-mon-dcn2-computehci2-1 ceph osd crush remove osd.1 -c /etc/ceph/dcn2.conf
   removed item id 1 name 'osd.1' from crush map
   [root@dcn2-computehci2-1 ~]# podman exec ceph-mon-dcn2-computehci2-1 ceph osd crush remove osd.7 -c /etc/ceph/dcn2.conf
   removed item id 7 name 'osd.7' from crush map
   [root@dcn2-computehci2-1 ~]# podman exec ceph-mon-dcn2-computehci2-1 ceph osd crush remove osd.11 -c /etc/ceph/dcn2.conf
   removed item id 11 name 'osd.11' from crush map
   [root@dcn2-computehci2-1 ~]# podman exec ceph-mon-dcn2-computehci2-1 ceph osd crush remove osd.15 -c /etc/ceph/dcn2.conf
   removed item id 15 name 'osd.15' from crush map
   [root@dcn2-computehci2-1 ~]# podman exec ceph-mon-dcn2-computehci2-1 ceph osd crush remove osd.18 -c /etc/ceph/dcn2.conf
   removed item id 18 name 'osd.18' from crush map

7. OSD 認証キーを削除します。

   [root@dcn2-computehci2-1 ~]# podman exec ceph-mon-dcn2-computehci2-1 ceph auth del osd.1 -c /etc/ceph/dcn2.conf
   updated
   [root@dcn2-computehci2-1 ~]# podman exec ceph-mon-dcn2-computehci2-1 ceph auth del osd.7 -c /etc/ceph/dcn2.conf
   updated
   [root@dcn2-computehci2-1 ~]# podman exec ceph-mon-dcn2-computehci2-1 ceph auth del osd.11 -c /etc/ceph/dcn2.conf
   updated
   [root@dcn2-computehci2-1 ~]# podman exec ceph-mon-dcn2-computehci2-1 ceph auth del osd.15 -c /etc/ceph/dcn2.conf
   updated
   [root@dcn2-computehci2-1 ~]# podman exec ceph-mon-dcn2-computehci2-1 ceph auth del osd.18 -c /etc/ceph/dcn2.conf
   updated

8. クラスターから OSD を削除します。

   [root@dcn2-computehci2-1 ~]# podman exec ceph-mon-dcn2-computehci2-1 ceph osd rm 1 -c /etc/ceph/dcn2.conf
   removed osd.1
   [root@dcn2-computehci2-1 ~]# podman exec ceph-mon-dcn2-computehci2-1 ceph osd rm 7 -c /etc/ceph/dcn2.conf
   removed osd.7
   [root@dcn2-computehci2-1 ~]# podman exec ceph-mon-dcn2-computehci2-1 ceph osd rm 11 -c /etc/ceph/dcn2.conf
   removed osd.11
   [root@dcn2-computehci2-1 ~]# podman exec ceph-mon-dcn2-computehci2-1 ceph osd rm 15 -c /etc/ceph/dcn2.conf
   removed osd.15
   [root@dcn2-computehci2-1 ~]# podman exec ceph-mon-dcn2-computehci2-1 ceph osd rm 18 -c /etc/ceph/dcn2.conf
   removed osd.18

9. CRUSH マップから DistributedComputeHCI ノードを削除します。

   [root@dcn2-computehci2-1 ~]# podman exec ceph-mon-dcn2-computehci2-1 ceph osd crush rm dcn2-computehci2-1 -c /etc/ceph/dcn2.conf
   removed item id -3 name 'dcn2-computehci2-1' from crush map

10. mon サービスを停止し、無効にします。

    [root@dcn2-computehci2-1 ~]# systemctl --type=service | grep ceph
      ceph-crash@dcn2-computehci2-1.service     loaded active     running       Ceph crash dump collector
      ceph-mgr@dcn2-computehci2-1.service       loaded active     running       Ceph Manager
      ceph-mon@dcn2-computehci2-1.service       loaded active     running       Ceph Monitor
    
    [root@dcn2-computehci2-1 ~]# systemctl stop ceph-mon@dcn2-computehci2-1
    
    [root@dcn2-computehci2-1 ~]# systemctl disable ceph-mon@dcn2-computehci2-1
    Removed /etc/systemd/system/multi-user.target.wants/ceph-mon@dcn2-computehci2-1.service.

11. SSH を使用して、同じクラスター内の別のノードに接続し、クラスターからモニターを削除します。出力の v1 および v2 エントリーに留意してください。

    [root@dcn2-computehci2-0 ~]# podman exec ceph-mon-dcn2-computehci2-0 ceph mon remove dcn2-computehci2-1 -c /etc/ceph/dcn2.conf
    removing mon.dcn2-computehci2-1 at [v2:172.23.3.153:3300/0,v1:172.23.3.153:6789/0], there will be 2 monitors

12. すべての dcn2 ノードで、前の手順で出力された /etc/ceph/dcn2.conf の v1 および v2 モニターエントリーと、'mon initial members' からノード名を削除します。

    更新前

    mon host = [v2:172.23.3.150:3300,v1:172.23.3.150:6789],*[v2:172.23.3.153:3300,v1:172.23.3.153:6789]*,[v2:172.23.3.124:3300,v1:172.23.3.124:6789] + mon initial members = dcn2-computehci2-0,*dcn2-computehci2-1*,dcn2-computehci2-2

    更新後

    mon host = [v2:172.23.3.150:3300,v1:172.23.3.150:6789],[v2:172.23.3.124:3300,v1:172.23.3.124:6789] + mon initial members = dcn2-computehci2-0,dcn2-computehci2-2

13. mgr サービスを停止し、無効にします。

    [root@dcn2-computehci2-1 ~]# systemctl --type=service | grep ceph
      ceph-crash@dcn2-computehci2-1.service    loaded active     running       Ceph crash dump collector
      ceph-mgr@dcn2-computehci2-1.service      loaded active     running       Ceph Manager
    [root@dcn2-computehci2-1 ~]# systemctl stop ceph-mgr@dcn2-computehci2-1
    [root@dcn2-computehci2-1 ~]# systemctl --type=service | grep ceph
      ceph-crash@dcn2-computehci2-1.service  loaded active running Ceph crash dump collector
    [root@dcn2-computehci2-1 ~]# systemctl disable ceph-mgr@dcn2-computehci2-1
    Removed /etc/systemd/system/multi-user.target.wants/ceph-mgr@dcn2-computehci2-1.service.

14. ノードの mgr サービスがクラスターから削除されていることを確認します。

    [root@dcn2-computehci2-0 ~]# podman exec ceph-mon-dcn2-computehci2-0 ceph -s -c /etc/ceph/dcn2.conf
    cluster:
        id:     b9b53581-d590-41ac-8463-2f50aa985001
        health: HEALTH_WARN
                3 pools have too many placement groups
                mons are allowing insecure global_id reclaim
    
      services:
        mon: 2 daemons, quorum dcn2-computehci2-2,dcn2-computehci2-0 (age 2h)
        mgr: dcn2-computehci2-2(active, since 20h), standbys: dcn2-computehci2-0 1
        osd: 15 osds: 15 up (since 3h), 15 in (since 3h)
    
      data:
        pools:   3 pools, 384 pgs
        objects: 32 objects, 88 MiB
        usage:   16 GiB used, 734 GiB / 750 GiB avail
        pgs:     384 active+clean

    1

    mgr サービスが正常に削除されると、mgr が削除されたノードはリスト表示されなくなります。

手順

1. 削除するノードの cinder-volume サービスを特定して無効にします。

   (central) [stack@site-undercloud-0 ~]$ openstack volume service list --service cinder-volume
   | cinder-volume | dcn2-computehci2-1@tripleo_ceph | az-dcn2    | enabled | up    | 2022-03-23T17:41:43.000000 |
   (central) [stack@site-undercloud-0 ~]$ openstack volume service set --disable dcn2-computehci2-1@tripleo_ceph cinder-volume

2. スタック内の別の DistributedComputeHCI ノードにログインします。

   $ ssh heat-admin@dcn2-computehci2-0

3. 削除するノードに関連付けられた cinder-volume サービスを削除します。

   [root@dcn2-computehci2-0 ~]# podman exec -it cinder_volume cinder-manage service remove cinder-volume dcn2-computehci2-1@tripleo_ceph
   Service cinder-volume on host dcn2-computehci2-1@tripleo_ceph removed.

4. 削除するノードで tripleo_cinder_volume サービスを停止して無効にします。

   [root@dcn2-computehci2-1 ~]# systemctl stop tripleo_cinder_volume.service
   [root@dcn2-computehci2-1 ~]# systemctl disable tripleo_cinder_volume.service
   Removed /etc/systemd/system/multi-user.target.wants/tripleo_cinder_volume.service

手順

1. DistributedComputeHCI ノードの削除

   $ openstack overcloud node delete /
   --stack <stack-name> /
   <node_UUID>

2. ノードを再利用する場合は、ironic を使用してディスクをクリーンアップします。これは、ノードが Ceph OSD をホストする場合に必要です。

   openstack baremetal node manage $UUID
   openstack baremetal node clean $UUID --clean-steps '[{"interface":"deploy", "step": "erase_devices_metadata"}]'
   openstack baremetal provide $UUID

1. status フィールドの値が enabled で、State フィールドの値が up であることを確認します。

   (central) [stack@site-undercloud-0 ~]$ openstack compute service list -c Binary -c Host -c Zone -c Status -c State
   +----------------+-----------------------------------------+------------+---------+-------+
   | Binary         | Host                                    | Zone       | Status  | State |
   +----------------+-----------------------------------------+------------+---------+-------+
   ...
   | nova-compute   | dcn1-compute1-0.redhat.local            | az-dcn1    | enabled | up    |
   | nova-compute   | dcn1-compute1-1.redhat.local            | az-dcn1    | enabled | up    |
   | nova-compute   | dcn2-computehciscaleout2-0.redhat.local | az-dcn2    | enabled | up    |
   | nova-compute   | dcn2-computehci2-0.redhat.local         | az-dcn2    | enabled | up    |
   | nova-compute   | dcn2-computescaleout2-0.redhat.local    | az-dcn2    | enabled | up    |
   | nova-compute   | dcn2-computehci2-2.redhat.local         | az-dcn2    | enabled | up    |
   ...

2. すべてのネットワークエージェントが up 状態にあることを確認します。

   (central) [stack@site-undercloud-0 ~]$ openstack network agent list -c "Agent Type" -c Host -c Alive -c State
   +--------------------+-----------------------------------------+-------+-------+
   | Agent Type         | Host                                    | Alive | State |
   +--------------------+-----------------------------------------+-------+-------+
   | DHCP agent         | dcn3-compute3-1.redhat.local            | :-)   | UP    |
   | Open vSwitch agent | central-computehci0-1.redhat.local      | :-)   | UP    |
   | DHCP agent         | dcn3-compute3-0.redhat.local            | :-)   | UP    |
   | DHCP agent         | central-controller0-2.redhat.local      | :-)   | UP    |
   | Open vSwitch agent | dcn3-compute3-1.redhat.local            | :-)   | UP    |
   | Open vSwitch agent | dcn1-compute1-1.redhat.local            | :-)   | UP    |
   | Open vSwitch agent | central-computehci0-0.redhat.local      | :-)   | UP    |
   | DHCP agent         | central-controller0-1.redhat.local      | :-)   | UP    |
   | L3 agent           | central-controller0-2.redhat.local      | :-)   | UP    |
   | Metadata agent     | central-controller0-1.redhat.local      | :-)   | UP    |
   | Open vSwitch agent | dcn2-computescaleout2-0.redhat.local    | :-)   | UP    |
   | Open vSwitch agent | dcn2-computehci2-5.redhat.local         | :-)   | UP    |
   | Open vSwitch agent | central-computehci0-2.redhat.local      | :-)   | UP    |
   | DHCP agent         | central-controller0-0.redhat.local      | :-)   | UP    |
   | Open vSwitch agent | central-controller0-1.redhat.local      | :-)   | UP    |
   | Open vSwitch agent | dcn2-computehci2-0.redhat.local         | :-)   | UP    |
   | Open vSwitch agent | dcn1-compute1-0.redhat.local            | :-)   | UP    |
   ...

3. Ceph クラスターのステータスを確認します。

   1. SSH を使用して新しい DistributedComputeHCI ノードに接続し、Ceph クラスターのステータスを確認します。

      [root@dcn2-computehci2-5 ~]# podman exec -it ceph-mon-dcn2-computehci2-5 \
      ceph -s -c /etc/ceph/dcn2.conf

   2. 新規ノードに ceph mon サービスと ceph mgr サービスの両方が存在することを確認します。

      services:
          mon: 3 daemons, quorum dcn2-computehci2-2,dcn2-computehci2-0,dcn2-computehci2-5 (age 3d)
          mgr: dcn2-computehci2-2(active, since 3d), standbys: dcn2-computehci2-0, dcn2-computehci2-5
          osd: 20 osds: 20 up (since 3d), 20 in (since 3d)

   3. ceph osds のステータスを 'ceph osd tree' で確認します。新規ノードの osds すべてが STATUS up にあることを確認します。

      [root@dcn2-computehci2-5 ~]# podman exec -it ceph-mon-dcn2-computehci2-5 ceph osd tree -c /etc/ceph/dcn2.conf
      ID CLASS WEIGHT  TYPE NAME                           STATUS REWEIGHT PRI-AFF
      -1       0.97595 root default
      -5       0.24399     host dcn2-computehci2-0
       0   hdd 0.04880         osd.0                           up  1.00000 1.00000
       4   hdd 0.04880         osd.4                           up  1.00000 1.00000
       8   hdd 0.04880         osd.8                           up  1.00000 1.00000
      13   hdd 0.04880         osd.13                          up  1.00000 1.00000
      17   hdd 0.04880         osd.17                          up  1.00000 1.00000
      -9       0.24399     host dcn2-computehci2-2
       3   hdd 0.04880         osd.3                           up  1.00000 1.00000
       5   hdd 0.04880         osd.5                           up  1.00000 1.00000
      10   hdd 0.04880         osd.10                          up  1.00000 1.00000
      14   hdd 0.04880         osd.14                          up  1.00000 1.00000
      19   hdd 0.04880         osd.19                          up  1.00000 1.00000
      -3       0.24399     host dcn2-computehci2-5
       1   hdd 0.04880         osd.1                           up  1.00000 1.00000
       7   hdd 0.04880         osd.7                           up  1.00000 1.00000
      11   hdd 0.04880         osd.11                          up  1.00000 1.00000
      15   hdd 0.04880         osd.15                          up  1.00000 1.00000
      18   hdd 0.04880         osd.18                          up  1.00000 1.00000
      -7       0.24399     host dcn2-computehciscaleout2-0
       2   hdd 0.04880         osd.2                           up  1.00000 1.00000
       6   hdd 0.04880         osd.6                           up  1.00000 1.00000
       9   hdd 0.04880         osd.9                           up  1.00000 1.00000
      12   hdd 0.04880         osd.12                          up  1.00000 1.00000
      16   hdd 0.04880         osd.16                          up  1.00000 1.00000

4. 新しい DistributedComputeHCI ノードの cinder-volume サービスがステータス ‘enabled' にあり、状態が ‘up' であることを確認します。

   (central) [stack@site-undercloud-0 ~]$ openstack volume service list --service cinder-volume -c Binary -c Host -c Zone -c Status -c State
   +---------------+---------------------------------+------------+---------+-------+
   | Binary        | Host                            | Zone       | Status  | State |
   +---------------+---------------------------------+------------+---------+-------+
   | cinder-volume | hostgroup@tripleo_ceph          | az-central | enabled | up    |
   | cinder-volume | dcn1-compute1-1@tripleo_ceph    | az-dcn1    | enabled | up    |
   | cinder-volume | dcn1-compute1-0@tripleo_ceph    | az-dcn1    | enabled | up    |
   | cinder-volume | dcn2-computehci2-0@tripleo_ceph | az-dcn2    | enabled | up    |
   | cinder-volume | dcn2-computehci2-2@tripleo_ceph | az-dcn2    | enabled | up    |
   | cinder-volume | dcn2-computehci2-5@tripleo_ceph | az-dcn2    | enabled | up    |
   +---------------+---------------------------------+------------+---------+-------+

   注記

   cinder-volume サービスの状態が down の場合には、サービスはノードで起動していません。

5. ssh を使用して新しい DistributedComputeHCI ノードに接続し、Glance サービスのステータスを ‘systemctl' で確認します。

   [root@dcn2-computehci2-5 ~]# systemctl --type service | grep glance
     tripleo_glance_api.service                        loaded active     running       glance_api container
     tripleo_glance_api_healthcheck.service            loaded activating start   start glance_api healthcheck
     tripleo_glance_api_tls_proxy.service              loaded active     running       glance_api_tls_proxy container

手順

1. 置き換えノードにログインし、etcd サービスのログを確認します。etcd サービスがクラスター ID の不一致を報告していることが、/var/log/containers/stdouts/etcd.log のログファイルに表示されていることを確認します。

   2022-04-06T18:00:11.834104130+00:00 stderr F 2022-04-06 18:00:11.834045 E | rafthttp: request cluster ID mismatch (got 654f4cf0e2cfb9fd want 918b459b36fe2c0c)

2. EtcdInitialClusterState パラメーターをデプロイメントテンプレートの existing の値に設定し、デプロイメントスクリプトを再実行します。

3. SSH を使用して代替ノードに接続し、root で以下のコマンドを実行します。

   [root@dcn2-computehci2-4 ~]# systemctl stop tripleo_etcd
   [root@dcn2-computehci2-4 ~]# rm -rf /var/lib/etcd/*
   [root@dcn2-computehci2-4 ~]# systemctl start tripleo_etcd

4. /var/log/containers/stdouts/etcd.log ログファイルを再チェックし、ノードが正常にクラスターに参加していることを確認します。

   2022-04-06T18:24:22.130059875+00:00 stderr F 2022-04-06 18:24:22.129395 I | etcdserver/membership: added member 96f61470cd1839e5 [https://dcn2-computehci2-4.internalapi.redhat.local:2380] to cluster 654f4cf0e2cfb9fd

5. cinder-volume サービスの状態を確認し、openstack volume service list を実行する際に置き換えノードで up を読み取ることを確認します。

手順

1. スタック用の Ansible インベントリーファイルを作成します。複数のスタックをコンマ区切りリストで指定して、複数サイトのイメージをキャッシュすることができます。

   $ source stackrc
   
   $ tripleo-ansible-inventory --plan central,dcn0,dcn1 \
   --static-yaml-inventory inventory.yaml

2. 事前キャッシュするイメージの ID リストを作成します。

   1. 利用可能なイメージの完全なリストを取得します。

      $ source centralrc
      
      $ openstack image list
      +--------------------------------------+---------+--------+
      | ID                                   | Name    | Status |
      +--------------------------------------+---------+--------+
      | 07bc2424-753b-4f65-9da5-5a99d8383fe6 | image_0 | active |
      | d5187afa-c821-4f22-aa4b-4e76382bef86 | image_1 | active |
      +--------------------------------------+---------+--------+

   2. nova_cache_args.yml という名前で Ansible Playbook の引数ファイルを作成し、事前キャッシュするイメージの ID を追加します。

      ---
      tripleo_nova_image_cache_images:
        - id: 07bc2424-753b-4f65-9da5-5a99d8383fe6
        - id: d5187afa-c821-4f22-aa4b-4e76382bef86

3. tripleo_nova_image_cache.yml Ansible Playbook を実行します。

   $ source centralrc
   
   $ ansible-playbook -i inventory.yaml \
   --extra-vars "@nova_cache_args.yml" \
   /usr/share/ansible/tripleo-playbooks/tripleo_nova_image_cache.yml

1. エッジサイトにストレージをデプロイする場合は、エッジスタック用に変更した tripleo heat テンプレートに以下のパラメーターを追加します。

   TEMPLATES=/usr/share/openstack-tripleo-heat-templates
   
   resource_registry:
     OS::TripleO::Services::IpaClient:
       ${TEMPLATES}/deployment/ipa/ipaservices-baremetal-ansible.yaml
   
   parameter_defaults:
     EnableEtcdInternalTLS: true

Process

1. 外部アクセス用の Ceph キーを作成します。この鍵の取り扱いには注意が必要です。以下のコマンドを使用して鍵を生成することができます。

   python3 -c 'import os,struct,time,base64; key = os.urandom(16) ; \
   header = struct.pack("<hiih", 1, int(time.time()), 0, len(key)) ; \
   print(base64.b64encode(header + key).decode())'

2. デプロイするスタックのディレクトリーにおいて、以下のような内容で ceph_keys.yaml 環境ファイルを作成します。鍵には、前のステップのコマンド出力を使用します。

   parameter_defaults:
     CephExtraKeys:
       - name: "client.external"
         caps:
           mgr: "allow *"
           mon: "profile rbd"
           osd: "profile rbd pool=vms, profile rbd pool=volumes, profile rbd pool=images"
         key: "AQD29WteAAAAABAAphgOjFD7nyjdYe8Lz0mQ5Q=="
         mode: "0600"

3. サイトのデプロイメントに ceph_keys.yaml 環境ファイルを追加します。たとえば、ceph_keys.yaml 環境ファイルを指定して中央サイトをデプロイするには、以下のようなコマンドを実行します。

    overcloud deploy \
            --stack central \
            --templates /usr/share/openstack-tripleo-heat-templates/ \
            ….
            -e ~/central/ceph_keys.yaml