手順

1. アンダークラウドに stack ユーザーとしてログインします。

2. undercloud.conf ファイルがまだない場合には、サンプルのテンプレートファイルをコピーします。

   [stack@director ~]$ cp /usr/share/python-tripleoclient/undercloud.conf.sample ~/undercloud.conf

3. undercloud.conf ファイルを編集します。

4. [DEFAULT] セクションに以下の値を設定します。

   1. local_ip を leaf0 上のアンダークラウド IP に設定します。

      local_ip = 192.168.10.1/24

   2. undercloud_public_host をアンダークラウドの外部向け IP アドレスに設定します。

      undercloud_public_host = 10.1.1.1

   3. undercloud_admin_host をアンダークラウドの管理用 IP アドレスに設定します。この IP アドレスは、通常 leaf0 上にあります。

      undercloud_admin_host = 192.168.10.2

   4. local_interface を、ローカルネットワーク用にブリッジを設定するインターフェイスに設定します。

      local_interface = eth1

   5. enable_routed_networks を true に設定します。

      enable_routed_networks = true

   6. subnets パラメーターを使用してサブネットのリストを定義します。ルーティング対応のスパイン/リーフ内の各 L2 セグメントにサブネットを 1 つ定義します。

      subnets = leaf0,leaf1,leaf2

   7. local_subnet パラメーターを使用して、アンダークラウドにローカルな物理 L2 セグメントに関連付けられるサブネットを指定します。

      local_subnet = leaf0

   8. undercloud_nameservers の値を設定します。

      undercloud_nameservers = 10.11.5.19,10.11.5.20

      ヒント

      アンダークラウドのネームサーバーに使用する DNS サーバーの現在の IP アドレスは、/etc/resolv.conf を参照して確認することができます。

5. subnets パラメーターで定義するサブネットごとに、新規セクションを作成します。

   [leaf0]
   cidr = 192.168.10.0/24
   dhcp_start = 192.168.10.10
   dhcp_end = 192.168.10.90
   inspection_iprange = 192.168.10.100,192.168.10.190
   gateway = 192.168.10.1
   masquerade = False
   
   [leaf1]
   cidr = 192.168.11.0/24
   dhcp_start = 192.168.11.10
   dhcp_end = 192.168.11.90
   inspection_iprange = 192.168.11.100,192.168.11.190
   gateway = 192.168.11.1
   masquerade = False
   
   [leaf2]
   cidr = 192.168.12.0/24
   dhcp_start = 192.168.12.10
   dhcp_end = 192.168.12.90
   inspection_iprange = 192.168.12.100,192.168.12.190
   gateway = 192.168.12.1
   masquerade = False

6. undercloud.conf ファイルを保存します。

7. アンダークラウドをインストールするコマンドを実行します。

   [stack@director ~]$ openstack undercloud install

手順

1. stackrc ファイルを取得します。

   [stack@director ~]$ source ~/stackrc

2. 各カスタムロール用のフレーバーを作成します。

   $ ROLES="control compute_leaf0 compute_leaf1 compute_leaf2 ceph-storage_leaf0 ceph-storage_leaf1 ceph-storage_leaf2"
   $ for ROLE in $ROLES; do openstack flavor create --id auto --ram <ram_size_mb> --disk <disk_size_gb> --vcpus <no_vcpus> $ROLE ; done
   $ for ROLE in $ROLES; do openstack flavor set --property "cpu_arch"="x86_64" --property "capabilities:boot_option"="local" --property resources:DISK_GB='0' --property resources:MEMORY_MB='0' --property resources:VCPU='0' $ROLE ; done

   • <ram_size_mb> をベアメタルノードの RAM (MB 単位) に置き換えます。
   • <disk_size_gb> をベアメタルノード上のディスク容量 (GB 単位) に置き換えます。
   • <no_vcpus> をベアメタルノードの CPU 数に置き換えます。

3. ノードリストを取得して UUID を把握します。

   (undercloud)$ openstack baremetal node list

4. カスタムリソースクラスを使用して、各ベアメタルノードをリーフネットワークおよびロールにタグ付けします。

   (undercloud)$ openstack baremetal node set \
    --resource-class baremetal.LEAF-ROLE <node>

   <node> をベアメタルノードの ID に置き換えてください。

   たとえば、以下のコマンドを実行して、UUID 58c3d07e-24f2-48a7-bbb6-6843f0e8ee13 のノードを Leaf2 上の Compute ロールにタグ付けします。

   (undercloud)$ openstack baremetal node set \
    --resource-class baremetal.COMPUTE-LEAF2 58c3d07e-24f2-48a7-bbb6-6843f0e8ee13

5. 各リーフネットワークロールフレーバーをカスタムリソースクラスに関連付けます。

   (undercloud)$ openstack flavor set \
    --property resources:CUSTOM_BAREMETAL_LEAF_ROLE=1 \
   <custom_role>

   Bare Metal Provisioning サービスノードのリソースクラスに対応するカスタムリソースクラスの名前を指定するには、リソースクラスを大文字に変換し、それぞれの句読点をアンダースコアに置き換え、CUSTOM_ の接頭辞を追加します。

   注記

   フレーバーが要求できるのは、ベアメタルリソースクラスの 1 つのインスタンスだけです。

6. node-info.yaml ファイルで、各カスタムリーフロールに使用するフレーバーおよび各カスタムリーフロールに割り当てるノード数を指定します。たとえば、以下の設定では、使用するフレーバーと、カスタムのリーフロール compute_leaf0、compute_leaf1、compute_leaf2、ceph-storage_leaf0、ceph-storage_leaf1、および ceph-storage_leaf2 に割り当てるノード数を指定します。

   parameter_defaults:
     OvercloudControllerFlavor: control
     OvercloudComputeLeaf0Flavor: compute_leaf0
     OvercloudComputeLeaf1Flavor: compute_leaf1
     OvercloudComputeLeaf2Flavor: compute_leaf2
     OvercloudCephStorageLeaf0Flavor: ceph-storage_leaf0
     OvercloudCephStorageLeaf1Flavor: ceph-storage_leaf1
     OvercloudCephStorageLeaf2Flavor: ceph-storage_leaf2
     ControllerLeaf0Count: 3
     ComputeLeaf0Count: 3
     ComputeLeaf1Count: 3
     ComputeLeaf2Count: 3
     CephStorageLeaf0Count: 3
     CephStorageLeaf1Count: 3
     CephStorageLeaf2Count: 3

手順

1. stackrc ファイルを取得します。

   $ source ~/stackrc

2. ベアメタルノードをチェックします。

   $ openstack baremetal node list

3. ベアメタルノードは enroll または manageable の状態であることを確認してください。ベアメタルノードがこれらのいずれかの状態にない場合、ベアメタルポートで physical_network プロパティーを設定するコマンドは失敗します。全ノードを manageable の状態に設定するには、以下のコマンドを実行します。

   $ for node in $(openstack baremetal node list -f value -c Name); do openstack baremetal node manage $node --wait; done

4. ベアメタルポートとベアメタルノードの関連付けを確認します。

   $ openstack baremetal port list --node <node-uuid>

5. ポートの physical-network パラメーターを設定します。以下の例では、leaf0、leaf1、および leaf2 の 3 つのサブネットが設定で定義されています。local_subnet は leaf0 です。local_subnet の物理ネットワークは常に ctlplane であるため、leaf0 に接続されたベアメタルポートは必ず ctlplane を使用します。残りのポートは他のリーフ名を使用します。

   $ openstack baremetal port set --physical-network ctlplane <port-uuid>
   $ openstack baremetal port set --physical-network leaf1 <port-uuid>
   $ openstack baremetal port set --physical-network leaf2 <port-uuid>

6. オーバークラウドをデプロイする前に、ノードをイントロスペクションします。--all-manageable オプションと -provide オプションを付けて、デプロイ可能なノードとして設定します。

   $ openstack overcloud node introspect --all-manageable --provide

手順

1. アンダークラウドホストに stack ユーザーとしてログインします。

2. source コマンドでアンダークラウドの認証情報ファイルを読み込みます。

   $ source ~/stackrc

3. /home/stack/undercloud.conf ファイルで、以下の手順を実施します。

   1. subnets パラメーターを特定し、追加するリーフ用の新規サブネットを追加します。

      サブネットは、ルーティング対応のスパイン/リーフ内の L2 セグメントを表します。

      例

      以下の例では、新しいリーフ (leaf3) に新規サブネット (leaf3) が追加されます。

      subnets = leaf0,leaf1,leaf2,leaf3

   2. 追加したサブネットのセクションを作成します。

      例

      以下の例では、新しいサブネット (leaf3 に [leaf3] セクションが追加されます。

      [leaf0]
      cidr = 192.168.10.0/24
      dhcp_start = 192.168.10.10
      dhcp_end = 192.168.10.90
      inspection_iprange = 192.168.10.100,192.168.10.190
      gateway = 192.168.10.1
      masquerade = False
      
      [leaf1]
      cidr = 192.168.11.0/24
      dhcp_start = 192.168.11.10
      dhcp_end = 192.168.11.90
      inspection_iprange = 192.168.11.100,192.168.11.190
      gateway = 192.168.11.1
      masquerade = False
      
      [leaf2]
      cidr = 192.168.12.0/24
      dhcp_start = 192.168.12.10
      dhcp_end = 192.168.12.90
      inspection_iprange = 192.168.12.100,192.168.12.190
      gateway = 192.168.12.1
      masquerade = False
      
      [leaf3]
      cidr = 192.168.13.0/24
      dhcp_start = 192.168.13.10
      dhcp_end = 192.168.13.90
      inspection_iprange = 192.168.13.100,192.168.13.190
      gateway = 192.168.13.1
      masquerade = False

4. undercloud.conf ファイルを保存します。

5. アンダークラウドを再インストールします。

   $ openstack undercloud install

手順

1. ManageNetworks: true と設定するか未設定のままにして、中央スタックをデプロイします。
2. ManageNetworks: false の設定で、追加のスタックをデプロイします。

手順

1. 関連するネットワークリソースの UUID を把握します。

   $ openstack network show internal_api -c id -f value
   $ openstack subnet show internal_api_subnet -c id -f value
   $ openstack port show internal_api_virtual_ip -c id -f value

2. 上記のコマンドの出力に表示される値を保存し、それらを別のスタックの network_data.yaml ファイルの internal_api ネットワークのネットワーク定義に追加します。

   - name: InternalApi
     external_resource_network_id: 93861871-7814-4dbc-9e6c-7f51496b43af
     external_resource_subnet_id: c85c8670-51c1-4b17-a580-1cfb4344de27
     external_resource_vip_id: 8bb9d96f-72bf-4964-a05c-5d3fed203eb7
     name_lower: internal_api
     vip: true
     ip_subnet: '172.16.2.0/24'
     allocation_pools: [{'start': '172.16.2.4', 'end': '172.16.2.250'}]
     ipv6_subnet: 'fd00:fd00:fd00:2000::/64'
     ipv6_allocation_pools: [{'start': 'fd00:fd00:fd00:2000::10', 'end': 'fd00:fd00:fd00:2000:ffff:ffff:ffff:fffe'}]
     mtu: 1400

手順

1. central heat スタックを定義します。

   $ mkdir central
   $ touch central/overrides.yaml

2. central heat スタックから、データを全 DCN サイト用の共通ディレクトリーに抽出します。

   $ mkdir dcn-common
   $ touch dcn-common/overrides.yaml
   $ touch dcn-common/central-export.yaml

   central-export.yaml ファイルは、後で openstack overcloud export コマンドで作成されます。本セクションで説明するすべての DCN デプロイメントがこのファイルを使用する必要があるため、このファイルは dcn-common ディレクトリー内に作成されます。

3. dcn0 サイトを定義します。

   $ mkdir dcn0
   $ touch dcn0/overrides.yaml

手順

1. containers.yaml にレジストリーサービスアカウントの認証情報を追加します。

   parameter_defaults:
     ContainerImagePrepare:
     - push_destination: true
       set:
         ceph_namespace: registry.redhat.io/rhceph
         ceph_image: rhceph-4-rhel8
         ceph_tag: latest
         name_prefix: openstack-
         namespace: registry.redhat.io/rhosp16-rhel8
         tag: latest
     ContainerImageRegistryCredentials:
       # https://access.redhat.com/RegistryAuthentication
       registry.redhat.io:
         registry-service-account-username: registry-service-account-password

2. images-env.yaml として環境ファイルを生成します。

   sudo openstack tripleo container image prepare \
   -e containers.yaml \
   --output-env-file images-env.yaml

   作成される images-env.yaml ファイルは、ファイルを生成したスタックのデプロイメント手順の一部として追加されます。

手順

1. アンダークラウドホストに stack ユーザーとしてログインします。

2. デフォルトの roles ディレクトリーをコピーします。

   cp -r /usr/share/openstack-tripleo-heat-templates/roles ~/.

3. DistributedCompute.yaml ファイルから DistributedComputeDpdk.yaml という新しいファイルを作成します。

   cp roles/DistributedCompute.yaml roles/DistributedComputeDpdk.yaml

4. DPDK サービスを新しい DistributedComputeDpdk.yaml ファイルに追加します。DistributedComputeDpdk.yaml ファイルにないパラメーターを ComputeOvsDpdk.yaml ファイルで特定することで、追加が必要なパラメーターを特定できます。

   diff -u roles/DistributedComputeDpdk.yaml roles/ComputeOvsDpdk.yaml

   この出力では、+ で始まるパラメーターは ComputeOvsDpdk.yaml ファイルに存在しますが、DistributedComputeDpdk.yaml ファイルにはありません。これらのパラメーターを新しい DistributedComputeDpdk.yaml ファイルに追加します。

5. DistributedComputeDpdk.yaml を使用して、DistributedComputeDpdk ロールファイルを作成します。

   openstack overcloud roles generate --roles-path ~/roles/ -o ~/roles/roles-custom.yaml DistributedComputeDpdk

1. ホームディレクトリーに、デプロイする各スタックのディレクトリーを作成します。

   mkdir /home/stack/central
   mkdir /home/stack/dcn0
   mkdir /home/stack/dcn1

2. 以下のような設定で central/overrides.yaml という名前のファイルを作成します。

   parameter_defaults:
     NtpServer:
       - 0.pool.ntp.org
       - 1.pool.ntp.org
     ControllerCount: 3
     ComputeCount: 0
     OvercloudControllerFlavor: baremetal
     OvercloudComputeFlavor: baremetal
     ControllerSchedulerHints:
       'capabilities:node': '0-controller-%index%'
     GlanceBackend: swift

   • ControllerCount: 3: ノードを 3 台デプロイすることを指定します。これらのノードは、glance 用に swift を、cinder 用に lvm をそれぞれ使用し、エッジコンピュートノード用に control-plane サービスをホストします。
   • ComputeCount: 0: オプションのパラメーターで、コンピュートノードが中央コントローラーノードと共にデプロイされないようにします。

   • GlanceBackend: swift: Image サービス (glance) のバックエンドとして Object Storage (swift) を使用することを指定します。

     この設定は、分散コンピュートノード (DCN) と以下のように連携します。

   • DCN 上の Image サービスは、中央の Object Storage バックエンドから受けとるイメージのキャッシュコピーを作成します。Image サービスは、HTTP を使用して Object Storage からのイメージをローカルディスクキャッシュにコピーします。

     注記

     中央のコントローラーノードは、分散コンピュートノード (DCN) サイトに接続できる必要があります。中央のコントローラーノードは、ルーティング対応のレイヤー 3 接続を使用することができます。

3. 実際の環境に適したロールを使用して、中央サイト用のロールを生成します。

   openstack overcloud roles generate Controller \
   -o ~/central/control_plane_roles.yaml

4. 環境ファイル ~/central/central-images-env.yaml を生成します。

   sudo openstack tripleo container image prepare \
   -e containers.yaml \
   --output-env-file ~/central/central-images-env.yaml

5. site-name.yaml 環境ファイルでサイトの命名規則を設定します。Nova アベイラビリティーゾーンと Cinder ストレージアベイラビリティーゾーンが一致している必要があります。

   cat > /home/stack/central/site-name.yaml << EOF
   parameter_defaults:
       NovaComputeAvailabilityZone: central
       ControllerExtraConfig:
           nova::availability_zone::default_schedule_zone: central
       NovaCrossAZAttach: false
       CinderStorageAvailabilityZone: central
   EOF

6. 中央コントローラーノードをデプロイします。たとえば、以下の内容の deploy.sh ファイルを使用することができます。

   #!/bin/bash
   
   source ~/stackrc
   time openstack overcloud deploy \
   --stack central \
   --templates /usr/share/openstack-tripleo-heat-templates/ \
   -e /usr/share/openstack-tripleo-heat-templates/environments/nova-az-config.yaml \
   -e ~/central/containers-env-file.yaml \
   -e ~/central/overrides.yaml \
   -e ~/central/site-name.yaml

1. ホームディレクトリーに、デプロイする各スタックのディレクトリーを作成します。

   mkdir /home/stack/central
   mkdir /home/stack/dcn0
   mkdir /home/stack/dcn1

2. 利用可能なハードウェアに該当する設定パラメーターおよび Ceph クラスターの名前を設定します。詳しくは、カスタム設定を使用した Ceph の設定 に関するドキュメントを参照してください。

   cat > /home/stack/central/ceph.yaml << EOF
   parameter_defaults:
     CephClusterName: central
     CephAnsibleDisksConfig:
       osd_scenario: lvm
       osd_objectstore: bluestore
       devices:
         - /dev/sda
         - /dev/sdb
     CephPoolDefaultSize: 3
     CephPoolDefaultPgNum: 128
   
   EOF

3. 実際の環境に適したロールを使用して、中央サイト用のロールを生成します。

   openstack overcloud roles generate Compute Controller CephStorage \
   -o ~/central/central_roles.yaml
   
   cat > /home/stack/central/role-counts.yaml << EOF
   parameter_defaults:
     ControllerCount: 3
     ComputeCount: 2
     CephStorage: 3
   EOF

4. 環境ファイル ~/central/central-images-env.yaml を生成します。

   sudo openstack tripleo container image prepare \
   -e containers.yaml \
   --output-env-file ~/central/central-images-env.yaml

5. site-name.yaml 環境ファイルでサイトの命名規則を設定します。Nova アベイラビリティーゾーンと Cinder ストレージアベイラビリティーゾーンが一致している必要があります。

   cat > /home/stack/central/site-name.yaml << EOF
   parameter_defaults:
       NovaComputeAvailabilityZone: central
       ControllerExtraConfig:
           nova::availability_zone::default_schedule_zone: central
       NovaCrossAZAttach: false
       CinderStorageAvailabilityZone: central
       GlanceBackendID: central
   EOF

6. 以下のような内容で glance.yaml テンプレートを設定します。

   parameter_defaults:
       GlanceEnabledImportMethods: web-download,copy-image
       GlanceBackend: rbd
       GlanceStoreDescription: 'central rbd glance store'
       GlanceBackendID: central
       CephClusterName: central

7. その他すべてのテンプレートを準備したら、central スタックをデプロイします。

   openstack overcloud deploy \
          --stack central \
          --templates /usr/share/openstack-tripleo-heat-templates/ \
          -r ~/central/central_roles.yaml \
       ...
          -e /usr/share/openstack-tripleo-heat-templates/environments/ceph-ansible/ceph-ansible.yaml \
          -e /usr/share/openstack-tripleo-heat-templates/environments/nova-az-config.yaml \
          -e ~/central/central-images-env.yaml \
          -e ~/central/role-counts.yaml \
          -e ~/central/site-name.yaml \
          -e ~/central/ceph.yaml \
          -e ~/central/glance.yaml

1. ホームディレクトリーに、デプロイする各スタックのディレクトリーを作成します。これを使用して、それぞれのサイト用に設計されたテンプレートを分離します。

   mkdir /home/stack/central
   mkdir /home/stack/dcn0
   mkdir /home/stack/dcn1

2. Red Hat OpenStack Platform director が管理するロールを使用して、中央の場所のロールを生成します。外部 Ceph と統合する場合は、Ceph ロールを使用しないでください。

   cat > /home/stack/central/role-counts.yaml << EOF
   parameter_defaults:
     ControllerCount: 3
     ComputeCount: 2
   EOF

3. 環境ファイル ~/central/central-images-env.yaml を生成します。

   sudo openstack tripleo container image prepare \
   -e containers.yaml \
   --output-env-file ~/central/central-images-env.yaml

4. site-name.yaml 環境ファイルでサイトの命名規則を設定します。Nova アベイラビリティーゾーンと Cinder ストレージアベイラビリティーゾーンが一致している必要があります。

   cat > /home/stack/central/site-name.yaml << EOF
   parameter_defaults:
       NovaComputeAvailabilityZone: central
       ControllerExtraConfig:
           nova::availability_zone::default_schedule_zone: central
       NovaCrossAZAttach: false
       CinderStorageAvailabilityZone: central
       GlanceBackendID: central
   EOF

5. 以下のような内容で glance.yaml テンプレートを設定します。

   parameter_defaults:
       GlanceEnabledImportMethods: web-download,copy-image
       GlanceBackend: rbd
       GlanceStoreDescription: 'central rbd glance store'
       GlanceBackendID: central
       CephClusterName: central

6. Ceph が Red Hat OpenStack Platform director を使用せずにデプロイされる場合には、ceph-ansible.yaml 環境ファイルを使用しないでください。代わりに ceph-ansible-external.yaml 環境ファイルを使用してください。

   openstack overcloud deploy \
          --stack central \
          --templates /usr/share/openstack-tripleo-heat-templates/ \
          -r ~/central/central_roles.yaml \
       ...
          -e /usr/share/openstack-tripleo-heat-templates/environments/ceph-ansible/ceph-ansible-external.yaml \
          -e /usr/share/openstack-tripleo-heat-templates/environments/nova-az-config.yaml \
          -e ~/central/central-images-env.yaml \
          -e ~/central/role-counts.yaml \
          -e ~/central/site-name.yaml \
          -e ~/central/ceph.yaml \
          -e ~/central/glance.yaml

手順

1. central スタックからスタック情報をエクスポートします。以下のコマンドを実行する前に、central スタックをデプロイする必要があります。

   openstack overcloud export \
           --config-download-dir /var/lib/mistral/central/ \
           --stack central \
           --output-file ~/dcn-common/central-export.yaml

   注記

   config-download-dir のデフォルト値は /var/lib/mistral/<stack>/ です。

2. central_ceph_external.yaml ファイルを作成します。この環境ファイルにより、DCN サイトが中央ハブの Ceph クラスターに接続されので、詳細は前の手順でデプロイした Ceph クラスターに固有のものです。

   sudo -E openstack overcloud export ceph \
   --stack central \
   --config-download-dir /var/lib/mistral \
   --output-file ~/dcn-common/central_ceph_external.yaml

   Ceph が Red Hat OpenStack Platform director を使用せずにデプロイされる場合には、openstack overcloud export ceph コマンドを実行できません。central_ceph_external.yaml ファイルを手動で作成します。

   parameter_defaults:
     CephExternalMultiConfig:
       - cluster: "central"
         fsid: "3161a3b4-e5ff-42a0-9f53-860403b29a33"
         external_cluster_mon_ips: "172.16.11.84, 172.16.11.87, 172.16.11.92"
         keys:
           - name: "client.openstack"
             caps:
               mgr: "allow *"
               mon: "profile rbd"
               osd: "profile rbd pool=vms, profile rbd pool=volumes, profile rbd pool=images"
             key: "AQD29WteAAAAABAAphgOjFD7nyjdYe8Lz0mQ5Q=="
             mode: "0600"
         dashboard_enabled: false
         ceph_conf_overrides:
           client:
             keyring: /etc/ceph/central.client.openstack.keyring

   • fsid パラメーターは、Ceph Storage クラスターのファイルシステム ID です。この値は、クラスター設定ファイルの [global] セクションで指定します。

     [global]
     fsid = 4b5c8c0a-ff60-454b-a1b4-9747aa737d19
     ...

   • key パラメーターは、openstack アカウントの ceph クライアントキーです。

     [root@ceph ~]# ceph auth list
     ...
     [client.openstack]
         key = AQC+vYNXgDAgAhAAc8UoYt+OTz5uhV7ItLdwUw==
         caps mgr = "allow *"
         caps mon = "profile rbd"
         caps osd = "profile rbd pool=volumes, profile rbd pool=vms, profile rbd pool=images, profile rbd pool=backups, profile rbd pool=metrics"
     ...

     central_ceph_external.yaml ファイルのサンプルにあるパラメーターについての詳しい情報は、カスタム環境ファイルの作成 を参照してください。

3. Image サービス設定のオーバーライド用に ~/dcn0/glance.yaml ファイルを作成します。

   parameter_defaults:
     GlanceEnabledImportMethods: web-download,copy-image
     GlanceBackend: rbd
     GlanceStoreDescription: 'dcn0 rbd glance store'
     GlanceBackendID: dcn0
     GlanceMultistoreConfig:
       central:
         GlanceBackend: rbd
         GlanceStoreDescription: 'central rbd glance store'
         CephClientUserName: 'openstack'
         CephClusterName: central

4. 利用可能なハードウェアに該当する設定パラメーターで ceph.yaml ファイルを設定します。

   cat > /home/stack/dcn0/ceph.yaml << EOF
   parameter_defaults:
     CephClusterName: dcn0
     CephAnsibleDisksConfig:
       osd_scenario: lvm
       osd_objectstore: bluestore
       devices:
         - /dev/sda
         - /dev/sdb
     CephPoolDefaultSize: 3
     CephPoolDefaultPgNum: 128
   EOF

   詳しくは、Ceph Storage ノードのディスクレイアウトのマッピング を参照してください。

5. 実際の環境要件に適した以下のパラメーターが含まれるファイルを使用して、システムのチューニングを実施します。

   cat > /home/stack/dcn0/tuning.yaml << EOF
   parameter_defaults:
     CephAnsibleExtraConfig:
       is_hci: true
     CephConfigOverrides:
       osd_recovery_op_priority: 3
       osd_recovery_max_active: 3
       osd_max_backfills: 1
    ## Set relative to your hardware:
     # DistributedComputeHCIParameters:
     #   NovaReservedHostMemory: 181000
     # DistributedComputeHCIExtraConfig:
     #   nova::cpu_allocation_ratio: 8.2
   EOF

   • パラメーター CephAnsibleExtraConfig の値の設定については、Setting ceph-ansible group variables を参照してください。
   • パラメーター CephConfigOverrides の値の設定の詳細については、Customizing the Ceph Storage cluster を参照してください。

6. site-name.yaml 環境ファイルでサイトの命名規則を設定します。Nova アベイラビリティーゾーンと Cinder ストレージアベイラビリティーゾーンが一致している必要があります。ストレージと共にエッジサイトをデプロイする場合は、CinderVolumeCluster パラメーターを含めます。このパラメーターは、エッジサイトで必要な cinder-volume をアクティブ/アクティブ設定としてデプロイする場合に使用されます。ベストプラクティスとしては、Cinder クラスター名をアベイラビリティーゾーンと一致するように設定します。

   cat > /home/stack/central/site-name.yaml << EOF
   parameter_defaults:
       ...
       NovaComputeAvailabilityZone: dcn0
       NovaCrossAZAttach: false
       CinderStorageAvailabilityZone: dcn0
       CinderVolumeCluster: dcn0

7. dcn0 のデプロイメントに使用する roles.yaml ファイルを生成します。以下に例を示します。

   openstack overcloud roles generate DistributedComputeHCI DistributedComputeHCIScaleOut -o ~/dcn0/roles_data.yaml

8. それぞれのロールに必要な値で ~/dcn0/roles-counts.yaml ファイルを作成して、各ロールに番号システムを設定します。

   ハイパーコンバージドインフラストラクチャー (HCI) を使用する場合は、Ceph Mon および GlanceApiEdge サービスの要件を満たすために、3 台のノードを DistributedComputeHCICount ロールに割り当てる必要があります。

   parameter_defaults:
     ControllerCount: 0
     ComputeCount: 0
     DistributedComputeHCICount: 3
     DistributedComputeHCIScaleOutCount: 1  # Optional
     DistributedComputeScaleOutCount: 1     # Optional

9. エッジサイトのコンテナーイメージを取得します。

   sudo openstack tripleo container image prepare \
   --environment-directory dcn0 \
   -r ~/dcn0/roles_data.yaml \
   -e /usr/share/openstack-tripleo-heat-templates/environments/ceph-ansible/ceph-ansible.yaml \
   ...
   -e /home/stack/dcn-common/central-export.yaml \
   -e /home/stack/containers-prepare-parameter.yaml \
   --output-env-file ~/dcn0/dcn0-images-env.yaml

   注記

   openstack tripleo container image prepare コマンドに、デプロイメントに使用するすべての環境ファイルを追加する必要があります。

10. エッジサイトをデプロイします。

    openstack overcloud deploy \
        --stack dcn0 \
        --templates /usr/share/openstack-tripleo-heat-templates/ \
        -r ~/dcn0/roles_data.yaml \
        -e /usr/share/openstack-tripleo-heat-templates/environments/ceph-ansible/ceph-ansible.yaml \
        -e /usr/share/openstack-tripleo-heat-templates/environments/dcn-hci.yaml \
        -e /usr/share/openstack-tripleo-heat-templates/environments/nova-az-config.yaml \
        -e ~/dnc0/dcn0-images-env.yaml \
        ....
        -e ~/dcn-common/central-export.yaml \
        -e ~/dcn-common/central_ceph_external.yaml \
        -e ~/dcn0/dcn_ceph_keys.yaml \
        -e ~/dcn0/role-counts.yaml \
        -e ~/dcn0/ceph.yaml \
        -e ~/dcn0/site-name.yaml \
        -e ~/dcn0/tuning.yaml \
        -e ~/dcn0/glance.yaml

    注記

    openstack overcloud deploy コマンドに、ネットワーク設定用の heat テンプレートを追加する必要があります。エッジアーキテクチャーの設計には、スパイン/リーフ型ネットワークが必要です。詳しくは、スパイン/リーフ型ネットワーク を参照してください。

手順

1. アンダークラウドの stack ユーザーとして、dcn9 用に新規ディレクトリーを作成します。

   $ cd ~
   $ mkdir dcn9

2. 既存の dcn0 テンプレートを新しいディレクトリーにコピーし、dcn0 の文字列を dcn9 に置き換えます。

   $ cp dcn0/ceph.yaml dcn9/ceph.yaml
   $ sed s/dcn0/dcn9/g -i dcn9/ceph.yaml
   $ cp dcn0/overrides.yaml dcn9/overrides.yaml
   $ sed s/dcn0/dcn9/g -i dcn9/overrides.yaml
   $ sed s/"0-ceph-%index%"/"9-ceph-%index%"/g -i dcn9/overrides.yaml
   $ cp dcn0/deploy.sh dcn9/deploy.sh
   $ sed s/dcn0/dcn9/g -i dcn9/deploy.sh

3. dcn9 ディレクトリーのファイルを調べ、要件を満たしていることを確認します。

4. undercloud.conf を編集して、新しいリーフを追加します。以下の例では、leaf9 を undercloud.conf に追加します。

   [leaf0]
   cidr = 192.168.10.0/24
   dhcp_start = 192.168.10.10
   dhcp_end = 192.168.10.90
   inspection_iprange = 192.168.10.100,192.168.10.190
   gateway = 192.168.10.1
   masquerade = False
   
   …
   [leaf9]
   cidr = 192.168.19.0/24
   dhcp_start = 192.168.19.10
   dhcp_end = 192.168.19.90
   inspection_iprange = 192.168.19.100,192.168.19.190
   gateway = 192.168.10.1
   masquerade = False

5. openstack undercloud install コマンドを再度実行して、環境設定を更新します。

6. オーバークラウドのテンプレートで、NetworkDeploymentActions パラメーターの値を ["CREATE"] の値から ["CREATE", "UPDATE"] の値に更新します。このパラメーターが現在テンプレートに含まれていない場合は、環境ファイルのいずれかに追加するか、新しい環境ファイルを作成します。

   cat > /home/stack/central/network-environment.yaml << EOF
   parameter_defaults:
     NetworkDeploymentActions: ["CREATE", "UPDATE"]
   EOF

7. 中央サイトのデプロイスクリプトを実行します。中央サイトの初回デプロイ時に使用した全テンプレートと、新たに作成または編集した network-environment.yaml ファイルを含めします。

   openstack overcloud deploy \
       --stack central \
       --templates /usr/share/openstack-tripleo-heat-templates/ \
       -r ~/central/roles_data.yaml \
       -e /usr/share/openstack-tripleo-heat-templates/environments/ceph-ansible/ceph-ansible.yaml \
       -e /usr/share/openstack-tripleo-heat-templates/environments/dcn-hci.yaml \
       -e /usr/share/openstack-tripleo-heat-templates/environments/nova-az-config.yaml \
       -e ~/central/dcn9-images-env.yaml \
       ....
       -e ~/dcn-common/central-export.yaml \
       -e ~/dcn-common/central_ceph_external.yaml \
       -e ~/central/dcn_ceph_keys.yaml \
       -e ~/central/role-counts.yaml \
       -e ~/central/ceph.yaml \
       -e ~/central/site-name.yaml \
       -e ~/central/tuning.yaml \
       -e ~/central/glance.yaml

8. ノードが利用可能で、Provisioning state の状態にあることを確認します。

   $ openstack baremetal node list

9. ノードが利用可能な場合は、適切なすべてのテンプレートで新しいエッジサイトをデプロイします。

   openstack overcloud deploy \
       --stack dcn9 \
       --templates /usr/share/openstack-tripleo-heat-templates/ \
       -r ~/dcn9/roles_data.yaml \
       -e /usr/share/openstack-tripleo-heat-templates/environments/ceph-ansible/ceph-ansible.yaml \
       -e /usr/share/openstack-tripleo-heat-templates/environments/dcn-hci.yaml \
       -e /usr/share/openstack-tripleo-heat-templates/environments/nova-az-config.yaml \
       -e ~/dnc9/dcn9-images-env.yaml \
       ....
       -e ~/dcn-common/central-export.yaml \
       -e ~/dcn-common/central_ceph_external.yaml \
       -e ~/dcn9/dcn_ceph_keys.yaml \
       -e ~/dcn9/role-counts.yaml \
       -e ~/dcn9/ceph.yaml \
       -e ~/dcn9/site-name.yaml \
       -e ~/dcn9/tuning.yaml \
       -e ~/dcn9/glance.yaml

10. エッジ間の直接通信でロケーションをデプロイしている場合は、各エッジサイトを再デプロイして、ルートを更新し、新しいロケーションとの通信を確立する必要があります。

手順

1. 以下のような内容で ~/central/glance_update.yaml ファイルを作成します。以下の例には、2 つのエッジサイト dcn0 および dcn1 の設定が含まれています。

     parameter_defaults:
       GlanceEnabledImportMethods: web-download,copy-image
       GlanceBackend: rbd
       GlanceStoreDescription: 'central rbd glance store'
       CephClusterName: central
       GlanceBackendID: central
       GlanceMultistoreConfig:
         dcn0:
           GlanceBackend: rbd
           GlanceStoreDescription: 'dcn0 rbd glance store'
           CephClientUserName: 'openstack'
           CephClusterName: dcn0
           GlanceBackendID: dcn0
         dcn1:
           GlanceBackend: rbd
           GlanceStoreDescription: 'dcn1 rbd glance store'
           CephClientUserName: 'openstack'
           CephClusterName: dcn1
           GlanceBackendID: dcn1

2. dcn_ceph.yaml ファイルを作成します。以下の例では、このファイルは、エッジサイト dcn0 および dcn1 の Ceph クラスターのクライアントとして、中央サイトの glance サービスを設定します。

   sudo -E openstack overcloud export ceph \
   --stack dcn0,dcn1 \
   --config-download-dir /var/lib/mistral \
   --output-file ~/central/dcn_ceph.yaml

3. 元のテンプレートを使用して中央サイトを再デプロイする際に、新たに作成した dcn_ceph.yaml および glance_update.yaml ファイルを追加します。

   openstack overcloud deploy \
          --stack central \
          --templates /usr/share/openstack-tripleo-heat-templates/ \
          -r ~/central/central_roles.yaml \
       ...
          -e /usr/share/openstack-tripleo-heat-templates/environments/ceph-ansible/ceph-ansible.yaml \
          -e /usr/share/openstack-tripleo-heat-templates/environments/nova-az-config.yaml \
          -e ~/central/central-images-env.yaml \
          -e ~/central/role-counts.yaml \
          -e ~/central/site-name.yaml
          -e ~/central/ceph.yaml \
          -e ~/central/ceph_keys.yaml \
          -e ~/central/glance.yaml \
          -e ~/central/dcn_ceph_external.yaml

4. 中央サイトのコントローラーで、cinder-volume サービスを再起動します。cinder-backup サービスと一緒に中央サイトをデプロイしている場合は、cinder-backup サービスも再起動してください。

   ssh heat-admin@controller-0 sudo pcs resource restart openstack-cinder-volume
   ssh heat-admin@controller-0 sudo pcs resource restart openstack-cinder-backup

手順

1. スタック用の Ansible インベントリーファイルを作成します。複数のスタックをコンマ区切りリストで指定して、複数サイトのイメージをキャッシュすることができます。

   $ source stackrc
   
   $ tripleo-ansible-inventory --plan central,dcn0,dcn1 \
   --static-yaml-inventory inventory.yaml

2. 事前キャッシュするイメージの ID リストを作成します。

   1. 利用可能なイメージの完全なリストを取得します。

      $ source centralrc
      
      $ openstack image list
      +--------------------------------------+---------+--------+
      | ID                                   | Name    | Status |
      +--------------------------------------+---------+--------+
      | 07bc2424-753b-4f65-9da5-5a99d8383fe6 | image_0 | active |
      | d5187afa-c821-4f22-aa4b-4e76382bef86 | image_1 | active |
      +--------------------------------------+---------+--------+

   2. nova_cache_args.yml という名前で Ansible Playbook の引数ファイルを作成し、事前キャッシュするイメージの ID を追加します。

      ---
      tripleo_nova_image_cache_images:
        - id: 07bc2424-753b-4f65-9da5-5a99d8383fe6
        - id: d5187afa-c821-4f22-aa4b-4e76382bef86

3. tripleo_nova_image_cache.yml Ansible Playbook を実行します。

   $ source centralrc
   
   $ ansible-playbook -i inventory.yaml \
   --extra-vars "@nova_cache_args.yml" \
   /usr/share/ansible/tripleo-playbooks/tripleo_nova_image_cache.yml

1. エッジサイトにストレージをデプロイする場合は、エッジスタック用に変更した tripleo heat テンプレートに以下のパラメーターを追加します。

   TEMPLATES=/usr/share/openstack-tripleo-heat-templates
   
   resource_registry:
     OS::TripleO::Services::IpaClient:
       ${TEMPLATES}/deployment/ipa/ipaservices-baremetal-ansible.yaml
   
   parameter_defaults:
     EnableEtcdInternalTLS: true

Process

1. 外部アクセス用の Ceph キーを作成します。この鍵の取り扱いには注意が必要です。以下のコマンドを使用して鍵を生成することができます。

   python3 -c 'import os,struct,time,base64; key = os.urandom(16) ; \
   header = struct.pack("<hiih", 1, int(time.time()), 0, len(key)) ; \
   print(base64.b64encode(header + key).decode())'

2. デプロイするスタックのディレクトリーにおいて、以下のような内容で ceph_keys.yaml 環境ファイルを作成します。鍵には、前のステップのコマンド出力を使用します。

   parameter_defaults:
     CephExtraKeys:
       - name: "client.external"
         caps:
           mgr: "allow *"
           mon: "profile rbd"
           osd: "profile rbd pool=vms, profile rbd pool=volumes, profile rbd pool=images"
         key: "AQD29WteAAAAABAAphgOjFD7nyjdYe8Lz0mQ5Q=="
         mode: "0600"

3. サイトのデプロイメントに ceph_keys.yaml 環境ファイルを追加します。たとえば、ceph_keys.yaml 環境ファイルを指定して中央サイトをデプロイするには、以下のようなコマンドを実行します。

    overcloud deploy \
            --stack central \
            --templates /usr/share/openstack-tripleo-heat-templates/ \
            ….
            -e ~/central/ceph_keys.yaml