手順

1. イメージを qcow2 形式から raw 形式に変換します。

   $ qemu-img convert -f qcow2 -O raw <image-name>.qcow2 <image-name>.raw

2. 以下のコンテンツを使用してシェルスクリプトを作成します。

   #!/bin/bash
   MB=$((1024 * 1024))
   size=$(qemu-img info -f raw --output json "$1" | gawk 'match($0, /"virtual-size": ([0-9]+),/, val) {print val[1]}')
   rounded_size=$((($size/$MB + 1) * $MB))
   if [ $(($size % $MB)) -eq  0 ]
   then
    echo "Your image is already aligned. You do not need to resize."
    exit 1
   fi
   echo "rounded size = $rounded_size"
   export rounded_size

3. スクリプトを実行します。この例では align.sh という名前を使用します。

   $ sh align.sh <image-xxx>.raw

   • Your image is already aligned. You do not need to resize. (イメージはすでに整列しています。サイズを変更する必要はありません。)と表示されたら、次の手順に進みます。
   • 値が表示されると、イメージは調整されません。イメージの調整 セクションの手順を使用してイメージのサイズを変更してから、次の手順に進むようにしてください。

4. 次のコマンドを使用して、ファイルを固定 VHD 形式に変換します。

   サンプルでは qemu-img バージョン 2.12.0 を使用します。

   $ qemu-img convert -f raw -o subformat=fixed,force_size -O vpc <image-xxx>.raw <image.xxx>.vhd

   変換されると、VHD ファイルは Azure にアップロードする準備が整います。

1. 検証スクリプトの実行時に表示される丸め値を使用して、raw ファイルのサイズを変更します。

   $ qemu-img resize -f raw <image-xxx>.raw <rounded-value>

2. raw イメージファイルを VHD 形式に変換します。

   サンプルでは qemu-img バージョン 2.12.0 を使用します。

   $ qemu-img convert -f raw -o subformat=fixed,force_size -O vpc <image-xxx>.raw <image.xxx>.vhd

   変換されると、VHD ファイルは Azure にアップロードする準備が整います。

手順

1. Microsoft リポジトリーキーをインポートします。

   $ sudo rpm --import https://packages.microsoft.com/keys/microsoft.asc

2. ローカル Azure CLI リポジトリーエントリーを作成します。

   $ sudo sh -c 'echo -e "[azure-cli]\nname=Azure CLI\nbaseurl=https://packages.microsoft.com/yumrepos/azure-cli\nenabled=1\ngpgcheck=1\ngpgkey=https://packages.microsoft.com/keys/microsoft.asc" > /etc/yum.repos.d/azure-cli.repo'

3. yum パッケージインデックスを更新します。

   $ yum check-update

4. Python バージョンを確認 (python --version) し、必要に応じて Python 3.x をインストールします。

   $ sudo yum install python3

5. Azure CLI をインストールします。

   $ sudo yum install -y azure-cli

6. Azure CLI を実行します。

   $ az

手順

1. 次のコマンドを実行して、システムを Azure で認証し、ログインします。

   $ az login

   注記

   お使いの環境でブラウザーが利用可能な場合、CLI は Azure サインインページでブラウザーを開きます。詳細およびオプションは、Sign in with Azure CLI を参照してください。

2. Azure リージョンにリソースグループを作成します。

   $ az group create --name <resource-group> --location <azure-region>

   以下に例を示します。

   $ az group create --name azrhelclirsgrp --location southcentralus
   {
     "id": "/subscriptions//resourceGroups/azrhelclirsgrp",
     "location": "southcentralus",
     "managedBy": null,
     "name": "azrhelclirsgrp",
     "properties": {
       "provisioningState": "Succeeded"
     },
     "tags": null
   }

3. ストレージアカウントを作成します。有効な SKU 値の詳細は、SKU Types を参照してください。

   $ az storage account create -l <azure-region> -n <storage-account-name> -g <resource-group> --sku <sku_type>

   以下に例を示します。

   $ az storage account create -l southcentralus -n azrhelclistact -g azrhelclirsgrp --sku Standard_LRS
   {
     "accessTier": null,
     "creationTime": "2017-04-05T19:10:29.855470+00:00",
     "customDomain": null,
     "encryption": null,
     "id": "/subscriptions//resourceGroups/azrhelclirsgrp/providers/Microsoft.Storage/storageAccounts/azrhelclistact",
     "kind": "StorageV2",
     "lastGeoFailoverTime": null,
     "location": "southcentralus",
     "name": "azrhelclistact",
     "primaryEndpoints": {
       "blob": "https://azrhelclistact.blob.core.windows.net/",
       "file": "https://azrhelclistact.file.core.windows.net/",
       "queue": "https://azrhelclistact.queue.core.windows.net/",
       "table": "https://azrhelclistact.table.core.windows.net/"
   },
   "primaryLocation": "southcentralus",
   "provisioningState": "Succeeded",
   "resourceGroup": "azrhelclirsgrp",
   "secondaryEndpoints": null,
   "secondaryLocation": null,
   "sku": {
     "name": "Standard_LRS",
     "tier": "Standard"
   },
   "statusOfPrimary": "available",
   "statusOfSecondary": null,
   "tags": {},
     "type": "Microsoft.Storage/storageAccounts"
   }

4. ストレージアカウントの接続文字列を取得します。

   $ az storage account show-connection-string -n <storage-account-name> -g <resource-group>

   以下に例を示します。

   [clouduser@localhost]$ az storage account show-connection-string -n azrhelclistact -g azrhelclirsgrp
   {
     "connectionString": "DefaultEndpointsProtocol=https;EndpointSuffix=core.windows.net;AccountName=azrhelclistact;AccountKey=NreGk...=="
   }

5. 接続文字列をコピーし、次のコマンドに貼り付けて、接続文字列をエクスポートします。この文字列は、システムをストレージアカウントに接続します。

   $ export AZURE_STORAGE_CONNECTION_STRING="<storage-connection-string>"

   以下に例を示します。

   [clouduser@localhost]$ export AZURE_STORAGE_CONNECTION_STRING="DefaultEndpointsProtocol=https;EndpointSuffix=core.windows.net;AccountName=azrhelclistact;AccountKey=NreGk...=="

6. ストレージコンテナーを作成します。

   $ az storage container create -n <container-name>

   以下に例を示します。

   [clouduser@localhost]$ az storage container create -n azrhelclistcont
   {
     "created": true
   }

7. 仮想ネットワークを作成します。

   $ az network vnet create -g <resource group> --name <vnet-name> --subnet-name <subnet-name>

   以下に例を示します。

   [clouduser@localhost]$ az network vnet create --resource-group azrhelclirsgrp --name azrhelclivnet1 --subnet-name azrhelclisubnet1
   {
     "newVNet": {
       "addressSpace": {
         "addressPrefixes": [
         "10.0.0.0/16"
         ]
     },
     "dhcpOptions": {
       "dnsServers": []
     },
     "etag": "W/\"\"",
     "id": "/subscriptions//resourceGroups/azrhelclirsgrp/providers/Microsoft.Network/virtualNetworks/azrhelclivnet1",
     "location": "southcentralus",
     "name": "azrhelclivnet1",
     "provisioningState": "Succeeded",
     "resourceGroup": "azrhelclirsgrp",
     "resourceGuid": "0f25efee-e2a6-4abe-a4e9-817061ee1e79",
     "subnets": [
       {
         "addressPrefix": "10.0.0.0/24",
         "etag": "W/\"\"",
         "id": "/subscriptions//resourceGroups/azrhelclirsgrp/providers/Microsoft.Network/virtualNetworks/azrhelclivnet1/subnets/azrhelclisubnet1",
         "ipConfigurations": null,
         "name": "azrhelclisubnet1",
         "networkSecurityGroup": null,
         "provisioningState": "Succeeded",
         "resourceGroup": "azrhelclirsgrp",
         "resourceNavigationLinks": null,
         "routeTable": null
       }
     ],
     "tags": {},
     "type": "Microsoft.Network/virtualNetworks",
     "virtualNetworkPeerings": null
     }
   }

手順

1. ストレージコンテナーに VHD ファイルをアップロードします。ストレージコンテナーの一覧を表示するには、az storage container list を実行します。

   $ az storage blob upload --account-name <storage-account-name> --container-name <container-name> --type page --file <path-to-vhd> --name <image-name>.vhd

   以下に例を示します。

   $ az storage blob upload --account-name azrhelclistact --container-name azrhelclistcont --type page --file rhel-image-7.vhd --name rhel-image-7.vhd
   Percent complete: %100.0

2. アップロードした VHD ファイルの URL を以下の手順で取得します。

   $ az storage blob url -c <container-name> -n <image-name>.vhd

   以下に例を示します。

   $ az storage blob url -c azrhelclistcont -n rhel-image-7.vhd
   "https://azrhelclistact.blob.core.windows.net/azrhelclistcont/rhel-image-7.vhd"

3. Azure カスタムイメージを作成します。

   $ az image create -n <image-name> -g <resource-group> -l <azure-region> --source <URL> --os-type linux

   注記

   仮想マシンのハイパーバイザーのデフォルトの生成は V1 です。必要に応じて、--hyper-v-generation V2 オプションを使用して V2 ハイパーバイザーの世代を指定できます。第 2 世代の仮想マシンは、UEFI ベースのブートアーキテクチャーを使用します。第 2 世代の仮想マシンの詳細は Support for generation 2 VMs on Azure を参照してください。

   このコマンドは、Only blobs formatted as VHDs can be imported(VHD としてフォーマットされたブロブのみがインポート可能) というエラーを返す場合があります。 このエラーは、イメージが VHD に変換される前に最も近い 1 MB の境界に合致していないことを意味します。

   以下に例を示します。

   $ az image create -n rhel7 -g azrhelclirsgrp2 -l southcentralus --source https://azrhelclistact.blob.core.windows.net/azrhelclistcont/rhel-image-7.vhd --os-type linux

手順

1. 次のコマンドを実行して仮想マシンを作成します。

   $ az vm create -g <resource-group> -l <azure-region> -n <vm-name> --vnet-name <vnet-name> --subnet <subnet-name> --size Standard_A2 --os-disk-name <simple-name> --admin-username <administrator-name> --generate-ssh-keys --image <path-to-image>

   注記

   --generate-ssh-keys オプションを指定すると、秘密鍵と公開鍵のペアが作成されます。秘密鍵ファイルと公開鍵ファイルが、システムの ~/.ssh に作成されます。公開鍵は、--admin-username オプションで指定したユーザーの仮想マシン上の authorized_keys ファイルに追加されます。詳細は、その他の認証方法 を参照してください。

   たとえば、以下のようになります。

   [clouduser@localhost]$ az vm create -g azrhelclirsgrp2 -l southcentralus -n rhel-azure-vm-1 --vnet-name azrhelclivnet1 --subnet azrhelclisubnet1  --size Standard_A2 --os-disk-name vm-1-osdisk --admin-username clouduser --generate-ssh-keys --image rhel7
   {
     "fqdns": "",
     "id": "/subscriptions//resourceGroups/azrhelclirsgrp/providers/Microsoft.Compute/virtualMachines/rhel-azure-vm-1",
     "location": "southcentralus",
     "macAddress": "",
     "powerState": "VM running",
     "privateIpAddress": "10.0.0.4",
     "publicIpAddress": "<public-IP-address>",
     "resourceGroup": "azrhelclirsgrp2"

2. SSH セッションを開始し、仮想マシンにログインします。

   [clouduser@localhost]$ ssh  -i /home/clouduser/.ssh/id_rsa clouduser@<public-IP-address>.
   The authenticity of host,  '<public-IP-address>' can't be established.
   Are you sure you want to continue connecting (yes/no)? yes
   Warning: Permanently added '<public-IP-address>' (ECDSA) to the list of known hosts.

手順

1. システムを登録します。

   subscription-manager register --auto-attach

2. サブスクリプションを割り当てます。

   • アクティベーションキーを使用して、サブスクリプションを割り当てることができます。カスタマーポータルのアクティベーションキーを作成する を参照してください。
   • または、サブスクリプションプール (Pool ID) の ID を使用してサブスクリプションを手動で割り当てることができます。コマンドラインでのサブスクリプションのアタッチと削除 を参照してください。

手順

1. Microsoft Azure サブスクリプションの管理者または所有者であることを確認します。Azure AD アプリケーションを作成するには、この承認が必要です。

2. Azure アカウントにログインします。

   $ az login

3. 次のコマンドを実行して Azure AD アプリケーションを作成します。独自のパスワードを使用するには、--password オプションをコマンドに追加します。強固なパスワードを作成してください。

   $ az ad sp create-for-rbac --name _FencingApplicationName_ --role owner --scopes "/subscriptions/_SubscriptionID_/resourceGroups/_MyResourseGroup_"

   以下に例を示します。

   [clouduser@localhost ~] $ az ad sp create-for-rbac --name FencingApp --role owner --scopes "/subscriptions/2586c64b-xxxxxx-xxxxxxx-xxxxxxx/resourceGroups/azrhelclirsgrp"
   Retrying role assignment creation: 1/36
   Retrying role assignment creation: 2/36
   Retrying role assignment creation: 3/36
   {
     "appId": "1a3dfe06-df55-42ad-937b-326d1c211739",
     "displayName": "FencingApp",
     "name": "http://FencingApp",
     "password": "43a603f0-64bb-482e-800d-402efe5f3d47",
     "tenant": "77ecefb6-xxxxxxxxxx-xxxxxxx-757a69cb9485"
   }

4. 続行する前に、以下の情報を保存します。フェンスエージェントを設定するには、この情報が必要です。

   • Azure AD アプリケーション ID
   • Azure AD アプリケーションのパスワード
   • テナント ID
   • Microsoft Azure サブスクリプション ID

手順

1. 仮想マシンを Red Hat に登録します。

   $ sudo -i
   # subscription-manager register --auto-attach

2. すべてのリポジトリーを無効にします。

   # subscription-manager repos --disable=*

3. RHEL 7 Server リポジトリーおよび RHEL 7 Server HA リポジトリーを有効にします。

   # subscription-manager repos --enable=rhel-7-server-rpms
   # subscription-manager repos --enable=rhel-ha-for-rhel-7-server-rpms

4. すべてのパッケージを更新します。

   # yum update -y

5. カーネルを更新したら再起動します。

   # reboot

6. pcs、pacemaker、fence agent、resource agent および nmap-ncat をインストールします。

   # yum install -y pcs pacemaker fence-agents-azure-arm resource-agents nmap-ncat

手順

1. ユーザー hacluster は、前のセクションの pcs および pacemaker のインストール時に作成されました。すべてのクラスターノードに hacluster のパスワードを作成します。すべてのノードに同じパスワードを使用します。

   # passwd hacluster

2. firewalld.service が有効化されている場合は、RHEL ファイアウォールに high availability サービスを追加します。

   # firewall-cmd --permanent --add-service=high-availability
   # firewall-cmd --reload

3. pcs サービスを起動し、システムの起動時に開始できるようにします。

   # systemctl enable pcsd.service --now

手順

1. ノードのいずれかで以下のコマンドを実行し、pcs ユーザー hacluster を認証します。クラスターの各ノードの名前を指定します。

   # pcs host auth  _hostname1_ _hostname2_ _hostname3_

   たとえば、以下のようになります。

   [root@node01 clouduser]# pcs host auth node01 node02 node03
   Username: hacluster
   Password:
   node01: Authorized
   node02: Authorized
   node03: Authorized

2. クラスターを作成します。

   # pcs cluster setup --name _hostname1_ _hostname2_ _hostname3_

   たとえば、以下のようになります。

   [root@node01 clouduser]# pcs cluster setup --name newcluster node01 node02 node03
   
   ...omitted
   
   Synchronizing pcsd certificates on nodes node01, node02, node03...
   node02: Success
   node03: Success
   node01: Success
   Restarting pcsd on the nodes in order to reload the certificates...
   node02: Success
   node03: Success
   node01: Success

検証手順

1. クラスターを有効にします。

   # pcs cluster enable --all

2. クラスターを起動します。

   # pcs cluster start --all

   たとえば、以下のようになります。

   [root@node01 clouduser]# pcs cluster enable --all
   node02: Cluster Enabled
   node03: Cluster Enabled
   node01: Cluster Enabled
   
   [root@node01 clouduser]# pcs cluster start --all
   node02: Starting Cluster...
   node03: Starting Cluster...
   node01: Starting Cluster...

手順

1. 利用可能なインスタンスで、フェンスが可能なものを特定します。

   # fence_azure_arm -l [appid] -p [authkey] --resourceGroup=[name] --subscriptionId=[name] --tenantId=[name] -o list

   たとえば、以下のようになります。

   [root@node1 ~]# fence_azure_arm -l XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX -p XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX --resourceGroup=hacluster-rg --subscriptionId=XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX --tenantId=XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX -o list
   node01-vm,
   node02-vm,
   node03-vm,

2. フェンスデバイスを作成します。pcmk_host_map コマンドを使用して、RHEL ホスト名をインスタンス ID にマッピングします。

   # pcs stonith create _clusterfence_ fence_azure_arm login=_AD-Application-ID_ passwd=_AD-passwd_ pcmk_host_map="_pcmk-host-map_ resourcegroup= _myresourcegroup_ tenantid=_tenantid_ subscriptionid=_subscriptionid_

検証手順

1. 他のノードのいずれかに対してフェンスエージェントをテストします。

   # pcs stonith fence _azurenodename_

   たとえば、以下のようになります。

   [root@node01 ~]# pcs stonith fence fenceazure
    Resource: fenceazure (class=stonith type=fence_azure_arm)
     Attributes: login=XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX passwd=XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX pcmk_host_map=nodea:nodea-vm;nodeb:nodeb-vm;nodec:nodec-vm pcmk_reboot_retries=4 pcmk_reboot_timeout=480 power_timeout=240 resourceGroup=rg subscriptionId=XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX tenantId=XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX
     Operations: monitor interval=60s (fenceazure-monitor-interval-60s)
   [root@node01 ~]# pcs stonith
    fenceazure     (stonith:fence_azure_arm):      Started nodea

2. ステータスを確認して、ノードが起動したことを確認します。

   # watch pcs status

   以下に例を示します。

   [root@node01 ~]# watch pcs status
    fenceazure     (stonith:fence_azure_arm):      Started nodea

手順

1. 基本ロードバランサーを作成。IP アドレスの割り当てタイプの場合は、内部ロードバランサー、基本 SKU、および 動的 を選択します。
2. バックエンドのアドレスプールを作成します。バックエンドプールを HA に Azure リソースを作成した時に作成された可用性セットに関連付けます。ターゲットネットワーク IP 設定は設定しないでください。
3. ヘルスプローブを作成します。ヘルスプローブの場合は TCP を選択し、ポート 61000 を入力します。別のサービスに干渉しない TCP ポート番号を使用できます。特定の HA 製品アプリケーション (SAP HANA や SQL Server など) については、Microsoft と連携して使用する正しいポートを指定する必要がある場合があります。
4. ロードバランサールールを作成します。ロードバランシングルールを作成する場合は、事前に設定されているデフォルト値を使用します。フローティング IP (ダイレクトサーバーを返す) を 有効 に設定してください。

手順

1. Azure id コマンドを入力して、Azure ロードバランサーリソースエージェントの説明を表示します。これは、このエージェントのオプションとデフォルトの操作を示しています。

   # pcs resource describe _azure-id_

2. ノード上の IP を管理する Ipaddr2 リソースを作成します。

   # pcs resource create _resource-id_ IPaddr2 ip=_virtual/floating-ip_ cidr_netmask=_virtual/floating-mask_ --group _group-id_ nic=_network-interface_ op monitor interval=30s

   たとえば、以下のようになります。

   [root@node01 ~]# pcs resource create ClusterIP ocf:heartbeat:IPaddr2 ip=172.16.66.99 cidr_netmask=24 --group CloudIP nic=eth0 op monitor interval=30s

3. ロードバランサー リソースエージェントを設定します。

   # pcs resource create _resource-loadbalancer-name_ azure-lb port=_port-number_ --group _cluster-resources-group_

手順

1. Azure コマンド az disk create を使用して、共有ブロックボリュームを作成します。

   $ az disk create -g resource_group -n shared_block_volume_name --size-gb disk_size --max-shares number_vms -l location

   たとえば、以下のコマンドは、Azure Availability Zone westcentralus 内 のリソースグループ sharedblock に shared-block-volume.vhd という名前の共有ブロックボリュームを作成します。

   $ az disk create -g sharedblock-rg -n shared-block-volume.vhd --size-gb 1024 --max-shares 3 -l westcentralus
   
   {
     "creationData": {
       "createOption": "Empty",
       "galleryImageReference": null,
       "imageReference": null,
       "sourceResourceId": null,
       "sourceUniqueId": null,
       "sourceUri": null,
       "storageAccountId": null,
       "uploadSizeBytes": null
     },
     "diskAccessId": null,
     "diskIopsReadOnly": null,
     "diskIopsReadWrite": 5000,
     "diskMbpsReadOnly": null,
     "diskMbpsReadWrite": 200,
     "diskSizeBytes": 1099511627776,
     "diskSizeGb": 1024,
     "diskState": "Unattached",
     "encryption": {
       "diskEncryptionSetId": null,
       "type": "EncryptionAtRestWithPlatformKey"
     },
     "encryptionSettingsCollection": null,
     "hyperVgeneration": "V1",
     "id": "/subscriptions/12345678910-12345678910/resourceGroups/sharedblock-rg/providers/Microsoft.Compute/disks/shared-block-volume.vhd",
     "location": "westcentralus",
     "managedBy": null,
     "managedByExtended": null,
     "maxShares": 3,
     "name": "shared-block-volume.vhd",
     "networkAccessPolicy": "AllowAll",
     "osType": null,
     "provisioningState": "Succeeded",
     "resourceGroup": "sharedblock-rg",
     "shareInfo": null,
     "sku": {
       "name": "Premium_LRS",
       "tier": "Premium"
     },
     "tags": {},
     "timeCreated": "2020-08-27T15:36:56.263382+00:00",
     "type": "Microsoft.Compute/disks",
     "uniqueId": "cd8b0a25-6fbe-4779-9312-8d9cbb89b6f2",
     "zones": null
   }

2. Azure コマンド az disk show を使用して共有ブロックボリュームを作成していることを確認します。

   $ az disk show -g resource_group -n shared_block_volume_name

   たとえば、次のコマンドは、リソースグループ sharedblock-rg 内の共有ブロックボリューム shared-block-volume.vhd の詳細を表示します。

   $ az disk show -g sharedblock-rg -n shared-block-volume.vhd
   
   {
     "creationData": {
       "createOption": "Empty",
       "galleryImageReference": null,
       "imageReference": null,
       "sourceResourceId": null,
       "sourceUniqueId": null,
       "sourceUri": null,
       "storageAccountId": null,
       "uploadSizeBytes": null
     },
     "diskAccessId": null,
     "diskIopsReadOnly": null,
     "diskIopsReadWrite": 5000,
     "diskMbpsReadOnly": null,
     "diskMbpsReadWrite": 200,
     "diskSizeBytes": 1099511627776,
     "diskSizeGb": 1024,
     "diskState": "Unattached",
     "encryption": {
       "diskEncryptionSetId": null,
       "type": "EncryptionAtRestWithPlatformKey"
     },
     "encryptionSettingsCollection": null,
     "hyperVgeneration": "V1",
     "id": "/subscriptions/12345678910-12345678910/resourceGroups/sharedblock-rg/providers/Microsoft.Compute/disks/shared-block-volume.vhd",
     "location": "westcentralus",
     "managedBy": null,
     "managedByExtended": null,
     "maxShares": 3,
     "name": "shared-block-volume.vhd",
     "networkAccessPolicy": "AllowAll",
     "osType": null,
     "provisioningState": "Succeeded",
     "resourceGroup": "sharedblock-rg",
     "shareInfo": null,
     "sku": {
       "name": "Premium_LRS",
       "tier": "Premium"
     },
     "tags": {},
     "timeCreated": "2020-08-27T15:36:56.263382+00:00",
     "type": "Microsoft.Compute/disks",
     "uniqueId": "cd8b0a25-6fbe-4779-9312-8d9cbb89b6f2",
     "zones": null
   }

3. Azure コマンド az network nic create を使用して、3 つのネットワークインターフェイスを作成します。それぞれ異なる <nic_name> を使用して、以下のコマンドを実行します。

   $ az network nic create -g resource_group -n nic_name --subnet subnet_name --vnet-name virtual_network --location location --network-security-group network_security_group --private-ip-address-version IPv4

   たとえば、以下のコマンドは、shareblock-nodea-vm-nic-protected という名前のネットワークインターフェイスを作成します。

   $ az network nic create -g sharedblock-rg -n sharedblock-nodea-vm-nic-protected --subnet sharedblock-subnet-protected --vnet-name sharedblock-vn --location westcentralus --network-security-group sharedblock-nsg --private-ip-address-version IPv4

4. Azure コマンド az vm create を使用して 3 つの仮想マシンを作成し、共有ブロックボリュームを割り当てます。オプションの値は、各仮想マシンに独自の <vm_name>、<new_vm_disk_name>、<nic_name> を持つ点で異なります。

   $ az vm create -n vm_name -g resource_group --attach-data-disks shared_block_volume_name --data-disk-caching None --os-disk-caching ReadWrite --os-disk-name new-vm-disk-name --os-disk-size-gb disk_size --location location --size virtual_machine_size --image image_name --admin-username vm_username --authentication-type ssh --ssh-key-values ssh_key --nics -nic_name_ --availability-set availability_set --ppg proximity_placement_group

   たとえば、次のコマンドは、sharedblock-nodea-vm という名前の仮想マシンを作成します。

   $ az vm create -n sharedblock-nodea-vm -g sharedblock-rg --attach-data-disks shared-block-volume.vhd --data-disk-caching None --os-disk-caching ReadWrite --os-disk-name sharedblock-nodea-vm.vhd --os-disk-size-gb 64 --location westcentralus --size Standard_D2s_v3 --image /subscriptions/12345678910-12345678910/resourceGroups/sample-azureimagesgroupwestcentralus/providers/Microsoft.Compute/images/sample-azure-rhel-7.0-20200713.n.0.x86_64 --admin-username sharedblock-user --authentication-type ssh --ssh-key-values @sharedblock-key.pub --nics sharedblock-nodea-vm-nic-protected --availability-set sharedblock-as --ppg sharedblock-ppg
   
   {
     "fqdns": "",
     "id": "/subscriptions/12345678910-12345678910/resourceGroups/sharedblock-rg/providers/Microsoft.Compute/virtualMachines/sharedblock-nodea-vm",
     "location": "westcentralus",
     "macAddress": "00-22-48-5D-EE-FB",
     "powerState": "VM running",
     "privateIpAddress": "198.51.100.3",
     "publicIpAddress": "",
     "resourceGroup": "sharedblock-rg",
     "zones": ""
   }

検証手順

1. クラスター内の各仮想マシンについて、仮想マシン <ip_address> で SSH コマンドを使用して、ブロックデバイスが利用できることを確認します。

   # ssh ip_address "hostname ; lsblk -d | grep ' 1T '"

   たとえば、次のコマンドは、仮想マシン IP 198.51.100.3 のホスト名およびブロックデバイスを含む詳細を一覧表示します。

   # ssh 198.51.100.3 "hostname ; lsblk -d | grep ' 1T '"
   
   nodea
   sdb    8:16   0    1T  0 disk

2. SSH コマンドを使用して、クラスター内の各仮想マシンが同じ共有ディスクを使用していることを確認します。

   # ssh _ip_address_s "hostname ; lsblk -d | grep ' 1T ' | awk '{print \$1}' | xargs -i udevadm info --query=all --name=/dev/{} | grep '^E: ID_SERIAL='"

   たとえば、以下のコマンドは、インスタンス IP アドレス 198.51.100.3 のホスト名および共有ディスクボリューム ID が含まれる詳細を一覧表示します。

   # ssh 198.51.100.3 "hostname ; lsblk -d | grep ' 1T ' | awk '{print \$1}' | xargs -i udevadm info --query=all --name=/dev/{} | grep '^E: ID_SERIAL='"
   
   nodea
   E: ID_SERIAL=3600224808dd8eb102f6ffc5822c41d89

手順

1. Python 3 および pip ツールをインストールします。

   # yum install python3
   # yum install python3-pip

2. pip コマンドを使用して、AWS コマンドラインツール をインストールします。

   # pip3 install awscli

3. aws --version コマンドを実行して、AWS CLI をインストールしたことを確認します。

   $ aws --version
   aws-cli/1.16.182 Python/2.7.5 Linux/3.10.0-957.21.3.el7.x86_64 botocore/1.12.172

4. AWS アクセスの詳細に従って、AWS コマンドラインクライアントを設定します。

   $ aws configure
   AWS Access Key ID [None]:
   AWS Secret Access Key [None]:
   Default region name [None]:
   Default output format [None]:

手順

1. AWS コンソール を起動します。
2. AWS アカウント ID をクリックしてドロップダウンメニューを表示し、My Security Credentials を選択します。
3. Users をクリックします。
4. ユーザーを選択し、Summary 画面を開きます。
5. Security credentials タブをクリックします。
6. Create access key をクリックします。
7. .csv ファイルをダウンロード (または両方の鍵を保存) します。フェンスデバイスの作成時に、この鍵を入力する必要があります。

手順

1. 以下のコマンドを入力して、AWS Red Hat Update Infrastructure (RHUI) クライアントを削除します。Red Hat Cloud Access サブスクリプションを使用するため、サブスクリプションに加えて AWS RHUI を使用しないでください。

   $ sudo -i
   # yum -y remove rh-amazon-rhui-client*

2. 仮想マシンを Red Hat に登録します。

   # subscription-manager register --auto-attach

3. すべてのリポジトリーを無効にします。

   # subscription-manager repos --disable=*

4. RHEL 7 Server リポジトリーおよび RHEL 7 Server HA リポジトリーを有効にします。

   # subscription-manager repos --enable=rhel-7-server-rpms
   # subscription-manager repos --enable=rhel-ha-for-rhel-7-server-rpms

5. すべてのパッケージを更新します。

   # yum update -y

6. カーネルを更新したら再起動します。

   # reboot

7. pcs、pacemaker、fence agent およびリソースエージェントをインストールします。

   # yum -y install pcs pacemaker fence-agents-aws resource-agents

8. hacluster ユーザーは、前の手順で pcs および pacemaker のインストール時に作成されました。すべてのクラスターノードに hacluster のパスワードを作成します。すべてのノードに同じパスワードを使用します。

   # passwd hacluster

9. firewalld.service が有効化されている場合は、RHEL ファイアウォールに high availability サービスを追加します。

   # firewall-cmd --permanent --add-service=high-availability
   # firewall-cmd --reload

10. pcs サービスを起動し、システムの起動時に開始できるようにします。

    # systemctl enable pcsd.service --now

手順

1. ノードのいずれかで以下のコマンドを実行し、pcs ユーザー hacluster を認証します。クラスターの各ノードの名前を指定します。

   # pcs host auth  _hostname1_ _hostname2_ _hostname3_

   たとえば、以下のようになります。

   [root@node01 clouduser]# pcs host auth node01 node02 node03
   Username: hacluster
   Password:
   node01: Authorized
   node02: Authorized
   node03: Authorized

2. クラスターを作成します。

   # pcs cluster setup --name _hostname1_ _hostname2_ _hostname3_

   たとえば、以下のようになります。

   [root@node01 clouduser]# pcs cluster setup --name newcluster node01 node02 node03
   
   ...omitted
   
   Synchronizing pcsd certificates on nodes node01, node02, node03...
   node02: Success
   node03: Success
   node01: Success
   Restarting pcsd on the nodes in order to reload the certificates...
   node02: Success
   node03: Success
   node01: Success

検証手順

1. クラスターを有効にします。

   # pcs cluster enable --all

2. クラスターを起動します。

   # pcs cluster start --all

   たとえば、以下のようになります。

   [root@node01 clouduser]# pcs cluster enable --all
   node02: Cluster Enabled
   node03: Cluster Enabled
   node01: Cluster Enabled
   
   [root@node01 clouduser]# pcs cluster start --all
   node02: Starting Cluster...
   node03: Starting Cluster...
   node01: Starting Cluster...

手順

1. 以下の AWS メタデータクエリーを入力し、各ノードのインスタンス ID を取得します。フェンスデバイスを設定するには、これらの ID が必要です。詳細は Instance Metadata and User Data を参照してください。

   # echo $(curl -s http://169.254.169.254/latest/meta-data/instance-id)

   たとえば、以下のようになります。

   [root@ip-10-0-0-48 ~]# echo $(curl -s http://169.254.169.254/latest/meta-data/instance-id) i-07f1ac63af0ec0ac6

2. フェンスデバイスを作成します。pcmk_host_map コマンドを使用して、RHEL ホスト名をインスタンス ID にマッピングします。AWS アクセスキーおよび AWS シークレットアクセスキーの作成 で先ほど設定した AWS アクセスキーおよび AWS シークレットアクセスキーを使用します。

   # pcs stonith create cluster_fence fence_aws access_key=access-key secret_key=_secret-access-key_ region=_region_ pcmk_host_map="rhel-hostname-1:Instance-ID-1;rhel-hostname-2:Instance-ID-2;rhel-hostname-3:Instance-ID-3"

   たとえば、以下のようになります。

   [root@ip-10-0-0-48 ~]# pcs stonith create clusterfence fence_aws access_key=AKIAI*******6MRMJA secret_key=a75EYIG4RVL3h*******K7koQ8dzaDyn5yoIZ/ region=us-east-1 pcmk_host_map="ip-10-0-0-48:i-07f1ac63af0ec0ac6;ip-10-0-0-46:i-063fc5fe93b4167b2;ip-10-0-0-58:i-08bd39eb03a6fd2c7" power_timeout=240 pcmk_reboot_timeout=480 pcmk_reboot_retries=4

検証手順

1. 他のノードのいずれかに対してフェンスエージェントをテストします。

   # pcs stonith fence _awsnodename_

   たとえば、以下のようになります。

   [root@ip-10-0-0-48 ~]# pcs stonith fence ip-10-0-0-58
   Node: ip-10-0-0-58 fenced

2. ステータスを確認して、ノードがフェンスされていることを確認します。

   # watch pcs status

   たとえば、以下のようになります。

   [root@ip-10-0-0-48 ~]# pcs status
   Cluster name: newcluster
   Stack: corosync
   Current DC: ip-10-0-0-46 (version 1.1.18-11.el7-2b07d5c5a9) - partition with quorum
   Last updated: Fri Mar  2 20:01:31 2018
   Last change: Fri Mar  2 19:24:59 2018 by root via cibadmin on ip-10-0-0-48
   
   3 nodes configured
   1 resource configured
   
   Online: [ ip-10-0-0-46 ip-10-0-0-48 ip-10-0-0-58 ]
   
   Full list of resources:
   
     clusterfence  (stonith:fence_aws):    Started ip-10-0-0-46
   
   Daemon Status:
     corosync: active/disabled
     pacemaker: active/disabled
     pcsd: active/enabled

手順

1. AWS CLI のインストール の手順を行います。

2. 以下のコマンドを実行して、AWS CLI が適切に設定されていることを確認します。インスタンス ID およびインスタンス名が表示されます。

   以下に例を示します。

   [root@ip-10-0-0-48 ~]# aws ec2 describe-instances --output text --query 'Reservations[*].Instances[*].[InstanceId,Tags[?Key==`Name`].Value]'
   i-07f1ac63af0ec0ac6
   ip-10-0-0-48
   i-063fc5fe93b4167b2
   ip-10-0-0-46
   i-08bd39eb03a6fd2c7
   ip-10-0-0-58

手順

1. 以下のコマンドを実行して、AWS Secondary Private IP Address リソースエージェント (awsvip) の説明を表示します。これは、このエージェントのオプションとデフォルトの操作を示しています。

   # pcs resource describe awsvip

2. 次のコマンドを実行して、VPC CIDR ブロックで未使用のプライベート IP アドレスを使用して 2 番目のプライベート IP アドレスを作成します。

   # pcs resource create privip awsvip secondary_private_ip=_Unused-IP-Address_ --group _group-name_

   以下に例を示します。

   [root@ip-10-0-0-48 ~]# pcs resource create privip awsvip secondary_private_ip=10.0.0.68 --group networking-group

3. 仮想 IP リソースを作成します。これは、フェンシングされたノードからフェイルオーバーノードに即時に再マッピングできる VPC IP アドレスで、サブネット内のフェンスされたノードの失敗をマスクします。

   # pcs resource create vip IPaddr2 ip=_secondary-private-IP_ --group _group-name_

   たとえば、以下のようになります。

   root@ip-10-0-0-48 ~]# pcs resource create vip IPaddr2 ip=10.0.0.68 --group networking-group

1. 上で作成した 同じグループ に 2 つのリソースを追加して、順序 と コロケーション の制約を適用します。

2. 以下の AWS CLI コマンドを入力して、Elastic IP アドレスを作成します。

   [root@ip-10-0-0-48 ~]# aws ec2 allocate-address --domain vpc --output text
   eipalloc-4c4a2c45   vpc 35.169.153.122

3. 以下のコマンドを実行して、AWS のセカンダリー Elastic IP Address リソースエージェント (awseip) の説明を表示します。これは、このエージェントのオプションとデフォルトの操作を示しています。

   # pcs resource describe awseip

4. ステップ 1 で作成して割り当てられた IP アドレスを使用して、セカンダリー Elastic IP アドレスリソースを作成します。

   # pcs resource create elastic awseip elastic_ip=_Elastic-IP-Address_allocation_id=_Elastic-IP-Association-ID_ --group networking-group

   たとえば、以下のようになります。

   # pcs resource create elastic awseip elastic_ip=35.169.153.122 allocation_id=eipalloc-4c4a2c45 --group networking-group

手順

1. ローカルワークステーションから、上で作成した Elastic IP アドレスへの SSH セッションを開始します。

   $ ssh -l ec2-user -i ~/.ssh/<KeyName>.pem elastic-IP

   以下に例を示します。

   $ ssh -l ec2-user -i ~/.ssh/cluster-admin.pem 35.169.153.122

2. SSH 経由で接続したホストが、作成された elastic リソースに関連付けられたホストであることを確認します。

手順

1. AWS コマンド create-volume を使用して共有ブロックボリュームを作成 します。

   $ aws ec2 create-volume --availability-zone availability_zone --no-encrypted --size 1024 --volume-type io1 --iops 51200 --multi-attach-enabled

   たとえば、以下のコマンドは、us-east-1a アベイラビリティーゾーンにボリュームを作成します。

   $ aws ec2 create-volume --availability-zone us-east-1a --no-encrypted --size 1024 --volume-type io1 --iops 51200 --multi-attach-enabled
   
   {
       "AvailabilityZone": "us-east-1a",
       "CreateTime": "2020-08-27T19:16:42.000Z",
       "Encrypted": false,
       "Size": 1024,
       "SnapshotId": "",
       "State": "creating",
       "VolumeId": "vol-042a5652867304f09",
       "Iops": 51200,
       "Tags": [ ],
       "VolumeType": "io1"
   }

   注記

   次の手順で VolumeId が必要になります。

2. クラスターの各インスタンスについて、AWS コマンド attach-volume を使用して共有ブロックボリュームを割り当てます。<instance_id> および <volume_id> を使用します。

   $ aws ec2 attach-volume --device /dev/xvdd --instance-id instance_id --volume-id volume_id

   たとえば、以下のコマンドは共有ブロックボリューム vol-042a5652867304f09 を instance i-0eb803361c2c887f2 に接続します。

   $ aws ec2 attach-volume --device /dev/xvdd --instance-id i-0eb803361c2c887f2 --volume-id vol-042a5652867304f09
   
   {
       "AttachTime": "2020-08-27T19:26:16.086Z",
       "Device": "/dev/xvdd",
       "InstanceId": "i-0eb803361c2c887f2",
       "State": "attaching",
       "VolumeId": "vol-042a5652867304f09"
   }

検証手順

1. クラスター内の各インスタンスについて、インスタンス <ip_address> で SSH コマンドを使用して、ブロックデバイスが利用できるようにされていることを確認します。

   # ssh <ip_address> "hostname ; lsblk -d | grep ' 1T '"

   たとえば、以下のコマンドは、インスタンス IP 198.51.100.3 のホスト名およびブロックデバイスを含む詳細を一覧表示します。

   # ssh 198.51.100.3 "hostname ; lsblk -d | grep ' 1T '"
   
   nodea
   nvme2n1 259:1    0   1T  0 disk

2. SSH コマンドを使用して、クラスター内の各インスタンスが同じ共有ディスクを使用していることを確認します。

   # ssh ip_address "hostname ; lsblk -d | grep ' 1T ' | awk '{print \$1}' | xargs -i udevadm info --query=all --name=/dev/{} | grep '^E: ID_SERIAL='"

   たとえば、以下のコマンドは、インスタンス IP アドレス 198.51.100.3 のホスト名および共有ディスクボリューム ID が含まれる詳細を一覧表示します。

    # ssh 198.51.100.3 "hostname ; lsblk -d | grep ' 1T ' | awk '{print \$1}' | xargs -i udevadm info --query=all --name=/dev/{} | grep '^E: ID_SERIAL='"
   
   nodea
   E: ID_SERIAL=Amazon Elastic Block Store_vol0fa5342e7aedf09f7

手順

1. すべてのリポジトリーを無効にします。

   # subscription-manager repos --disable=*

2. RHEL 7 Server リポジトリーおよび RHEL 7 Server HA リポジトリーを有効にします。

   # subscription-manager repos --enable=rhel-7-server-rpms
   # subscription-manager repos --enable=rhel-ha-for-rhel-7-server-rpms

3. すべてのパッケージを更新します。

   # yum update -y

4. pcs pacemaker、fence agent およびリソースエージェントをインストールします。

   # yum install -y pcs pacemaker fence-agents-gce resource-agents-gcp

5. カーネルを更新したら、マシンを再起動します。

   # reboot

手順

1. hacluster ユーザーは、前の手順で pcs および pacemaker のインストール時に作成されました。すべてのクラスターノードに hacluster ユーザーのパスワードを作成します。すべてのノードに同じパスワードを使用します。

   # passwd hacluster

2. firewalld サービスが有効になっている場合は、RHEL に高可用性サービスを追加します。

   # firewall-cmd --permanent --add-service=high-availability
   
   # firewall-cmd --reload

3. pcs サービスを起動し、システムの起動時に開始できるようにします。

   # systemctl enable pcsd.service --now

検証手順

1. pcs サービスが実行していることを確認します。

   # systemctl is-active pcsd.service

手順

1. ノードのいずれかで以下のコマンドを実行し、pcs ユーザー ha cluster を認証します。クラスターの各ノードの名前を指定します。

   # pcs cluster auth  _hostname1_ _hostname2_ _hostname3_ -u hacluster

   たとえば、以下のようになります。

   [root@node01 ~]# pcs cluster auth node01 node02 node03 -u hacluster
   node01: Authorized
   node02: Authorized
   node03: Authorized

2. クラスターを作成します。

   # pcs cluster setup --name cluster-name _hostname1_ _hostname2_  _hostname3_

検証手順

1. クラスターを有効にします。

   # pcs cluster enable --all

2. クラスターを起動します。

   # pcs cluster start --all

手順

1. クラスターの任意のノードから GCP インスタンス名を取得します。出力には、インスタンスの内部 ID も表示されることに注意してください。

   # fence_gce --zone _gcp_ _region_ --project= _gcp_ _project_ -o list

   たとえば、以下のようになります。

   [root@rhel71-node-01 ~]# fence_gce --zone us-west1-b --project=rhel-ha-testing-on-gcp -o list
   44358**********3181,InstanceName-3
   40819**********6811,InstanceName-1
   71736**********3341,InstanceName-2

2. フェンスデバイスを作成します。pcmk_host-name コマンドを使用して、RHEL ホスト名をインスタンス ID にマッピングします。

   # pcs stonith create _clusterfence_ fence_gce pcmk_host_map=_pcmk-hpst-map_ fence_gce zone=_gcp-zone_ project=_gcpproject_

   たとえば、以下のようになります。

   [root@node01 ~]# pcs stonith create fencegce fence_gce pcmk_host_map="node01:node01-vm;node02:node02-vm;node03:node03-vm" project=hacluster zone=us-east1-b

検証手順

1. 他のノードのいずれかに対してフェンスエージェントをテストします。

   # pcs stonith fence gcp nodename

2. ステータスを確認して、ノードがフェンスされていることを確認します。

   # watch pcs status

1. aliasip リソースを作成します。未使用の内部 IP アドレスを含めます。コマンドに CIDR ブロックを含めます。

   # pcs resource create aliasip gcp-vpc-move-vip  alias_ip=_UnusedIPaddress/CIDRblock_ --group _group-name_ --group _networking-group_

2. ノード上の IP を管理する IPaddr2 リソースを作成します。

   # pcs resource create vip IPaddr2 nic=_interface_ ip=_AliasIPaddress_ cidr_netmask=32 --group _group-name_ --group _networking-group_

3. vipgrp でネットワークリソースをグループ化します。

   # pcs resource group add vipgrp aliasip vip

検証手順

1. リソースが起動し、vipgrp でグループ化されていることを確認します。

   # pcs status

2. リソースが別のノードに移動できることを確認します。

   # pcs resource move vip _Node_

   たとえば、以下のようになります。

   # pcs resource move vip rhel71-node-03

3. 別のノードで vip が正常に起動することを確認します。

   # pcs status

手順

1. セカンダリーサブネットアドレス範囲を作成します。

   # gcloud-ra compute networks subnets update _SubnetName_ --region _RegionName_ --add-secondary-ranges _SecondarySubnetName_=_SecondarySubnetRange_

   たとえば、以下のようになります。

   # gcloud-ra compute networks subnets update range0 --region us-west1 --add-secondary-ranges range1=10.10.20.0/24

2. aliasip リソースを作成します。セカンダリーサブネットアドレス範囲に未使用の内部 IP アドレスを作成します。コマンドに CIDR ブロックを含めます。

   # pcs resource create aliasip gcp-vpc-move-vip alias_ip=_UnusedIPaddress/CIDRblock_ --group _group-name_ --group _networking-group_

3. ノード上の IP を管理する IPaddr2 リソースを作成します。

   # pcs resource create vip IPaddr2 nic=_interface_ ip=_AliasIPaddress_ cidr_netmask=32 --group _group-name_ --group _networking-group_

検証手順

1. リソースが起動し、vipgrp でグループ化されていることを確認します。

   # pcs status

2. リソースが別のノードに移動できることを確認します。

   # pcs resource move vip _Node_

   たとえば、以下のようになります。

   [root@rhel71-node-01 ~]# pcs resource move vip rhel71-node-03

3. 別のノードで vip が正常に起動することを確認します。

   # pcs status