流程

1. 将镜像从 qcow2 转换为 raw 格式。

   $ qemu-img convert -f qcow2 -O raw <image-name>.qcow2 <image-name>.raw

2. 使用以下内容创建一个 shell 脚本。

   #!/bin/bash
   MB=$((1024 * 1024))
   size=$(qemu-img info -f raw --output json "$1" | gawk 'match($0, /"virtual-size": ([0-9]+),/, val) {print val[1]}')
   rounded_size=$((($size/$MB + 1) * $MB))
   if [ $(($size % $MB)) -eq  0 ]
   then
    echo "Your image is already aligned. You do not need to resize."
    exit 1
   fi
   echo "rounded size = $rounded_size"
   export rounded_size

3. 运行脚本。这个示例使用名称 align.sh。

   $ sh align.sh <image-xxx>.raw

   • 如需显示 "Your image is already aligned.You do not need to resize."，执行以下步骤。
   • 如果显示了一个值，代表您的镜像没有被对齐。在继续执行下一步前，按照 Aligning the image 部分中的步骤重新定义镜像大小。

4. 使用以下命令将文件转换为固定的 VHD 格式。

   示例使用 qemu-img 版本 2.12.0。

   $ qemu-img convert -f raw -o subformat=fixed,force_size -O vpc <image-xxx>.raw <image.xxx>.vhd

   转换后，VHD 文件就可以上传到 Azure。

1. 使用在运行验证脚本时显示的舍入值重新定义 raw 文件大小。

   $ qemu-img resize -f raw <image-xxx>.raw <rounded-value>

2. 将 raw 镜像文件转换为 VHD 格式。

   示例使用 qemu-img 版本 2.12.0。

   $ qemu-img convert -f raw -o subformat=fixed,force_size -O vpc <image-xxx>.raw <image.xxx>.vhd

   转换后，VHD 文件就可以上传到 Azure。

流程

1. 导入 Microsoft 软件仓库密钥。

   $ sudo rpm --import https://packages.microsoft.com/keys/microsoft.asc

2. 创建本地 Azure CLI 存储库条目。

   $ sudo sh -c 'echo -e "[azure-cli]\nname=Azure CLI\nbaseurl=https://packages.microsoft.com/yumrepos/azure-cli\nenabled=1\ngpgcheck=1\ngpgkey=https://packages.microsoft.com/keys/microsoft.asc" > /etc/yum.repos.d/azure-cli.repo'

3. 更新 yum 软件包索引。

   $ yum check-update

4. 检查您的 Python 版本（python --version），如果需要安装 Python 3.x。

   $ sudo yum install python3

5. 安装 Azure CLI。

   $ sudo yum install -y azure-cli

6. 运行 Azure CLI。

   $ az

流程

1. 输入以下命令使用 Azure 验证您的系统并登录。

   $ az login

   注意

   如果在您的环境中有浏览器，则 CLI 会打开浏览器到 Azure 登录页面。如需更多信息和选项，请参阅使用 Azure CLI 登录。

2. 在 Azure 区域中创建资源组。

   $ az group create --name <resource-group> --location <azure-region>

   例如：

   $ az group create --name azrhelclirsgrp --location southcentralus
   {
     "id": "/subscriptions//resourceGroups/azrhelclirsgrp",
     "location": "southcentralus",
     "managedBy": null,
     "name": "azrhelclirsgrp",
     "properties": {
       "provisioningState": "Succeeded"
     },
     "tags": null
   }

3. 创建存储帐户。有关有效 SKU 值的更多信息，请参阅 SKU Types。

   $ az storage account create -l <azure-region> -n <storage-account-name> -g <resource-group> --sku <sku_type>

   例如：

   $ az storage account create -l southcentralus -n azrhelclistact -g azrhelclirsgrp --sku Standard_LRS
   {
     "accessTier": null,
     "creationTime": "2017-04-05T19:10:29.855470+00:00",
     "customDomain": null,
     "encryption": null,
     "id": "/subscriptions//resourceGroups/azrhelclirsgrp/providers/Microsoft.Storage/storageAccounts/azrhelclistact",
     "kind": "StorageV2",
     "lastGeoFailoverTime": null,
     "location": "southcentralus",
     "name": "azrhelclistact",
     "primaryEndpoints": {
       "blob": "https://azrhelclistact.blob.core.windows.net/",
       "file": "https://azrhelclistact.file.core.windows.net/",
       "queue": "https://azrhelclistact.queue.core.windows.net/",
       "table": "https://azrhelclistact.table.core.windows.net/"
   },
   "primaryLocation": "southcentralus",
   "provisioningState": "Succeeded",
   "resourceGroup": "azrhelclirsgrp",
   "secondaryEndpoints": null,
   "secondaryLocation": null,
   "sku": {
     "name": "Standard_LRS",
     "tier": "Standard"
   },
   "statusOfPrimary": "available",
   "statusOfSecondary": null,
   "tags": {},
     "type": "Microsoft.Storage/storageAccounts"
   }

4. 获取存储帐户连接字符串。

   $ az storage account show-connection-string -n <storage-account-name> -g <resource-group>

   例如：

   [clouduser@localhost]$ az storage account show-connection-string -n azrhelclistact -g azrhelclirsgrp
   {
     "connectionString": "DefaultEndpointsProtocol=https;EndpointSuffix=core.windows.net;AccountName=azrhelclistact;AccountKey=NreGk...=="
   }

5. 通过复制连接字符串并将其粘贴到以下命令来导出连接字符串。这个字符串将您的系统连接到存储帐户。

   $ export AZURE_STORAGE_CONNECTION_STRING="<storage-connection-string>"

   例如：

   [clouduser@localhost]$ export AZURE_STORAGE_CONNECTION_STRING="DefaultEndpointsProtocol=https;EndpointSuffix=core.windows.net;AccountName=azrhelclistact;AccountKey=NreGk...=="

6. 创建存储容器。

   $ az storage container create -n <container-name>

   例如：

   [clouduser@localhost]$ az storage container create -n azrhelclistcont
   {
     "created": true
   }

7. 创建虚拟网络。

   $ az network vnet create -g <resource group> --name <vnet-name> --subnet-name <subnet-name>

   例如：

   [clouduser@localhost]$ az network vnet create --resource-group azrhelclirsgrp --name azrhelclivnet1 --subnet-name azrhelclisubnet1
   {
     "newVNet": {
       "addressSpace": {
         "addressPrefixes": [
         "10.0.0.0/16"
         ]
     },
     "dhcpOptions": {
       "dnsServers": []
     },
     "etag": "W/\"\"",
     "id": "/subscriptions//resourceGroups/azrhelclirsgrp/providers/Microsoft.Network/virtualNetworks/azrhelclivnet1",
     "location": "southcentralus",
     "name": "azrhelclivnet1",
     "provisioningState": "Succeeded",
     "resourceGroup": "azrhelclirsgrp",
     "resourceGuid": "0f25efee-e2a6-4abe-a4e9-817061ee1e79",
     "subnets": [
       {
         "addressPrefix": "10.0.0.0/24",
         "etag": "W/\"\"",
         "id": "/subscriptions//resourceGroups/azrhelclirsgrp/providers/Microsoft.Network/virtualNetworks/azrhelclivnet1/subnets/azrhelclisubnet1",
         "ipConfigurations": null,
         "name": "azrhelclisubnet1",
         "networkSecurityGroup": null,
         "provisioningState": "Succeeded",
         "resourceGroup": "azrhelclirsgrp",
         "resourceNavigationLinks": null,
         "routeTable": null
       }
     ],
     "tags": {},
     "type": "Microsoft.Network/virtualNetworks",
     "virtualNetworkPeerings": null
     }
   }

流程

1. 将 VHD 文件上传到存储容器，可能需要几分钟时间。要获取存储容器列表，请输入 az storage container list 命令。

   $ az storage blob upload --account-name <storage-account-name> --container-name <container-name> --type page --file <path-to-vhd> --name <image-name>.vhd

   例如：

   $ az storage blob upload --account-name azrhelclistact --container-name azrhelclistcont --type page --file rhel-image-7.vhd --name rhel-image-7.vhd
   Percent complete: %100.0

2. 获取上传的 VHD 文件的 URL，以便在以下步骤中使用。

   $ az storage blob url -c <container-name> -n <image-name>.vhd

   例如：

   $ az storage blob url -c azrhelclistcont -n rhel-image-7.vhd
   "https://azrhelclistact.blob.core.windows.net/azrhelclistcont/rhel-image-7.vhd"

3. 创建 Azure 自定义镜像。

   $ az image create -n <image-name> -g <resource-group> -l <azure-region> --source <URL> --os-type linux

   注意

   虚拟机的默认 hypervisor 系列为 V1。您可以通过包括选项 --hyper-v-generation V2 来将 hypervisor 系列指定为 V2。第二代虚拟机使用基于 UEFI 的引导架构。如需有关生成 2 代虚拟机的信息，请参阅 Azure 生成 2 个虚拟机的支持。

   该命令可能会返回错误 "Only blobs formatted as VHDs can be imported." 这个错误可能意味着，在镜像转换为 VHD 前，镜像没有与最接近的 1 MB 边界一致。

   例如：

   $ az image create -n rhel7 -g azrhelclirsgrp2 -l southcentralus --source https://azrhelclistact.blob.core.windows.net/azrhelclistcont/rhel-image-7.vhd --os-type linux

流程

1. 输入以下命令来创建虚拟机。

   $ az vm create -g <resource-group> -l <azure-region> -n <vm-name> --vnet-name <vnet-name> --subnet <subnet-name> --size Standard_A2 --os-disk-name <simple-name> --admin-username <administrator-name> --generate-ssh-keys --image <path-to-image>

   注意

   选项 --generate-ssh-keys 会创建一个私有/公钥对。私钥和公钥文件会在您的系统 ~/.ssh 中创建。公钥添加到虚拟机上由 --admin-username 选项指定的用户的 authorized_keys 文件中。如需更多信息，请参阅其他验证方法。

   例如：

   [clouduser@localhost]$ az vm create -g azrhelclirsgrp2 -l southcentralus -n rhel-azure-vm-1 --vnet-name azrhelclivnet1 --subnet azrhelclisubnet1  --size Standard_A2 --os-disk-name vm-1-osdisk --admin-username clouduser --generate-ssh-keys --image rhel7
   {
     "fqdns": "",
     "id": "/subscriptions//resourceGroups/azrhelclirsgrp/providers/Microsoft.Compute/virtualMachines/rhel-azure-vm-1",
     "location": "southcentralus",
     "macAddress": "",
     "powerState": "VM running",
     "privateIpAddress": "10.0.0.4",
     "publicIpAddress": "<public-IP-address>",
     "resourceGroup": "azrhelclirsgrp2"

2. 启动 SSH 会话并登录到虚拟机。

   [clouduser@localhost]$ ssh  -i /home/clouduser/.ssh/id_rsa clouduser@<public-IP-address>.
   The authenticity of host,  '<public-IP-address>' can't be established.
   Are you sure you want to continue connecting (yes/no)? yes
   Warning: Permanently added '<public-IP-address>' (ECDSA) to the list of known hosts.

流程

1. 注册您的系统。

   subscription-manager register --auto-attach

2. 附加您的订阅。

   • 您可以使用激活码来附加订阅。请参阅创建红帽客户门户网站激活码。
   • 或者,您可以使用订阅池（池 ID）的 ID 手动附加订阅。请参阅通过 command Line 来附加和删除订阅。

流程

1. 确保您是 Microsoft Azure 订阅的管理员或所有者。您需要此授权来创建 Azure AD 应用程序。

2. 登录到您的 Azure 帐户。

   $ az login

3. 输入以下命令来创建 Azure AD 应用程序。要使用您自己的密码，在该命令中添加 --password 选项。确保您创建一个强大密码。

   $ az ad sp create-for-rbac --name _FencingApplicationName_ --role owner --scopes "/subscriptions/_SubscriptionID_/resourceGroups/_MyResourseGroup_"

   例如：

   [clouduser@localhost ~] $ az ad sp create-for-rbac --name FencingApp --role owner --scopes "/subscriptions/2586c64b-xxxxxx-xxxxxxx-xxxxxxx/resourceGroups/azrhelclirsgrp"
   Retrying role assignment creation: 1/36
   Retrying role assignment creation: 2/36
   Retrying role assignment creation: 3/36
   {
     "appId": "1a3dfe06-df55-42ad-937b-326d1c211739",
     "displayName": "FencingApp",
     "name": "http://FencingApp",
     "password": "43a603f0-64bb-482e-800d-402efe5f3d47",
     "tenant": "77ecefb6-xxxxxxxxxx-xxxxxxx-757a69cb9485"
   }

4. 在继续操作前，保存以下信息。您需要这些信息来设置隔离代理。

   • Azure AD 应用 ID
   • Azure AD 应用程序密码
   • 租户 ID
   • Microsoft Azure Subscription ID

流程

1. 用户 hacluster 在上一步中的 pcs 和 pacemaker 安装中创建。在所有集群节点上为 hacluster 创建密码。所有节点都使用相同的密码。

   # passwd hacluster

2. 如果启用了 firewalld.service，在 RHEL 防火墙中添加 high availability 服务。

   # firewall-cmd --permanent --add-service=high-availability
   # firewall-cmd --reload

3. 启动 pcs 服务并在引导时启用它。

   # systemctl enable pcsd.service --now

流程

1. 在红帽注册虚拟机。

   $ sudo -i
   # subscription-manager register --auto-attach

2. 禁用所有软件仓库。

   # subscription-manager repos --disable=*

3. 启用 RHEL 7 Server 和 RHEL 7 Server HA 软件仓库。

   # subscription-manager repos --enable=rhel-7-server-rpms
   # subscription-manager repos --enable=rhel-ha-for-rhel-7-server-rpms

4. 更新所有软件包。

   # yum update -y

5. 如果内核被更新，则需要重启。

   # reboot

6. 安装 pcs、pacemaker、fence agent resource agent 和 nmap-ncat。

   # yum install -y pcs pacemaker fence-agents-azure-arm resource-agents nmap-ncat

流程

1. 在其中一个节点上，输入以下命令验证 pcs 用户 hacluster。指定集群中的每个节点的名称。

   # pcs host auth  _hostname1_ _hostname2_ _hostname3_

   例如：

   [root@node01 clouduser]# pcs host auth node01 node02 node03
   Username: hacluster
   Password:
   node01: Authorized
   node02: Authorized
   node03: Authorized

2. 创建集群。

   # pcs cluster setup --name _hostname1_ _hostname2_ _hostname3_

   例如：

   [root@node01 clouduser]# pcs cluster setup --name newcluster node01 node02 node03
   
   ...omitted
   
   Synchronizing pcsd certificates on nodes node01, node02, node03...
   node02: Success
   node03: Success
   node01: Success
   Restarting pcsd on the nodes in order to reload the certificates...
   node02: Success
   node03: Success
   node01: Success

验证步骤

1. 启用集群。

   # pcs cluster enable --all

2. 启动集群。

   # pcs cluster start --all

   例如：

   [root@node01 clouduser]# pcs cluster enable --all
   node02: Cluster Enabled
   node03: Cluster Enabled
   node01: Cluster Enabled
   
   [root@node01 clouduser]# pcs cluster start --all
   node02: Starting Cluster...
   node03: Starting Cluster...
   node01: Starting Cluster...

流程

1. 找到可隔离的可用实例。

   # fence_azure_arm -l [appid] -p [authkey] --resourceGroup=[name] --subscriptionId=[name] --tenantId=[name] -o list

   例如：

   [root@node1 ~]# fence_azure_arm -l XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX -p XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX --resourceGroup=hacluster-rg --subscriptionId=XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX --tenantId=XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX -o list
   node01-vm,
   node02-vm,
   node03-vm,

2. 创建隔离设备。使用 pcmk_host_map 命令将 RHEL 主机名映射到实例 ID。

   # pcs stonith create _clusterfence_ fence_azure_arm login=_AD-Application-ID_ passwd=_AD-passwd_ pcmk_host_map="_pcmk-host-map_ resourcegroup= _myresourcegroup_ tenantid=_tenantid_ subscriptionid=_subscriptionid_

验证步骤

1. 测试其他其中一个节点的隔离代理。

   # pcs stonith fence _azurenodename_

   例如：

   [root@node01 ~]# pcs stonith fence fenceazure
    Resource: fenceazure (class=stonith type=fence_azure_arm)
     Attributes: login=XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX passwd=XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX pcmk_host_map=nodea:nodea-vm;nodeb:nodeb-vm;nodec:nodec-vm pcmk_reboot_retries=4 pcmk_reboot_timeout=480 power_timeout=240 resourceGroup=rg subscriptionId=XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX tenantId=XXXXXXXX-XXXX-XXXX-XXXX-XXXXXXXXXXXX
     Operations: monitor interval=60s (fenceazure-monitor-interval-60s)
   [root@node01 ~]# pcs stonith
    fenceazure     (stonith:fence_azure_arm):      Started nodea

2. 检查状态以验证节点已启动。

   # watch pcs status

   例如：

   [root@node01 ~]# watch pcs status
    fenceazure     (stonith:fence_azure_arm):      Started nodea

流程

1. 创建基本负载均衡器。为 IP 地址分配类型选择 Internal load balancer、Basic SKU 和 Dynamic。
2. 创建后端地址池。将后端池与在 HA 中创建 Azure 资源时创建的可用性集关联。不要设置任何目标网络 IP 配置。
3. 创建健康探测。对于健康探测，选择 TCP 并输入端口 61000。您可以使用不会影响到另一个服务的 TCP 端口号。对于某些 HA 产品应用程序,如 SAP HANA 和 SQL Server,您可能需要与 Microsoft 合作来识别要使用的正确端口。
4. 创建负载均衡器规则。要创建负载均衡规则，请使用预先填充的默认值。确保将 Floating IP (direct server return) 设置为 Enabled。

流程

1. 输入 Azure id 命令来查看 Azure 负载均衡器资源代理描述。这显示了这个代理的选项和默认操作。

   # pcs resource describe _azure-id_

2. 创建用于管理节点上 IP 的 Ipaddr2 资源。

   # pcs resource create _resource-id_ IPaddr2 ip=_virtual/floating-ip_ cidr_netmask=_virtual/floating-mask_ --group _group-id_ nic=_network-interface_ op monitor interval=30s

   例如：

   [root@node01 ~]# pcs resource create ClusterIP ocf:heartbeat:IPaddr2 ip=172.16.66.99 cidr_netmask=24 --group CloudIP nic=eth0 op monitor interval=30s

3. 配置 load balancer 资源代理。

   # pcs resource create _resource-loadbalancer-name_ azure-lb port=_port-number_ --group _cluster-resources-group_

流程

1. 使用 Azure 命令 az disk create 创建共享块卷。

   $ az disk create -g resource_group -n shared_block_volume_name --size-gb disk_size --max-shares number_vms -l location

   例如，以下命令在 Azure Availability Zone westcentralus 的资源组 sharedblock 中创建了一个名为 shared-block-volume.vhd 的共享块卷。

   $ az disk create -g sharedblock-rg -n shared-block-volume.vhd --size-gb 1024 --max-shares 3 -l westcentralus
   
   {
     "creationData": {
       "createOption": "Empty",
       "galleryImageReference": null,
       "imageReference": null,
       "sourceResourceId": null,
       "sourceUniqueId": null,
       "sourceUri": null,
       "storageAccountId": null,
       "uploadSizeBytes": null
     },
     "diskAccessId": null,
     "diskIopsReadOnly": null,
     "diskIopsReadWrite": 5000,
     "diskMbpsReadOnly": null,
     "diskMbpsReadWrite": 200,
     "diskSizeBytes": 1099511627776,
     "diskSizeGb": 1024,
     "diskState": "Unattached",
     "encryption": {
       "diskEncryptionSetId": null,
       "type": "EncryptionAtRestWithPlatformKey"
     },
     "encryptionSettingsCollection": null,
     "hyperVgeneration": "V1",
     "id": "/subscriptions/12345678910-12345678910/resourceGroups/sharedblock-rg/providers/Microsoft.Compute/disks/shared-block-volume.vhd",
     "location": "westcentralus",
     "managedBy": null,
     "managedByExtended": null,
     "maxShares": 3,
     "name": "shared-block-volume.vhd",
     "networkAccessPolicy": "AllowAll",
     "osType": null,
     "provisioningState": "Succeeded",
     "resourceGroup": "sharedblock-rg",
     "shareInfo": null,
     "sku": {
       "name": "Premium_LRS",
       "tier": "Premium"
     },
     "tags": {},
     "timeCreated": "2020-08-27T15:36:56.263382+00:00",
     "type": "Microsoft.Compute/disks",
     "uniqueId": "cd8b0a25-6fbe-4779-9312-8d9cbb89b6f2",
     "zones": null
   }

2. 使用 Azure 命令 az disk show 创建共享块卷。

   $ az disk show -g resource_group -n shared_block_volume_name

   例如，以下命令显示资源组 sharedblock-rg 中的共享块卷 shared-block-volume.vhd 的详情。

   $ az disk show -g sharedblock-rg -n shared-block-volume.vhd
   
   {
     "creationData": {
       "createOption": "Empty",
       "galleryImageReference": null,
       "imageReference": null,
       "sourceResourceId": null,
       "sourceUniqueId": null,
       "sourceUri": null,
       "storageAccountId": null,
       "uploadSizeBytes": null
     },
     "diskAccessId": null,
     "diskIopsReadOnly": null,
     "diskIopsReadWrite": 5000,
     "diskMbpsReadOnly": null,
     "diskMbpsReadWrite": 200,
     "diskSizeBytes": 1099511627776,
     "diskSizeGb": 1024,
     "diskState": "Unattached",
     "encryption": {
       "diskEncryptionSetId": null,
       "type": "EncryptionAtRestWithPlatformKey"
     },
     "encryptionSettingsCollection": null,
     "hyperVgeneration": "V1",
     "id": "/subscriptions/12345678910-12345678910/resourceGroups/sharedblock-rg/providers/Microsoft.Compute/disks/shared-block-volume.vhd",
     "location": "westcentralus",
     "managedBy": null,
     "managedByExtended": null,
     "maxShares": 3,
     "name": "shared-block-volume.vhd",
     "networkAccessPolicy": "AllowAll",
     "osType": null,
     "provisioningState": "Succeeded",
     "resourceGroup": "sharedblock-rg",
     "shareInfo": null,
     "sku": {
       "name": "Premium_LRS",
       "tier": "Premium"
     },
     "tags": {},
     "timeCreated": "2020-08-27T15:36:56.263382+00:00",
     "type": "Microsoft.Compute/disks",
     "uniqueId": "cd8b0a25-6fbe-4779-9312-8d9cbb89b6f2",
     "zones": null
   }

3. 使用 Azure 命令 az network nic create 创建三个网络接口。运行以下命令三次，每次使用不同的 <nic_name>。

   $ az network nic create -g resource_group -n nic_name --subnet subnet_name --vnet-name virtual_network --location location --network-security-group network_security_group --private-ip-address-version IPv4

   例如：以下命令创建一个名为 shareblock-nodea-vm-nic-protected 的网络接口。

   $ az network nic create -g sharedblock-rg -n sharedblock-nodea-vm-nic-protected --subnet sharedblock-subnet-protected --vnet-name sharedblock-vn --location westcentralus --network-security-group sharedblock-nsg --private-ip-address-version IPv4

4. 创建三个虚拟机并使用 Azure 命令 az vm create 附加共享块卷。每个虚拟机的选项值都是一样的，但每个虚拟机都有自己的 <vm_name>、<new_vm_disk_name> 和 <nic_name>。

   $ az vm create -n vm_name -g resource_group --attach-data-disks shared_block_volume_name --data-disk-caching None --os-disk-caching ReadWrite --os-disk-name new-vm-disk-name --os-disk-size-gb disk_size --location location --size virtual_machine_size --image image_name --admin-username vm_username --authentication-type ssh --ssh-key-values ssh_key --nics -nic_name_ --availability-set availability_set --ppg proximity_placement_group

   例如，以下命令会创建一个名为 sharedblock-nodea-vm 的虚拟机。

   $ az vm create -n sharedblock-nodea-vm -g sharedblock-rg --attach-data-disks shared-block-volume.vhd --data-disk-caching None --os-disk-caching ReadWrite --os-disk-name sharedblock-nodea-vm.vhd --os-disk-size-gb 64 --location westcentralus --size Standard_D2s_v3 --image /subscriptions/12345678910-12345678910/resourceGroups/sample-azureimagesgroupwestcentralus/providers/Microsoft.Compute/images/sample-azure-rhel-7.0-20200713.n.0.x86_64 --admin-username sharedblock-user --authentication-type ssh --ssh-key-values @sharedblock-key.pub --nics sharedblock-nodea-vm-nic-protected --availability-set sharedblock-as --ppg sharedblock-ppg
   
   {
     "fqdns": "",
     "id": "/subscriptions/12345678910-12345678910/resourceGroups/sharedblock-rg/providers/Microsoft.Compute/virtualMachines/sharedblock-nodea-vm",
     "location": "westcentralus",
     "macAddress": "00-22-48-5D-EE-FB",
     "powerState": "VM running",
     "privateIpAddress": "198.51.100.3",
     "publicIpAddress": "",
     "resourceGroup": "sharedblock-rg",
     "zones": ""
   }

验证步骤

1. 对于集群中的每个虚拟机，使用虚拟机的 SSH 命令 <ip_address> 验证块设备是否可用。

   # ssh ip_address "hostname ; lsblk -d | grep ' 1T '"

   例如,以下命令列出了包括虚拟机 IP 地址 198.51.100.3 的主机名和块设备的详细信息。

   # ssh 198.51.100.3 "hostname ; lsblk -d | grep ' 1T '"
   
   nodea
   sdb    8:16   0    1T  0 disk

2. 使用 SSH 命令验证集群中的每个虚拟机是否使用相同的共享磁盘。

   # ssh _ip_address_s "hostname ; lsblk -d | grep ' 1T ' | awk '{print \$1}' | xargs -i udevadm info --query=all --name=/dev/{} | grep '^E: ID_SERIAL='"

   例如，以下命令列出了包括实例 IP 地址 198.51.100.3 的主机名和共享磁盘卷 ID 的详情。

   # ssh 198.51.100.3 "hostname ; lsblk -d | grep ' 1T ' | awk '{print \$1}' | xargs -i udevadm info --query=all --name=/dev/{} | grep '^E: ID_SERIAL='"
   
   nodea
   E: ID_SERIAL=3600224808dd8eb102f6ffc5822c41d89

流程

1. 安装 Python 3 和 pip 工具。

   # yum install python3
   # yum install python3-pip

2. 使用 pip 命令安装 AWS 命令行工具。

   # pip3 install awscli

3. 运行 aws --version 命令验证您是否安装了 AWS CLI。

   $ aws --version
   aws-cli/1.16.182 Python/2.7.5 Linux/3.10.0-957.21.3.el7.x86_64 botocore/1.12.172

4. 根据 AWS 访问详情配置 AWS 命令行客户端。

   $ aws configure
   AWS Access Key ID [None]:
   AWS Secret Access Key [None]:
   Default region name [None]:
   Default output format [None]:

流程

1. 启动 AWS 控制台。
2. 点击 AWS Account ID 以显示下拉菜单并选择 My Security Credentials。
3. 点 Users。
4. 选择用户以打开 Summary 屏幕。
5. 点 Security credentials 选项卡。
6. 点 Create access key。
7. 下载 .csv 文件（或者保存这两个密钥）。创建隔离设备时需要输入这些密钥。

流程

1. 输入以下命令删除 AWS Red Hat Update Infrastructure（RHUI）客户端。由于您要使用 Red Hat Cloud Access 订阅,所以您不应该在订阅之外使用 AWS RHUI。

   $ sudo -i
   # yum -y remove rh-amazon-rhui-client*

2. 在红帽注册虚拟机。

   # subscription-manager register --auto-attach

3. 禁用所有软件仓库。

   # subscription-manager repos --disable=*

4. 启用 RHEL 7 Server 和 RHEL 7 Server HA 软件仓库。

   # subscription-manager repos --enable=rhel-7-server-rpms
   # subscription-manager repos --enable=rhel-ha-for-rhel-7-server-rpms

5. 更新所有软件包。

   # yum update -y

6. 如果内核被更新，则需要重启。

   # reboot

7. 安装 pcs、pacemaker、隔离代理和资源代理。

   # yum -y install pcs pacemaker fence-agents-aws resource-agents

8. 用户 hacluster 在上一步中的 pcs 和 pacemaker 安装中创建。在所有集群节点上为 hacluster 创建密码。所有节点都使用相同的密码。

   # passwd hacluster

9. 如果启用了 firewalld.service，在 RHEL 防火墙中添加 high availability 服务。

   # firewall-cmd --permanent --add-service=high-availability
   # firewall-cmd --reload

10. 启动 pcs 服务并在引导时启用它。

    # systemctl enable pcsd.service --now

流程

1. 在其中一个节点上，输入以下命令验证 pcs 用户 hacluster。指定集群中的每个节点的名称。

   # pcs host auth  _hostname1_ _hostname2_ _hostname3_

   例如：

   [root@node01 clouduser]# pcs host auth node01 node02 node03
   Username: hacluster
   Password:
   node01: Authorized
   node02: Authorized
   node03: Authorized

2. 创建集群。

   # pcs cluster setup --name _hostname1_ _hostname2_ _hostname3_

   例如：

   [root@node01 clouduser]# pcs cluster setup --name newcluster node01 node02 node03
   
   ...omitted
   
   Synchronizing pcsd certificates on nodes node01, node02, node03...
   node02: Success
   node03: Success
   node01: Success
   Restarting pcsd on the nodes in order to reload the certificates...
   node02: Success
   node03: Success
   node01: Success

验证步骤

1. 启用集群。

   # pcs cluster enable --all

2. 启动集群。

   # pcs cluster start --all

   例如：

   [root@node01 clouduser]# pcs cluster enable --all
   node02: Cluster Enabled
   node03: Cluster Enabled
   node01: Cluster Enabled
   
   [root@node01 clouduser]# pcs cluster start --all
   node02: Starting Cluster...
   node03: Starting Cluster...
   node01: Starting Cluster...

流程

1. 输入以下 AWS 元数据查询以获取每个节点的实例 ID。您需要这些 ID 来配置隔离设备。如需更多信息，请参阅实例元数据和用户数据。

   # echo $(curl -s http://169.254.169.254/latest/meta-data/instance-id)

   例如：

   [root@ip-10-0-0-48 ~]# echo $(curl -s http://169.254.169.254/latest/meta-data/instance-id) i-07f1ac63af0ec0ac6

2. 创建隔离设备。使用 pcmk_host_map 命令将 RHEL 主机名映射到实例 ID。使用之前在创建 AWS 访问密钥和 AWS Secret 访问密钥中设置的 AWS 访问密钥和 AWS Secret 访问密钥。

   # pcs stonith create cluster_fence fence_aws access_key=access-key secret_key=_secret-access-key_ region=_region_ pcmk_host_map="rhel-hostname-1:Instance-ID-1;rhel-hostname-2:Instance-ID-2;rhel-hostname-3:Instance-ID-3"

   例如：

   [root@ip-10-0-0-48 ~]# pcs stonith create clusterfence fence_aws access_key=AKIAI*******6MRMJA secret_key=a75EYIG4RVL3h*******K7koQ8dzaDyn5yoIZ/ region=us-east-1 pcmk_host_map="ip-10-0-0-48:i-07f1ac63af0ec0ac6;ip-10-0-0-46:i-063fc5fe93b4167b2;ip-10-0-0-58:i-08bd39eb03a6fd2c7" power_timeout=240 pcmk_reboot_timeout=480 pcmk_reboot_retries=4

验证步骤

1. 测试其他其中一个节点的隔离代理。

   # pcs stonith fence _awsnodename_

   例如：

   [root@ip-10-0-0-48 ~]# pcs stonith fence ip-10-0-0-58
   Node: ip-10-0-0-58 fenced

2. 检查状态以验证该节点是否已隔离。

   # watch pcs status

   例如：

   [root@ip-10-0-0-48 ~]# pcs status
   Cluster name: newcluster
   Stack: corosync
   Current DC: ip-10-0-0-46 (version 1.1.18-11.el7-2b07d5c5a9) - partition with quorum
   Last updated: Fri Mar  2 20:01:31 2018
   Last change: Fri Mar  2 19:24:59 2018 by root via cibadmin on ip-10-0-0-48
   
   3 nodes configured
   1 resource configured
   
   Online: [ ip-10-0-0-46 ip-10-0-0-48 ip-10-0-0-58 ]
   
   Full list of resources:
   
     clusterfence  (stonith:fence_aws):    Started ip-10-0-0-46
   
   Daemon Status:
     corosync: active/disabled
     pacemaker: active/disabled
     pcsd: active/enabled

流程

1. 执行安装 AWS CLI 的步骤。

2. 输入以下命令验证 AWS CLI 是否已正确配置。应该会显示实例 ID 和实例名称。

   例如：

   [root@ip-10-0-0-48 ~]# aws ec2 describe-instances --output text --query 'Reservations[*].Instances[*].[InstanceId,Tags[?Key==`Name`].Value]'
   i-07f1ac63af0ec0ac6
   ip-10-0-0-48
   i-063fc5fe93b4167b2
   ip-10-0-0-46
   i-08bd39eb03a6fd2c7
   ip-10-0-0-58

流程

1. 输入以下命令查看 AWS Secondary Private IP Address 资源代理(awsvip)描述。这显示了这个代理的选项和默认操作。

   # pcs resource describe awsvip

2. 输入以下命令使用 VPC CIDR 块中未使用的私有 IP 地址创建二级私有 IP 地址。

   # pcs resource create privip awsvip secondary_private_ip=_Unused-IP-Address_ --group _group-name_

   例如：

   [root@ip-10-0-0-48 ~]# pcs resource create privip awsvip secondary_private_ip=10.0.0.68 --group networking-group

3. 创建虚拟 IP 资源。这是一个 VPC IP 地址，可以从隔离的节点快速迁移到故障切换节点，从而使子网中隔离的节点失败。

   # pcs resource create vip IPaddr2 ip=_secondary-private-IP_ --group _group-name_

   例如：

   root@ip-10-0-0-48 ~]# pcs resource create vip IPaddr2 ip=10.0.0.68 --group networking-group

1. 将两个资源添加到之前创建的用来强制 order 和 colocation 约束的 同一组 中。

2. 输入以下 AWS CLI 命令来创建弹性 IP 地址。

   [root@ip-10-0-0-48 ~]# aws ec2 allocate-address --domain vpc --output text
   eipalloc-4c4a2c45   vpc 35.169.153.122

3. 输入以下命令查看 AWS 二级 Elastic IP 地址资源代理(awseip)描述。这显示了这个代理的选项和默认操作。

   # pcs resource describe awseip

4. 使用步骤 1 中创建的分配的 IP 地址创建二级 Elastic IP 地址资源。

   # pcs resource create elastic awseip elastic_ip=_Elastic-IP-Address_allocation_id=_Elastic-IP-Association-ID_ --group networking-group

   例如：

   # pcs resource create elastic awseip elastic_ip=35.169.153.122 allocation_id=eipalloc-4c4a2c45 --group networking-group

流程

1. 从本地工作站启动 SSH 会话到之前创建的弹性 IP 地址。

   $ ssh -l ec2-user -i ~/.ssh/<KeyName>.pem elastic-IP

   例如：

   $ ssh -l ec2-user -i ~/.ssh/cluster-admin.pem 35.169.153.122

2. 验证您通过 SSH 连接到的主机是否与创建的弹性资源关联。

流程

1. 使用 AWS 命令 create-volume 创建共享块卷。

   $ aws ec2 create-volume --availability-zone availability_zone --no-encrypted --size 1024 --volume-type io1 --iops 51200 --multi-attach-enabled

   例如，以下命令在 us-east-1a 可用区中创建卷。

   $ aws ec2 create-volume --availability-zone us-east-1a --no-encrypted --size 1024 --volume-type io1 --iops 51200 --multi-attach-enabled
   
   {
       "AvailabilityZone": "us-east-1a",
       "CreateTime": "2020-08-27T19:16:42.000Z",
       "Encrypted": false,
       "Size": 1024,
       "SnapshotId": "",
       "State": "creating",
       "VolumeId": "vol-042a5652867304f09",
       "Iops": 51200,
       "Tags": [ ],
       "VolumeType": "io1"
   }

   注意

   下一步需要 VolumeId。

2. 对于集群中的每个实例，使用 AWS 命令 attach-volume 附加一个共享块卷。使用您的 <instance_id> 和 <volume_id>。

   $ aws ec2 attach-volume --device /dev/xvdd --instance-id instance_id --volume-id volume_id

   例如：以下命令将共享块卷 vol-042a5652867304f09 附加到 instance i-0eb803361c2c887f2。

   $ aws ec2 attach-volume --device /dev/xvdd --instance-id i-0eb803361c2c887f2 --volume-id vol-042a5652867304f09
   
   {
       "AttachTime": "2020-08-27T19:26:16.086Z",
       "Device": "/dev/xvdd",
       "InstanceId": "i-0eb803361c2c887f2",
       "State": "attaching",
       "VolumeId": "vol-042a5652867304f09"
   }

验证步骤

1. 对于集群中的每个实例，使用带有实例 <ip_address> 的 SSH 命令验证块设备是否可用。

   # ssh <ip_address> "hostname ; lsblk -d | grep ' 1T '"

   例如：以下命令列出了包括实例 IP 198.51.100.3 的主机名和块设备的详情。

   # ssh 198.51.100.3 "hostname ; lsblk -d | grep ' 1T '"
   
   nodea
   nvme2n1 259:1    0   1T  0 disk

2. 使用 ssh 命令验证集群中的每个实例是否使用相同的共享磁盘。

   # ssh ip_address "hostname ; lsblk -d | grep ' 1T ' | awk '{print \$1}' | xargs -i udevadm info --query=all --name=/dev/{} | grep '^E: ID_SERIAL='"

   例如，以下命令列出了包括实例 IP 地址 198.51.100.3 的主机名和共享磁盘卷 ID 的详情。

    # ssh 198.51.100.3 "hostname ; lsblk -d | grep ' 1T ' | awk '{print \$1}' | xargs -i udevadm info --query=all --name=/dev/{} | grep '^E: ID_SERIAL='"
   
   nodea
   E: ID_SERIAL=Amazon Elastic Block Store_vol0fa5342e7aedf09f7

流程

1. 禁用所有软件仓库。

   # subscription-manager repos --disable=*

2. 启用 RHEL 7 服务器和 RHEL 7 服务器 HA 软件仓库。

   # subscription-manager repos --enable=rhel-7-server-rpms
   # subscription-manager repos --enable=rhel-ha-for-rhel-7-server-rpms

3. 更新所有软件包。

   # yum update -y

4. 安装 pcs pacemaker 隔离代理和资源代理。

   # yum install -y pcs pacemaker fence-agents-gce resource-agents-gcp

5. 如果内核已更新，重启机器。

   # reboot

流程

1. 用户 hacluster 在上一步中的 pcs 和 pacemaker 安装中创建。在所有集群节点上为用户 hacluster 创建密码。所有节点都使用相同的密码。

   # passwd hacluster

2. 如果启用了 firewalld 服务，在 RHEL 中添加高可用性服务。

   # firewall-cmd --permanent --add-service=high-availability
   
   # firewall-cmd --reload

3. 启动 pcs 服务并在引导时启用它。

   # systemctl enable pcsd.service --now

验证步骤

1. 确定 pcs 服务正在运行。

   # systemctl is-active pcsd.service

流程

1. 在其中一个节点上，输入以下命令验证 pcs 用户 ha cluster。指定集群中的每个节点的名称。

   # pcs cluster auth  _hostname1_ _hostname2_ _hostname3_ -u hacluster

   例如：

   [root@node01 ~]# pcs cluster auth node01 node02 node03 -u hacluster
   node01: Authorized
   node02: Authorized
   node03: Authorized

2. 创建集群。

   # pcs cluster setup --name cluster-name _hostname1_ _hostname2_  _hostname3_

验证步骤

1. 启用集群。

   # pcs cluster enable --all

2. 启动集群。

   # pcs cluster start --all

流程

1. 从集群中的任何节点获取 GCP 实例名称。请注意，输出还显示实例的内部 ID。

   # fence_gce --zone _gcp_ _region_ --project= _gcp_ _project_ -o list

   例如：

   [root@rhel71-node-01 ~]# fence_gce --zone us-west1-b --project=rhel-ha-testing-on-gcp -o list
   44358**********3181,InstanceName-3
   40819**********6811,InstanceName-1
   71736**********3341,InstanceName-2

2. 创建隔离设备。使用 pcmk_host-name 命令将 RHEL 主机名与实例 ID 映射。

   # pcs stonith create _clusterfence_ fence_gce pcmk_host_map=_pcmk-hpst-map_ fence_gce zone=_gcp-zone_ project=_gcpproject_

   例如：

   [root@node01 ~]# pcs stonith create fencegce fence_gce pcmk_host_map="node01:node01-vm;node02:node02-vm;node03:node03-vm" project=hacluster zone=us-east1-b

验证步骤

1. 测试其他其中一个节点的隔离代理。

   # pcs stonith fence gcp nodename

2. 检查状态以验证该节点是否已隔离。

   # watch pcs status

1. 创建 aliasip 资源。包括一个未使用的内部 IP 地址。在命令中包含 CIDR 块。

   # pcs resource create aliasip gcp-vpc-move-vip  alias_ip=_UnusedIPaddress/CIDRblock_ --group _group-name_ --group _networking-group_

2. 创建用于管理节点上 IP 的 IPaddr2 资源。

   # pcs resource create vip IPaddr2 nic=_interface_ ip=_AliasIPaddress_ cidr_netmask=32 --group _group-name_ --group _networking-group_

3. 对 vipgrp 下的网络资源进行分组。

   # pcs resource group add vipgrp aliasip vip

验证步骤

1. 验证资源是否已启动，并分组到 vipgrp 下。

   # pcs status

2. 验证资源是否可以移到另一个节点。

   # pcs resource move vip _Node_

   例如：

   # pcs resource move vip rhel71-node-03

3. 验证 vip 是否在不同节点上成功启动。

   # pcs status

流程

1. 创建二级子网地址范围。

   # gcloud-ra compute networks subnets update _SubnetName_ --region _RegionName_ --add-secondary-ranges _SecondarySubnetName_=_SecondarySubnetRange_

   例如：

   # gcloud-ra compute networks subnets update range0 --region us-west1 --add-secondary-ranges range1=10.10.20.0/24

2. 创建 aliasip 资源。在二级子网地址范围内创建一个未使用的内部 IP 地址。在命令中包含 CIDR 块。

   # pcs resource create aliasip gcp-vpc-move-vip alias_ip=_UnusedIPaddress/CIDRblock_ --group _group-name_ --group _networking-group_

3. 创建用于管理节点上 IP 的 IPaddr2 资源。

   # pcs resource create vip IPaddr2 nic=_interface_ ip=_AliasIPaddress_ cidr_netmask=32 --group _group-name_ --group _networking-group_

验证步骤

1. 验证资源是否已启动，并分组到 vipgrp 下。

   # pcs status

2. 验证资源是否可以移到另一个节点。

   # pcs resource move vip _Node_

   例如：

   [root@rhel71-node-01 ~]# pcs resource move vip rhel71-node-03

3. 验证 vip 是否在不同节点上成功启动。

   # pcs status