17.2. 为 OpenShift Container Platform 安装设置环境

流程

1. 通过 ssh 登录到 provisioner 节点。

2. 创建非 root 用户(kni)并为该用户提供 sudo 权限：

   # useradd kni

   # passwd kni

   # echo "kni ALL=(root) NOPASSWD:ALL" | tee -a /etc/sudoers.d/kni

   # chmod 0440 /etc/sudoers.d/kni

3. 为新用户创建 ssh 密钥：

   # su - kni -c "ssh-keygen -f /home/kni/.ssh/id_rsa -N ''"

4. 以新用户身份登录到 provisioner 节点：

   # su - kni

5. 使用 Red Hat Subscription Manager 注册 provisioner 节点：

   $ sudo subscription-manager register --username=<user> --password=<pass> --auto-attach

   $ sudo subscription-manager repos --enable=rhel-8-for-x86_64-appstream-rpms \
                                     --enable=rhel-8-for-x86_64-baseos-rpms

   注意

   有关 Red Hat Subscription Manager 的详情，请参考 使用和配置 Red Hat Subscription Manager。

6. 安装以下软件包：

   $ sudo dnf install -y libvirt qemu-kvm mkisofs python3-devel jq ipmitool

7. 修改用户，将 libvirt 组添加到新创建的用户：

   $ sudo usermod --append --groups libvirt kni

8. 启动 firewalld ：

   $ sudo systemctl start firewalld

9. 启用 firewalld ：

   $ sudo systemctl enable firewalld

10. 启动 http 服务：

    $ sudo firewall-cmd --zone=public --add-service=http --permanent

    $ sudo firewall-cmd --reload

11. 启动并启用 libvirtd 服务：

    $ sudo systemctl enable libvirtd --now

12. 设置 provisioner 节点的 ID：

    $ PRVN_HOST_ID=<ID>

    您可以使用以下 ibmcloud 命令查看 ID：

    $ ibmcloud sl hardware list

13. 设置公共子网的 ID：

    $ PUBLICSUBNETID=<ID>

    您可以使用以下 ibmcloud 命令查看 ID：

    $ ibmcloud sl subnet list

14. 设置专用子网的 ID：

    $ PRIVSUBNETID=<ID>

    您可以使用以下 ibmcloud 命令查看 ID：

    $ ibmcloud sl subnet list

15. 设置 provisioner 节点公共 IP 地址：

    $ PRVN_PUB_IP=$(ibmcloud sl hardware detail $PRVN_HOST_ID --output JSON | jq .primaryIpAddress -r)

16. 为公共网络设置 CIDR:

    $ PUBLICCIDR=$(ibmcloud sl subnet detail $PUBLICSUBNETID --output JSON | jq .cidr)

17. 为公共网络设置 IP 地址和 CIDR：

    $ PUB_IP_CIDR=$PRVN_PUB_IP/$PUBLICCIDR

18. 为公共网络设置网关：

    $ PUB_GATEWAY=$(ibmcloud sl subnet detail $PUBLICSUBNETID --output JSON | jq .gateway -r)

19. 设置 provisioner 节点的专用 IP 地址：

    $ PRVN_PRIV_IP=$(ibmcloud sl hardware detail $PRVN_HOST_ID --output JSON | \
                     jq .primaryBackendIpAddress -r)

20. 为专用网络设置 CIDR：

    $ PRIVCIDR=$(ibmcloud sl subnet detail $PRIVSUBNETID --output JSON | jq .cidr)

21. 设置专用网络的 IP 地址和 CIDR：

    $ PRIV_IP_CIDR=$PRVN_PRIV_IP/$PRIVCIDR

22. 为专用网络设置网关：

    $ PRIV_GATEWAY=$(ibmcloud sl subnet detail $PRIVSUBNETID --output JSON | jq .gateway -r)

23. 为 baremetal 设置网桥并 置备 网络：

    $ sudo nohup bash -c "
        nmcli --get-values UUID con show | xargs -n 1 nmcli con delete
        nmcli connection add ifname provisioning type bridge con-name provisioning
        nmcli con add type bridge-slave ifname eth1 master provisioning
        nmcli connection add ifname baremetal type bridge con-name baremetal
        nmcli con add type bridge-slave ifname eth2 master baremetal
        nmcli connection modify baremetal ipv4.addresses $PUB_IP_CIDR ipv4.method manual ipv4.gateway $PUB_GATEWAY
        nmcli connection modify provisioning ipv4.addresses 172.22.0.1/24,$PRIV_IP_CIDR ipv4.method manual
        nmcli connection modify provisioning +ipv4.routes \"10.0.0.0/8 $PRIV_GATEWAY\"
        nmcli con down baremetal
        nmcli con up baremetal
        nmcli con down provisioning
        nmcli con up provisioning
        init 6
    "

    注意

    对于 eth1 和 eth2，根据需要替换相应的接口名称。

24. 如果需要，通过 SSH 重新连接到 provisioner 节点：

    # ssh kni@provisioner.<cluster-name>.<domain>

25. 验证连接网桥是否已正确创建：

    $ sudo nmcli con show

    输出示例

    NAME               UUID                                  TYPE      DEVICE
    baremetal          4d5133a5-8351-4bb9-bfd4-3af264801530  bridge    baremetal
    provisioning       43942805-017f-4d7d-a2c2-7cb3324482ed  bridge    provisioning
    virbr0             d9bca40f-eee1-410b-8879-a2d4bb0465e7  bridge    virbr0
    bridge-slave-eth1  76a8ed50-c7e5-4999-b4f6-6d9014dd0812  ethernet  eth1
    bridge-slave-eth2  f31c3353-54b7-48de-893a-02d2b34c4736  ethernet  eth2

26. 创建 pull-secret.txt 文件：

    $ vim pull-secret.txt

    在 Web 浏览器中，导航到 Install on Bare Metal with user-provisioned infrastructure。在第 1 步中，点击 Download pull secret。将内容粘贴到 pull-secret.txt 文件中，并将内容保存到 kni 用户的主目录中。

流程

1. 安装 dnsmasq:

   $ sudo dnf install dnsmasq

2. 打开 dnsmasq 配置文件：

   $ sudo vi /etc/dnsmasq.conf

3. 在 dnsmasq 配置文件中添加以下配置：

   interface=baremetal
   except-interface=lo
   bind-dynamic
   log-dhcp
   
   dhcp-range=<ip_addr>,<ip_addr>,<pub_cidr> 1
   dhcp-option=baremetal,121,0.0.0.0/0,<pub_gateway>,<prvn_priv_ip>,<prvn_pub_ip> 2
   
   dhcp-hostsfile=/var/lib/dnsmasq/dnsmasq.hostsfile

   1

   设置 DHCP 范围。将 <ip_addr> 实例替换为一个来自公共子网的未使用的 IP 地址，以便 baremetal 网络的 dhcp-range 并以相同的 IP 地址开始和结尾。将 <pub_cidr> 替换为公共子网的 CIDR。

   2

   设置 DHCP 选项。将 <pub_gateway> 替换为 baremetal 网络的网关 IP 地址。将 <prvn_priv_ip> 替换为 provisioning 网络上 provisioner 节点的专用 IP 地址的 IP 地址。将 <prvn_pub_ip> 替换为 baremetal 网络中 provisioner 节点的公共 IP 地址的 IP 地址。

   要检索 <pub_cidr> 的值，请执行：

   $ ibmcloud sl subnet detail <publicsubnetid> --output JSON | jq .cidr

   将 <publicsubnetid> 替换为公共子网的 ID。

   要检索 <pub_gateway> 的值，请执行：

   $ ibmcloud sl subnet detail <publicsubnetid> --output JSON | jq .gateway -r

   将 <publicsubnetid> 替换为公共子网的 ID。

   要检索 <prvn_priv_ip> 的值，请执行：

   $ ibmcloud  sl hardware detail <id> --output JSON | \
               jq .primaryBackendIpAddress -r

   将 <id> 替换为 provisioner 节点的 ID。

   要检索 <prvn_pub_ip> 的值，请执行：

   $ ibmcloud sl hardware detail <id> --output JSON | jq .primaryIpAddress -r

   将 <id> 替换为 provisioner 节点的 ID。

4. 获取集群的硬件列表：

   $ ibmcloud sl hardware list

5. 获取每个节点的 MAC 地址和 IP 地址：

   $ ibmcloud sl hardware detail <id> --output JSON | \
     jq '.networkComponents[] | \
     "\(.primaryIpAddress) \(.macAddress)"' | grep -v null

   将 <id> 替换为节点的 ID。

   输出示例

   "10.196.130.144 00:e0:ed:6a:ca:b4"
   "141.125.65.215 00:e0:ed:6a:ca:b5"

   记录公共网络的 MAC 地址和 IP 地址。单独记录专用网络的 MAC 地址，稍后您将在 install-config.yaml 文件中使用它。对每个节点重复这个过程，直到您拥有公共 baremetal 网络的所有公共 MAC 和 IP 地址，以及私有 provisioning 网络的 MAC 地址。

6. 将每个节点的 public baremetal 网络的 MAC 和 IP 地址对添加到 dnsmasq.hostsfile 文件中：

   $ sudo vim /var/lib/dnsmasq/dnsmasq.hostsfile

   输入示例

   00:e0:ed:6a:ca:b5,141.125.65.215,master-0
   <mac>,<ip>,master-1
   <mac>,<ip>,master-2
   <mac>,<ip>,worker-0
   <mac>,<ip>,worker-1
   ...

   将 <mac>,<ip> 替换为相应节点名称的公共 MAC 地址和公共 IP 地址。

7. 启动 dnsmasq:

   $ sudo systemctl start dnsmasq

8. 启用 dnsmasq，以便在引导节点时启动：

   $ sudo systemctl enable dnsmasq

9. 验证 dnsmasq 是否正在运行：

   $ sudo systemctl status dnsmasq

   输出示例

   ● dnsmasq.service - DNS caching server.
   Loaded: loaded (/usr/lib/systemd/system/dnsmasq.service; enabled; vendor preset: disabled)
   Active: active (running) since Tue 2021-10-05 05:04:14 CDT; 49s ago
   Main PID: 3101 (dnsmasq)
   Tasks: 1 (limit: 204038)
   Memory: 732.0K
   CGroup: /system.slice/dnsmasq.service
   └─3101 /usr/sbin/dnsmasq -k

10. 使用 UDP 协议打开端口 53 和 67 ：

    $ sudo firewall-cmd --add-port 53/udp --permanent

    $ sudo firewall-cmd --add-port 67/udp --permanent

11. 使用 masquerade 为外部区添加 置备 ：

    $ sudo firewall-cmd --change-zone=provisioning --zone=external --permanent

    这一步可确保将 IPMI 调用的网络地址转换为管理子网。

12. 重新载入 firewalld 配置：

    $ sudo firewall-cmd --reload

流程

1. 设置环境变量：

   $ export cmd=openshift-baremetal-install

   $ export pullsecret_file=~/pull-secret.txt

   $ export extract_dir=$(pwd)

2. 获取 oc 二进制文件：

   $ curl -s https://mirror.openshift.com/pub/openshift-v4/clients/ocp/$VERSION/openshift-client-linux.tar.gz | tar zxvf - oc

3. 解压安装程序：

   $ sudo cp oc /usr/local/bin

   $ oc adm release extract --registry-config "${pullsecret_file}" --command=$cmd --to "${extract_dir}" ${RELEASE_IMAGE}

   $ sudo cp openshift-baremetal-install /usr/local/bin

流程

1. 配置 install-config.yaml。更改适当的变量以匹配环境，包括 pullSecret 和 sshKey。

   apiVersion: v1
   baseDomain: <domain>
   metadata:
     name: <cluster_name>
   networking:
     machineNetwork:
     - cidr: <public-cidr>
     networkType: OVNKubernetes
   compute:
   - name: worker
     replicas: 2
   controlPlane:
     name: master
     replicas: 3
     platform:
       baremetal: {}
   platform:
     baremetal:
       apiVIP: <api_ip>
       ingressVIP: <wildcard_ip>
       provisioningNetworkInterface: <NIC1>
       provisioningNetworkCIDR: <CIDR>
       hosts:
         - name: openshift-master-0
           role: master
           bmc:
             address: ipmi://10.196.130.145?privilegelevel=OPERATOR 1
             username: root
             password: <password>
           bootMACAddress: 00:e0:ed:6a:ca:b4 2
           rootDeviceHints:
             deviceName: "/dev/sda"
         - name: openshift-worker-0
           role: worker
           bmc:
             address: ipmi://<out-of-band-ip>?privilegelevel=OPERATOR 3
             username: <user>
             password: <password>
           bootMACAddress: <NIC1_mac_address> 4
           rootDeviceHints:
             deviceName: "/dev/sda"
   pullSecret: '<pull_secret>'
   sshKey: '<ssh_pub_key>'

   1 3

   bmc.address 提供了 privilegelevel 配置设置，值设为 OPERATOR。这是 IBM Cloud Bare Metal (Classic) 基础架构所必需的。

   2 4

   为对应节点添加私有 provisioning 网络 NIC 的 MAC 地址。

   注意

   您可以使用 ibmcloud 命令行实用程序来检索密码。

   $ ibmcloud sl hardware detail <id> --output JSON | \
     jq '"(.networkManagementIpAddress) (.remoteManagementAccounts[0].password)"'

   将 <id> 替换为节点的 ID。

2. 创建用于存储集群配置的目录：

   $ mkdir ~/clusterconfigs

3. 将 install-config.yaml 文件复制到目录中：

   $ cp install-config.yaml ~/clusterconfig

4. 在安装 OpenShift Container Platform 集群前，请确保关闭所有裸机节点：

   $ ipmitool -I lanplus -U <user> -P <password> -H <management_server_ip> power off

5. 如果以前的部署尝试中保留了旧的 bootstrap 资源，请删除旧的 bootstrap 资源：

   for i in $(sudo virsh list | tail -n +3 | grep bootstrap | awk {'print $2'});
   do
     sudo virsh destroy $i;
     sudo virsh undefine $i;
     sudo virsh vol-delete $i --pool $i;
     sudo virsh vol-delete $i.ign --pool $i;
     sudo virsh pool-destroy $i;
     sudo virsh pool-undefine $i;
   done

1. 创建 OpenShift Container Platform 清单。

   $ ./openshift-baremetal-install --dir ~/clusterconfigs create manifests

   INFO Consuming Install Config from target directory
   WARNING Making control-plane schedulable by setting MastersSchedulable to true for Scheduler cluster settings
   WARNING Discarding the OpenShift Manifest that was provided in the target directory because its dependencies are dirty and it needs to be regenerated