18.5. 在支持 OVS-DPDK 连接的计算机器的 OpenStack 上安装集群

1. 在 RHOSP CLI 中以管理员身份，将 swiftoperator 角色添加到将要访问 Swift 的帐户中：

   $ openstack role add --user <user> --project <project> swiftoperator

流程

1. 使用 RHOSP CLI 验证"外部"网络的名称和 ID：

   $ openstack network list --long -c ID -c Name -c "Router Type"

   输出示例

   +--------------------------------------+----------------+-------------+
   | ID                                   | Name           | Router Type |
   +--------------------------------------+----------------+-------------+
   | 148a8023-62a7-4672-b018-003462f8d7dc | public_network | External    |
   +--------------------------------------+----------------+-------------+

流程

1. 创建 clouds.yaml 文件：

   • 如果您的 RHOSP 发行版包含 Horizon Web UI，请在该 UI 中生成 clouds.yaml 文件。

     重要

     记得在 auth 字段中添加密码。您还可以将 secret 保存在 clouds.yaml 以外的 一个独立的文件中。

   • 如果您的 RHOSP 发行版不包含 Horizon Web UI，或者您不想使用 Horizon，请自行创建该文件。如需有关 clouds.yaml 的详细信息，请参阅 RHOSP 文档中的 配置文件。

     clouds:
       shiftstack:
         auth:
           auth_url: http://10.10.14.42:5000/v3
           project_name: shiftstack
           username: <username>
           password: <password>
           user_domain_name: Default
           project_domain_name: Default
       dev-env:
         region_name: RegionOne
         auth:
           username: <username>
           password: <password>
           project_name: 'devonly'
           auth_url: 'https://10.10.14.22:5001/v2.0'

2. 如果您的 RHOSP 安装使用自签名证书颁发机构(CA)证书进行端点身份验证：

   1. 将证书颁发机构文件复制到您的机器中。

   2. 将 cacerts 键添加到 clouds.yaml 文件。该值必须是到 CA 证书的绝对、不可 root 访问的路径：

      clouds:
        shiftstack:
          ...
          cacert: "/etc/pki/ca-trust/source/anchors/ca.crt.pem"

      提示

      使用自定义 CA 证书运行安装程序后，您可以通过编辑 cloud-provider-config keymap 中的 ca-cert.pem 键的值来更新证书。在命令行中运行：

      $ oc edit configmap -n openshift-config cloud-provider-config

3. 将 clouds.yaml 文件放在以下位置之一：

   1. OS_CLIENT_CONFIG_FILE 环境变量的值
   2. 当前目录
   3. 特定于 Unix 的用户配置目录，如 ~/.config/openstack/clouds.yaml

   4. 特定于 Unix 的站点配置目录，如 /etc/openstack/clouds.yaml

      安装程序会按顺序搜索 clouds.yaml。

流程

1. 访问 OpenShift Cluster Manager 站点的 Infrastructure Provider 页面。如果您有红帽帐户，请使用您的凭证登录。如果没有，请创建一个帐户。
2. 选择您的基础架构供应商。

3. 进入到安装类型的页面，下载与您的主机操作系统和架构对应的安装程序，并将该文件放在您要存储安装配置文件的目录中。

   重要

   安装程序会在用来安装集群的计算机上创建几个文件。在完成集群安装后，您必须保留安装程序和安装程序所创建的文件。这两个文件都需要删除集群。

   重要

   删除安装程序创建的文件不会删除您的集群，即使集群在安装过程中失败也是如此。要删除集群，请为特定云供应商完成 OpenShift Container Platform 卸载流程。

4. 提取安装程序。例如，在使用 Linux 操作系统的计算机上运行以下命令：

   $ tar -xvf openshift-install-linux.tar.gz

5. 从 Red Hat OpenShift Cluster Manager 下载安装 pull secret。此 pull secret 允许您与所含授权机构提供的服务进行身份验证，这些服务包括为 OpenShift Container Platform 组件提供容器镜像的 Quay.io。

流程

1. 创建 install-config.yaml 文件。

   1. 进入包含安装程序的目录并运行以下命令：

      $ ./openshift-install create install-config --dir <installation_directory> 1

      1

      对于 <installation_directory>，请指定要存储安装程序创建的文件的目录名称。

      重要

      指定一个空目录。有些安装资产，如 bootstrap X.509 证书的过期间隔较短，因此不得重复使用安装目录。如果要重复使用另一个集群安装中的单个文件，您可以将它们复制到您的目录中。但是，安装资产的文件名可能会在发行版本间有所变化。从以前的 OpenShift Container Platform 版本中复制安装文件时请小心。

   2. 在提示符处，提供云的配置详情：

      1. 可选： 选择用于访问集群机器的 SSH 密钥。

         注意

         对于您要在其上执行安装调试或灾难恢复的生产环境 OpenShift Container Platform 集群，请指定 ssh-agent 进程使用的 SSH 密钥。

      2. 为集群输入描述性名称。
      3. 粘贴 Red Hat OpenShift Cluster Manager 中的 pull secret。
2. 修改 install-config.yaml 文件。您可以在"安装配置参数"部分找到有关可用参数的更多信息。

3. 备份 install-config.yaml 文件，以便您可以使用它安装多个集群。

   重要

   install-config.yaml 文件会在安装过程中消耗掉。如果要重复使用该文件，您必须立即备份该文件。

流程

1. 如果您在本地计算机上没有可用于在集群节点上进行身份验证的现有 SSH 密钥对，请创建一个。例如，在使用 Linux 操作系统的计算机上运行以下命令：

   $ ssh-keygen -t ed25519 -N '' -f <path>/<file_name> 1

   1

   指定新 SSH 密钥的路径和文件名，如 ~/.ssh/id_ed25519。如果您已有密钥对，请确保您的公钥位于 ~/.ssh 目录中。

   注意

   如果您计划在 x86_64 架构上安装使用 FIPS 验证的/Modules in Process 加密库的 OpenShift Container Platform 集群，请不要创建使用 ed25519 算法的密钥。相反，创建一个使用 rsa 或 ecdsa 算法的密钥。

2. 查看公共 SSH 密钥：

   $ cat <path>/<file_name>.pub

   例如，运行以下命令来查看 ~/.ssh/id_ed25519.pub 公钥：

   $ cat ~/.ssh/id_ed25519.pub

3. 将 SSH 私钥身份添加到本地用户的 SSH 代理（如果尚未添加）。在集群节点上，或者要使用 ./openshift-install gather 命令，需要对该密钥进行 SSH 代理管理，才能在集群节点上进行免密码 SSH 身份验证。

   注意

   在某些发行版中，自动管理默认 SSH 私钥身份，如 ~/.ssh/id_rsa 和 ~/.ssh/id_dsa。

   1. 如果 ssh-agent 进程尚未为您的本地用户运行，请将其作为后台任务启动：

      $ eval "$(ssh-agent -s)"

      输出示例

      Agent pid 31874

      注意

      如果集群处于 FIPS 模式，则只使用 FIPS 兼容算法来生成 SSH 密钥。密钥必须是 RSA 或 ECDSA。

4. 将 SSH 私钥添加到 ssh-agent ：

   $ ssh-add <path>/<file_name> 1

   1

   指定 SSH 私钥的路径和文件名，如 ~/.ssh/id_ed25519.pub

   输出示例

   Identity added: /home/<you>/<path>/<file_name> (<computer_name>)

流程

1. 在命令行中创建一个单体 RHOSP 网络：

   $ openstack network create radio --provider-physical-network radio --provider-network-type flat --external

2. 创建 uplink RHOSP 网络：

   $ openstack network create uplink --provider-physical-network uplink --provider-network-type vlan --external

3. 为无线网络创建子网：

   $ openstack subnet create --network radio --subnet-range <radio_network_subnet_range> radio

4. 为 uplink 网络创建一个子网：

   $ openstack subnet create --network uplink --subnet-range <uplink_network_subnet_range> uplink

流程

1. 进入包含安装程序的目录并初始化集群部署：

   $ ./openshift-install create cluster --dir <installation_directory> \ 1
       --log-level=info 2

   1

   对于 <installation_directory>，请指定自定义 ./install-config.yaml 文件的位置。

   2

   要查看不同的安装详情，请指定 warn、debug 或 error，而不是 info。

   注意

   如果您在主机上配置的云供应商帐户没有足够的权限来部署集群，安装过程将停止，并显示缺少的权限。

   当集群部署完成后，终端会显示访问集群的说明，包括指向其 Web 控制台的链接和 kubeadmin 用户的凭证。

   输出示例

   ...
   INFO Install complete!
   INFO To access the cluster as the system:admin user when using 'oc', run 'export KUBECONFIG=/home/myuser/install_dir/auth/kubeconfig'
   INFO Access the OpenShift web-console here: https://console-openshift-console.apps.mycluster.example.com
   INFO Login to the console with user: "kubeadmin", and password: "4vYBz-Ee6gm-ymBZj-Wt5AL"
   INFO Time elapsed: 36m22s

   注意

   当安装成功时，集群访问和凭证信息也会输出到 <installation_directory>/.openshift_install.log。

   重要

   • 安装程序生成的 Ignition 配置文件包含 24 小时后过期的证书，然后在该时进行续订。如果在更新证书前关闭集群，且集群在 24 小时后重启，集群会自动恢复过期的证书。一个例外是，您必须手动批准待处理的 node-bootstrapper 证书签名请求(CSR)来恢复 kubelet 证书。如需更多信息，请参阅从过期的 control plane 证书 中恢复的文档。
   • 建议您在 Ignition 配置文件生成后的 12 小时内使用它们，因为 24 小时的证书会在集群安装后的 16 小时到 22 小时间进行轮转。通过在 12 小时内使用 Ignition 配置文件，您可以避免在安装过程中因为执行了证书更新而导致安装失败的问题。
   重要

   您不得删除安装程序或安装程序创建的文件。需要这两者才能删除集群。

流程

1. 在集群环境中，导出管理员的 kubeconfig 文件：

   $ export KUBECONFIG=<installation_directory>/auth/kubeconfig 1

   1

   对于 <installation_directory>，请指定安装文件保存到的目录的路径。

   kubeconfig 文件包含有关集群的信息，供 CLI 用于将客户端连接到正确的集群和 API 服务器。

2. 查看部署后创建的 control plane 和计算机器：

   $ oc get nodes

3. 查看集群的版本：

   $ oc get clusterversion

4. 查看 Operator 的状态：

   $ oc get clusteroperator

5. 查看集群中的所有正在运行的 pod:

   $ oc get pods -A

流程

1. 导出 kubeadmin 凭证：

   $ export KUBECONFIG=<installation_directory>/auth/kubeconfig 1

   1

   对于 <installation_directory>，请指定安装文件保存到的目录的路径。

2. 验证您可以使用导出的配置成功运行 oc 命令：

   $ oc whoami

   输出示例

   system:admin

流程

1. 从以下模板创建机器配置文件：

   可挂载的元数据服务机器配置文件

   kind: MachineConfig
   apiVersion: machineconfiguration.openshift.io/v1
   metadata:
     name: 20-mount-config 1
     labels:
       machineconfiguration.openshift.io/role: worker
   spec:
     config:
       ignition:
         version: 3.2.0
       systemd:
         units:
           - name: create-mountpoint-var-config.service
             enabled: true
             contents: |
               [Unit]
               Description=Create mountpoint /var/config
               Before=kubelet.service
   
               [Service]
               ExecStart=/bin/mkdir -p /var/config
   
               [Install]
               WantedBy=var-config.mount
   
           - name: var-config.mount
             enabled: true
             contents: |
               [Unit]
               Before=local-fs.target
               [Mount]
               Where=/var/config
               What=/dev/disk/by-label/config-2
               [Install]
               WantedBy=local-fs.target

   1

   您可以替换您选择的名称。

2. 在命令行中应用机器配置：

   $ oc apply -f <machine_config_file_name>.yaml

流程

1. 从以下模板创建机器配置文件：

   No-IOMMU VFIO 机器配置文件

   kind: MachineConfig
   apiVersion: machineconfiguration.openshift.io/v1
   metadata:
     name: 99-vfio-noiommu 1
     labels:
       machineconfiguration.openshift.io/role: worker
   spec:
     config:
       ignition:
         version: 3.2.0
       storage:
         files:
         - path: /etc/modprobe.d/vfio-noiommu.conf
           mode: 0644
           contents:
             source: data:;base64,b3B0aW9ucyB2ZmlvIGVuYWJsZV91bnNhZmVfbm9pb21tdV9tb2RlPTEK

   1

   您可以替换您选择的名称。

2. 在命令行中应用机器配置：

   $ oc apply -f <machine_config_file_name>.yaml

流程

1. 在命令行中检索 VFIO 网络 UUID：

   $ openstack network show <VFIO_network_name> -f value -c id

2. 通过以下模板在集群中创建机器集：

   apiVersion: machineconfiguration.openshift.io/v1
   kind: MachineConfig
   metadata:
     labels:
       machineconfiguration.openshift.io/role: worker
     name: 99-vhostuser-bind
   spec:
     config:
       ignition:
         version: 2.2.0
       systemd:
         units:
         - name: vhostuser-bind.service
           enabled: true
           contents: |
             [Unit]
             Description=Vhostuser Interface vfio-pci Bind
             Wants=network-online.target
             After=network-online.target ignition-firstboot-complete.service
             [Service]
             Type=oneshot
             EnvironmentFile=/etc/vhostuser-bind.conf
             ExecStart=/usr/local/bin/vhostuser $ARG
             [Install]
             WantedBy=multi-user.target
       storage:
         files:
         - contents:
             inline: vfio-pci
           filesystem: root
           mode: 0644
           path: /etc/modules-load.d/vfio-pci.conf
         - contents:
             inline: |
               #!/bin/bash
               set -e
               if [[ "$#" -lt 1 ]]; then
                   echo "Nework ID not provided, nothing to do"
                   exit
               fi
   
               source /etc/vhostuser-bind.conf
   
               NW_DATA="/var/config/openstack/latest/network_data.json"
               if [ ! -f ${NW_DATA} ]; then
                   echo "Network data file not found, trying to download it from nova metadata"
                   if ! curl http://169.254.169.254/openstack/latest/network_data.json > /tmp/network_data.json; then
                       echo "Failed to download network data file"
                       exit 1
                   fi
                   NW_DATA="/tmp/network_data.json"
               fi
               function parseNetwork() {
                   local nwid=$1
                   local pcis=()
                   echo "Network ID is $nwid"
                   links=$(jq '.networks[] | select(.network_id == "'$nwid'") | .link' $NW_DATA)
                   if [ ${#links} -gt 0 ]; then
                       for link in $links; do
                           echo "Link Name: $link"
                           mac=$(jq -r '.links[] | select(.id == '$link') | .ethernet_mac_address'  $NW_DATA)
                           if [ -n $mac ]; then
                               pci=$(bindDriver $mac)
                               pci_ret=$?
                               if [[ "$pci_ret" -eq 0 ]]; then
                                   echo "$pci bind succesful"
                               fi
                           fi
                       done
                   fi
               }
   
               function bindDriver() {
                   local mac=$1
                   for file in /sys/class/net/*; do
                       dev_mac=$(cat $file/address)
                       if [[ "$mac" == "$dev_mac" ]]; then
                           name=${file##*\/}
                           bus_str=$(ethtool -i $name | grep bus)
                           dev_t=${bus_str#*:}
                           dev=${dev_t#[[:space:]]}
   
                           echo $dev
   
                           devlink="/sys/bus/pci/devices/$dev"
                           syspath=$(realpath "$devlink")
                           if [ ! -f "$syspath/driver/unbind" ]; then
                               echo "File $syspath/driver/unbind not found"
                               return 1
                           fi
                           if ! echo "$dev">"$syspath/driver/unbind"; then
                               return 1
                           fi
   
                           if [ ! -f "$syspath/driver_override" ]; then
                               echo "File $syspath/driver_override not found"
                               return 1
                           fi
                           if ! echo "vfio-pci">"$syspath/driver_override"; then
                               return 1
                           fi
   
                           if [ ! -f "/sys/bus/pci/drivers/vfio-pci/bind" ]; then
                               echo "File /sys/bus/pci/drivers/vfio-pci/bind not found"
                               return 1
                           fi
                           if ! echo "$dev">"/sys/bus/pci/drivers/vfio-pci/bind"; then
                             return 1
                           fi
                           return 0
                       fi
                   done
                   return 1
               }
   
               for nwid in "$@"; do
                   parseNetwork $nwid
               done
           filesystem: root
           mode: 0744
           path: /usr/local/bin/vhostuser
         - contents:
             inline: |
               ARG="be22563c-041e-44a0-9cbd-aa391b439a39,ec200105-fb85-4181-a6af-35816da6baf7" 1
           filesystem: root
           mode: 0644
           path: /etc/vhostuser-bind.conf

   1

   使用以逗号分隔的 VFIO 网络 UUID 列表替换这个值。

   在作为此集合的机器引导时，端口的 MAC 地址会转换为 PCI 总线 ID。vfio-pci 模块绑定到任何通过 RHOSP 网络 ID 标识的网络的端口。

验证

1. 在命令行中，输入以下内容来检索节点的名称：

   $ oc get nodes

2. 创建 shell 以调试节点：

   $ oc debug node/<node_name>

3. 为当前运行的进程更改根目录：

   $ chroot /host

4. 输入以下命令列出处理您机器上的每个设备的内核驱动程序：

   $ lspci -k

   输出示例

   00:07.0 Ethernet controller: Red Hat, Inc. Virtio network device
   Subsystem: Red Hat, Inc. Device 0001
   Kernel driver in use: vfio-pci

   在命令的输出中，VFIO 以太网控制器使用 vfio-pci 内核驱动程序。