在 RHV 上安装

OpenShift Container Platform 4.5

安装 OpenShift Container Platform RHV 集群

Red Hat OpenShift Documentation Team

摘要

本文档提供在 Red Hat Virtualization 上安装和卸载 OpenShift Container Platform 集群的说明。

第 1 章 在 RHV 上安装

1.1. 在 {rh-virtualization} 上快速安装集群

警告

由于一个已知问题,这个默认安装过程不适用于 Red Hat Virtualization(RHV)4.4.1 中的 OpenShift Container Platform 版本 4.4 和 4.5。RHV 4.4.2 解决了这个缺陷。

请参阅在 RHV 上安装自定义集群的步骤进行操作

警告

在 Red Hat Virtualization(RHV)上安装 OpenShift Container Platform 版本 4.6 需要 RHV 版本 4.4。如果您在 RHV 4.3 上运行较早版本的 OpenShift Container Platform,请不要将其更新至 OpenShift Container Platform 版本 4.6。红帽还没有测试在 RHV 版本 4.3 上运行 OpenShift Container Platform 版本 4.6,且不支持这个组合。如需更多信息,请参阅 OpenShift Container Platform 4.x Tested Integrations(用于 x86_x64)

您可以快速地在 Red Hat Virtualization(RHV)集群中安装默认、非自定义的 OpenShift Container Platform 集群,如下图所示。

RHV 集群上的 OpenShift Container Platform 集群图

安装程序使用安装程序置备的基础架构自动创建和部署集群。

要安装默认集群,请准备环境,运行安装程序并根据提示提供相应信息。然后,安装程序会创建 OpenShift Container Platform 集群。

有关安装默认集群的其他方法,请参阅 使用自定义安装集群

注意

这个安装程序只适用于 Linux 和 macOS。

1.1.1. 先决条件

1.1.2. OpenShift Container Platform 对互联网和 Telemetry 的访问

在 OpenShift Container Platform 4.5 中,您需要访问互联网来安装集群。默认运行的 Telemetry 服务提供有关集群健康状况和成功更新的指标,这也需要访问互联网。如果您的集群连接到互联网,Telemetry 会自动运行,而且集群会注册到 Red Hat OpenShift Cluster Manager(OCM)。

确认 Red Hat OpenShift Cluster Manager 清单正确后,可以由 Telemetry 自动维护,也可以使用 OCM 手动维护,使用订阅监控 来跟踪帐户或多集群级别的 OpenShift Container Platform 订阅。

您必须具有以下互联网访问权限:

  • 访问 Red Hat OpenShift Cluster Manager 页面,以下载安装程序并执行订阅管理。如果集群可以访问互联网,并且没有禁用 Telemetry,该服务会自动授权您的集群。
  • 访问 Quay.io,以获取安装集群所需的软件包。
  • 获取执行集群更新所需的软件包。
重要

如果您的集群无法直接访问互联网,则可以在置备的某些类基础架构上执行受限网络安装。在此过程中,您要下载所需的内容,并使用它在镜像 registry(mirror registry) 中填充安装集群并生成安装程序所需的软件包。对于某些安装类型,集群要安装到的环境不需要访问互联网。在更新集群之前,要更新 registry 镜像系统中的内容。

1.1.3. RHV 环境的要求

要安装并运行 OpenShift Container Platform 集群,RHV 环境必须满足以下要求。不满足这些要求会导致问题。

对 CPU、内存和存储的以下要求是基于 默认值乘以安装程序创建的默认虚拟机的数量。

默认情况下,安装程序会在安装过程中创建七台机器,其中包括一台 bootstrap 机器。安装程序完成后,会删除 bootstrap 机器并释放其资源。如果执行自定义安装,可以增加安装程序创建的虚拟机数量。

重要

如果增加 install_config.yaml 文件中的虚拟机或资源数量,还必须增加这些要求。

要求

  • RHV 版本为 4.3.10 或者更新的版本。
  • RHV 环境有一个数据中心,其状态是 Up
  • RHV 数据中心包含一个 RHV 集群。
  • RHV 集群具有专门用于 OpenShift Container Platform 集群的以下资源:

    • 最小 28 个 vCPU,这是在安装过程中创建的七台虚拟机中的 4 个 vCPU。
    • 112 GiB RAM 或更多,包括:

      • 16 GiB 或更多用于提供临时 control plane 功能的 bootstrap 机器。
      • 每个提供 control plane 功能的三台 control plane 机器都需要16 GiB 或更多。
      • 每个用来运行应用程序负载的 compute 机器都需要 16 GiB 或更多。
  • RHV 存储域必须满足 etcd 后端性能要求
  • 在生产环境中,每个虚拟机必须具有 120 GiB 或更多存储,因此 OpenShift Container Platform 集群存储域必须具有 840 GiB 或更多存储 。在资源有限制或非生产环境中,每个虚拟机必须具有 32 GiB 或更多存储,因此 OpenShift Container Platform 集群存储域必须具有 230 GiB 或更多存储 。
  • RHV 集群必须可访问互联网连接,以便在安装和更新过程中从红帽生态系统目录下载镜像,也可让 Telemetry 服务简化订阅和权利过程。
  • RHV 集群有一个虚拟网络,可访问 RHV Manager 上的 REST API。确保在这个网络中启用了 DHCP,因为安装程序创建的虚拟机会使用 DHCP 来获取他们的 IP 地址。
注意
  • 主机还必须拥有所需的内存和 CPU 资源 以满足它们用于操作或提供给非 OpenShift Container Platform 操作的资源要求
  • OpenShift Container Platform 和 RHV 的发行周期不同,今后测试的版本会根据两个产品的发行日期的不同而有所不同。
  • 在安装程序创建 OpenShift Container Platform 集群时,bootstrap 机器会临时提供 control plane 的功能。在创建集群后,安装程序会删除 bootstrap 机器并释放它占用的资源。

1.1.4. 验证 RHV 环境的要求

验证 RHV 环境是否满足安装和运行 OpenShift Container Platform 集群的要求。不满足这些要求会导致问题。

重要

这些要求基于安装程序用来创建 control plane 和计算机器的默认资源。这些资源包括 vCPU、内存和存储。如果更改这些资源或增加 OpenShift Container Platform 机器的数量,请相应调整这些要求。

流程

  1. 检查 RHV 版本。

    1. 在 RHV 管理门户中,点右上角的 ? 帮助图表,选 About
    2. 在打开的窗口中,确认 RHV Software Version4.3.10 或更新版本。
  2. 检查数据中心、集群和存储。

    1. 在 RHV 管理门户中,点 ComputeData Centers
    2. 确认您要安装 OpenShift Container Platform 的数据中心显示绿色上箭头,代表已上线。
    3. 点击该数据中心的名称。
    4. 在数据中心详情中,存储 标签中确认您要安装 OpenShift Container Platform 的存储域是 Active
    5. 记录下域名以供以后使用。
    6. 确认 Free Space 至少为 230 GiB。
    7. 确认存储域满足了 这些 etcd 后端性能要求,可 使用 FIO 性能基准工具来测量
    8. 在数据中心详情中点击 Clusters 选项卡。
    9. 找到您要安装 OpenShift Container Platform 的 RHV 集群。记录集群名称,以供稍后使用。
  3. 检查 RHV 主机资源。

    1. 在 RHV 管理门户中,点 Compute > Clusters
    2. 点击要安装 OpenShift Container Platform 的集群。
    3. 在集群详情中点击 Hosts 标签页。
    4. 检查主机,确认这些主机有至少 28 个 逻辑 CPU 内核专门 用于 OpenShift Container Platform 集群。
    5. 记录逻辑 CPU 内核数以供稍后使用。
    6. 请确认这些 CPU 内核被正确分配,在安装过程中创建的七台虚拟机中的每一台都可以有四个内核。
    7. 确认主机总共有 112 GiB 的 Max free Memory for scheduling new VMs 值,以满足以下每个 OpenShift Container Platform 机器的要求:

      • bootstrap 机器需要 16 GiB
      • 三个 control plane 机器每个机器都需要 16 GiB
      • 三个计算机器每个机器都需要 16 GiB
    8. 记录下 Max free Memory for scheduling new VMs 的值以便稍后使用。
  4. 验证安装 OpenShift Container Platform 的虚拟网络能否访问 RHV Manager 的 REST API。在这个网络上的虚拟机上,使用带 RHV Manager REST API 的 curl 命令。使用以下命令:

    $ curl -k -u <username>@<profile>:<password> \ 1
    https://<engine-fqdn>/ovirt-engine/api 2
    1
    对于 <username>,请指定 RHV 管理员的用户名。对于 <profile>,请指定登录配置集,您可以登陆到 RHV 管理门户查看 Profile 下拉列表。对于 <password>,请指定管理员密码。
    2
    对于 <engine-fqdn>,请指定 RHV 环境的完全限定域名。

    例如:

    $ curl -k -u rhvadmin@internal:pw123 \
    https://rhv-env.virtlab.example.com/ovirt-engine/api

1.1.5. 在 RHV 中准备网络环境

为 OpenShift Container Platform 集群配置三个静态 IP 地址,并使用其中两个地址创建 DNS 条目。

流程

  1. 保留三个静态 IP 地址

    1. 在您要安装 OpenShift Container Platform 的网络上,标识 DHCP 租期池之外的三个静态 IP 地址。
    2. 连接到此网络中的主机,并确认每个 IP 地址都没有被使用。例如,使用地址解析协议(ARP)检查 IP 地址是否有条目:

      $ arp 10.35.1.19

      输出示例

      10.35.1.19 (10.35.1.19) -- no entry

    3. 为您的网络环境保留三个静态 IP 地址。
    4. 记录这些 IP 地址以备将来参考。
  2. 为 OpenShift Container Platform REST API 创建 DNS 条目,并使用以下格式应用域名:

    api.<cluster-name>.<base-domain>   <ip-address> 1
    *.apps.<cluster-name>.<base-domain>   <ip-address> 2
    1
    对于 <cluster-name><base-domain><ip-address>,请指定 OpenShift Container Platform API 的集群名称、基域和静态 IP 地址。
    2
    指定 Ingress 和负载均衡器的 OpenShift Container Platform 应用程序的集群名称、基域和静态 IP 地址。

    例如:

    api.my-cluster.virtlab.example.com	10.35.1.19
    *.apps.my-cluster.virtlab.example.com	10.35.1.20
    注意

    第三个静态 IP 地址不需要 DNS 条目。OpenShift Container Platform 集群将该地址用于其内部 DNS 服务。

1.1.6. 为 RHV 设置 CA 证书

从 Red Hat Virtualization (RHV) Manager 下载 CA 证书,并在安装机器中进行设置。

您可以使用 RHV Manager 的网页或使用 curl 命令下载该证书。

之后,您向安装程序提供证书。

流程

  1. 使用这两个方法之一下载 CA 证书:

    • 进入 Manager 网页 https://<engine-fqdn>/ovirt-engine/。然后在 下载 中点击 CA 证书 链接。
    • 运行以下命令:

      $ curl -k 'https://<engine-fqdn>/ovirt-engine/services/pki-resource?resource=ca-certificate&format=X509-PEM-CA' -o /tmp/ca.pem  1
      1
      对于 <engine-fqdn>,请指定 RHV Manager 的全限定域名,如 rhv-env.virtlab.example.com
  2. 配置 CA 文件,为 Manager 授予无根用户访问权限。将 CA 文件权限设置为 0644 (symbolic 值: -rw-r—​r--):

    $ sudo chmod 0644 /tmp/ca.pem
  3. 对于 Linux,将 CA 证书复制到服务器证书目录中。使用 -p 保留权限:

    $ sudo cp -p /tmp/ca.pem /etc/pki/ca-trust/source/anchors/ca.pem
  4. 将证书添加到您操作系统的证书管理器:

    • 对于 macOS,请双击这个证书文件,并使用 Keychain Access 程序将该文件添加到 System 密钥链中。
    • 对于 Linux,更新 CA 信任:

      $ sudo update-ca-trust
      注意

      如果使用您自己的证书认证机构,请确定系统信任它。

其它资源

如需了解更多相关信息,请参阅 RHV 文档中的 身份验证及安全性

1.1.7. 生成 SSH 私钥并将其添加到代理中

如果要在集群上执行安装调试或灾难恢复,则必须为 ssh-agent 和安装程序提供 SSH 密钥。您可以使用此密钥访问公共集群中的 bootstrap 机器来排除安装问题。

注意

在生产环境中,您需要进行灾难恢复和调试。

您可以使用此密钥以 core 用户身份通过 SSH 连接到 master 节点。在部署集群时,此密钥会添加到 core 用户的 ~/.ssh/authorized_keys 列表中。

注意

您必须使用一个本地密钥,而不要使用在特定平台上配置的密钥,如 AWS 密钥对

流程

  1. 如果还没有为计算机上免密码身份验证而配置的 SSH 密钥,请创建一个。例如,在使用 Linux 操作系统的计算机上运行以下命令:

    $ ssh-keygen -t ed25519 -N '' \
        -f <path>/<file_name> 1
    1
    指定新 SSH 密钥的路径和文件名,如 ~/.ssh/id_rsa。如果您有一个存在的密钥对,请确保您的公钥位于您的 '~/.ssh 目录中。

    运行此命令会在指定的位置生成不需要密码的 SSH 密钥。

  2. 作为后台任务启动 ssh-agent 进程:

    $ eval "$(ssh-agent -s)"

    输出示例

    Agent pid 31874

  3. 将 SSH 私钥添加到 ssh-agent

    $ ssh-add <path>/<file_name> 1

    输出示例

    Identity added: /home/<you>/<path>/<file_name> (<computer_name>)

    1
    指定 SSH 私钥的路径和文件名,如 ~/.ssh/id_rsa

后续步骤

  • 在安装 OpenShift Container Platform 时,为安装程序提供 SSH 公钥。

1.1.8. 获取安装程序

在安装 OpenShift Container Platform 之前,将安装文件下载到本地计算机上。

先决条件

  • 必须从使用 Linux 或 macOS 的计算机安装集群。
  • 需要 500 MB 本地磁盘空间来下载安装程序。

流程

  1. 访问 Red Hat OpenShift Cluster Manager 网站的 Infrastructure Provider 页面。如果您有红帽帐号,请使用自己的凭证登录。如果没有,请创建一个帐户。
  2. 进入适用于您的安装类型的页面,下载您的操作系统的安装程序,并将文件放在要保存安装配置文件的目录中。。

    重要

    安装程序会在用来安装集群的计算机上创建若干文件。在完成集群安装后,您必须保留安装程序和安装程序所创建的文件。

    重要

    删除安装程序创建的文件不会删除您的集群,即使集群在安装过程中失败也是如此。您必须完成针对特定云供应商的 OpenShift Container Platform 卸载流程,才能完全删除您的集群。

  3. 提取安装程序。例如,在使用 Linux 操作系统的计算机上运行以下命令:

    $ tar xvf <installation_program>.tar.gz
  4. 在 Red Hat OpenShift Cluster Manager 站点的 Pull Secret 页面中,下载您的安装 pull secret 的 .txt 文件。通过此 pull secret,您可以进行所含授权机构提供的服务的身份验证,这些服务包括为 OpenShift Container Platform 组件提供容器镜像的 Quay.io。

1.1.9. 部署集群

您可以在兼容云平台中安装 OpenShift Container Platform。

重要

安装程序的 create cluster 命令只能在初始安装过程中运行一次。

先决条件

  • 配置托管集群的云平台的帐户。
  • 获取 OpenShift Container Platform 安装程序以及集群的 pull secret。

流程

  1. 运行安装程序:

    $ ./openshift-install create cluster --dir=<installation_directory> \ 1
        --log-level=info 2
    1
    对于 <installation_directory>,请指定用于保存安装程序所创建的文件的目录名称。
    2
    要查看不同的安装详情,请指定 warndebugerror,而不要指定 info
    重要

    指定一个空目录。一些安装信息,如 bootstrap X.509 证书,有较短的过期间隔,因此不要重复使用安装目录。如果要重复使用另一个集群安装中的个别文件,可以将其复制到您的目录中。但是,一些安装数据的文件名可能会在发行版本之间有所改变。从 OpenShift Container Platform 老版本中复制安装文件时要格外小心。

    根据安装程序提示输入相关的值。

    1. 可选: SSH Public Key,请选择无密码公钥,如 ~/.ssh/id_rsa.pub。这个密钥被用来验证与新的 OpenShift Container Platform 集群的连接。

      注意

      如果您要在生产环境中执行安装调试或灾难恢复,请指定 ssh-agent 进程需要使用的 SSH 密钥。

    2. 对于 Platform,选择 ovirt
    3. 对于 Enter oVirt’s API endpoint URL,使用以下格式输入 RHV API 的 URL:

      https://<engine-fqdn>/ovirt-engine/api 1
      1
      对于 <engine-fqdn>,请指定 RHV 环境的完全限定域名。

      例如:

      $ curl -k -u ovirtadmin@internal:pw123 \
      https://rhv-env.virtlab.example.com/ovirt-engine/api
    4. 对于 Is the oVirt CA local?,输入 Yes,因为您已经设置了一个 CA 证书。否则,请输入 No
    5. 对于 oVirt 的 CA bundle,如果您为前一个问题输入的是 Yes,请从 /etc/pki/ca-trust/source/anchors/ca.pem 中复制证书内容并粘贴到这里。然后按两次 Enter 键。如果您就前一个问题输入 No,则不会出现这个问题。
    6. 对于 oVirt engine username,请使用以下格式输入 RHV 管理员的用户名和配置文件:

      <username>@<profile> 1
      1
      对于 <username>,请指定 RHV 管理员的用户名。对于 <profile>,请指定登录配置集,您可以登陆到 RHV 管理门户查看 Profile 下拉列表。用户名和配置集应与以下示例相似:
      admin@internal
    7. 对于 oVirt engine password,请输入 RHV admin 密码。
    8. 对于 oVirt cluster,请选择用于安装 OpenShift Container Platform 的集群。
    9. 对于 oVirt storage domain,请选择安装 OpenShift Container Platform 的存储域。
    10. 对于 oVirt network,请选择可访问 RHV Manager REST API 的虚拟网络。
    11. 对于 Internal API Virtual IP,请为集群的 REST API 输入您设置的静态 IP 地址。
    12. 对于 Internal DNS Virtual IP,请为集群的内部 DNS 服务输入您设置的静态 IP 地址。
    13. 对于 Ingress virtual IP,请为通配符应用程序域输入您保留的静态 IP 地址。
    14. 对于 Base Domain,请输入 OpenShift Container Platform 集群的基域。如果这个群集暴露于外部世界,这必须是 DNS 基础结构可识别的有效域。例如: 输入 virtlab.example.com
    15. 对于 Cluster Name,请输入集群名称。例如: my-cluster。使用您为 OpenShift Container Platform REST API 创建的外部注册/可解析 DNS 条目的集群名称,以及应用域名。安装程序也将此名称提供给 RHV 环境中的集群。
    16. 对于 Pull Secret,请从之前下载并粘贴的 pull-secret.txt 文件中复制 pull secret。您也可以从 Red Hat OpenShift Cluster Manager 站点的Pull Secret 页面中下载这个 pull secret。
    注意

    如果您在主机上配置的云供应商帐户没有足够的权限来部署集群,安装过程将会停止,并且显示缺少的权限。

    集群部署完成后,终端会显示访问集群的信息,包括指向其 Web 控制台的链接和 kubeadmin 用户的凭证。

    重要

    安装程序生成的 Ignition 配置文件包含在 24 小时后过期的证书,然后在过期时进行续订。如果在更新证书前关闭集群,且集群在 24 小时后重启,集群会自动恢复过期的证书。一个例外情况是,您需要手动批准待处理的 node-bootstrapper 证书签名请求(CSR)来恢复 kubelet 证书。如需更多信息,请参阅从过期的 control plane 证书中恢复的文档。

    重要

    您不得删除安装程序或安装程序所创建的文件。需要这两者才能删除集群。

重要

您已完成了安装集群所需的步骤。余下的步骤演示了如何验证集群并对安装进行故障排除。

第 2 章 通过下载二进制文件安装 CLI

您需要安装 CLI(oc) 来使用命令行界面与 OpenShift Container Platform 进行交互。您可在 Linux 、Windows 或 macOS 上安装 oc

重要

如果安装了旧版本的 oc,则无法使用 OpenShift Container Platform 4.5 中的所有命令。下载并安装新版本的 oc

2.1. 在 Linux 上安装 CLI

您可以按照以下流程在 Linux 上安装 OpenShift CLI(oc)二进制文件。

流程

  1. 访问 Red Hat OpenShift Cluster Manager 网站的 Infrastructure Provider 页面。
  2. 选择您的基础架构供应商及安装类型。
  3. Command-line interface 部分,从下拉菜单中选择 Linux,并点 Download command-line tools
  4. 解包存档:

    $ tar xvzf <file>
  5. oc 二进制代码放到 PATH 中的目录中。

    执行以下命令可以查看当前的 PATH 设置:

    $ echo $PATH

安装 CLI 后,就可以使用oc命令:

$ oc <command>

2.2. 在 Windows 上安装 CLI

您可以按照以下流程在 Windows 上安装 OpenShift CLI(oc)二进制代码。

流程

  1. 访问 Red Hat OpenShift Cluster Manager 网站的 Infrastructure Provider 页面。
  2. 选择您的基础架构供应商及安装类型。
  3. Command-line interface 部分,从下拉菜单中选择 Windows,点 Download command-line tools
  4. 使用 ZIP 程序解压存档。
  5. oc 二进制代码放到 PATH 中的目录中。

    要查看您的 PATH,请打开命令提示窗口并执行以下命令:

    C:\> path

安装 CLI 后,就可以使用oc命令:

C:\> oc <command>

2.3. 在 macOS 上安装 CLI

您可以按照以下流程在 macOS 上安装 OpenShift CLI(oc)二进制代码。

流程

  1. 访问 Red Hat OpenShift Cluster Manager 网站的 Infrastructure Provider 页面。
  2. 选择您的基础架构供应商及安装类型。
  3. Command-line interface 部分,从下拉菜单中选择 MacOS,并点 Download command-line tools
  4. 解包和解压存档。
  5. oc 二进制文件移到 PATH 的目录中。

    要查看您的 PATH,打开一个终端窗口并执行以下命令:

    $ echo $PATH

安装 CLI 后,就可以使用oc命令:

$ oc <command>

如需更多信息,请参阅 CLI 入门

第 3 章 登录集群

您可以通过导出集群 kubeconfig 文件,以默认系统用户身份登录集群。kubeconfig 文件包含关于集群的信息,供 CLI 用于将客户端连接到正确集群和 API 服务器。该文件特只适用于一个特定的集群,在 OpenShift Container Platform 安装过程中创建。

先决条件

  • 部署一个 OpenShift Container Platform 集群。
  • 安装 oc CLI。

流程

  1. 导出 kubeadmin 凭证:

    $ export KUBECONFIG=<installation_directory>/auth/kubeconfig 1
    1
    对于 <installation_directory>,请指定安装文件保存到的目录的路径。
  2. 使用导出的配置,验证能否成功运行 oc 命令:

    $ oc whoami

    输出示例

    system:admin

3.1. 验证集群状态

您可以在安装过程中或安装后验证 OpenShift Container Platform 集群的状态:

流程

  1. 在集群环境中,导出管理员的 kubeconfig 文件:

    $ export KUBECONFIG=<installation_directory>/auth/kubeconfig 1
    1
    对于 <installation_directory>,请指定安装文件保存到的目录的路径。

    kubeconfig 文件包含关于集群的信息,供 CLI 用于将客户端连接到正确集群和 API 服务器。

  2. 查看部署后创建的 control plane 和计算机器:

    $ oc get nodes
  3. 查看集群的版本:

    $ oc get clusterversion
  4. 查看 Operator 的状态:

    $ oc get clusteroperator
  5. 查看集群中的所有正在运行的 pod:

    $ oc get pods -A

故障排除

如果安装失败,安装程序会超时并显示出错信息。如需了解更多相关信息,请参阅 故障排除安装问题

3.2. 访问 RHV 上的 OpenShift Container Platform Web 控制台。

在 OpenShift Container Platform 集群初始化完成后,您可以登陆到 OpenShift Container Platform web 控制台。

流程

  1. 可选: 在 Red Hat Virtualization (RHV) 管理门户中,打开 ComputeCluster
  2. 验证安装程序是否创建了虚拟机。
  3. 返回到安装程序正在运行的命令行。当安装程序完成后,它会显示登录到 OpenShift Container Platform Web 控制台的用户名和临时密码。
  4. 在浏览器中,打开 OpenShift Container Platform web 控制台的 URL。URL 使用以下格式:

    console-openshift-console.apps.<clustername>.<basedomain> 1
    1
    对于 <clustername>.<baseDomain>,请指定集群名称和基域。

    例如:

    console-openshift-console.apps.my-cluster.virtlab.example.com

3.3. 在 Red Hat Virtualization (RHV) 上安装时的常见问题

以下是您可能会遇到的一些常见问题,以及推荐的原因和解决方案。

3.3.1. CPU 负载增加和节点进入非就绪状态

  • 症状: CPU 负载显著增加,节点开始处于 Not Ready 状态。
  • 原因: 存储域延迟可能太大,特别是针对 master 节点。
  • 解决方案:

    通过重启 kubelet 服务使节点再次就绪。输入:

    $ systemctl restart kubelet

    检查 OpenShift Container Platform 指标服务,该服务可自动收集并报告一些重要数据,如 etcd 磁盘同步持续时间。如果集群是可操作的,使用这个数据来帮助确定这个问题是否是因为存储延迟或吞吐量造成的。如果是这样,请考虑使用一个较低延迟和更高吞吐量的存储资源。

    要获得原始指标,请以 kubeadmin 或具有 cluster-admin 特权的用户身份输入以下命令:

    $ oc get --insecure-skip-tls-verify --server=https://localhost:<port> --raw=/metrics`

    如需了解更多相关信息,请参阅 使用 OpenShift 4.x 调试应用程序端点

3.3.2. 连接到 OpenShift Container Platform 集群 API 存在问题

  • 症状: 安装程序完成,但无法使用 OpenShift Container Platform 集群 API。在 bootstrap 过程完成后,bootstrap 虚拟机仍处于在线状态。当您输入以下命令时,回复会超时。

    $ oc login -u kubeadmin -p *** <apiurl>
  • 原因: 安装程序没有删除 bootstrap VM,因此没有释放集群的 API IP 地址。
  • 解决方法:使用 wait-for 子命令,在 bootstrap 过程完成后获得通知:

    $ ./openshift-install wait-for bootstrap-complete

    当 bootstrap 过程完成后,删除 bootstrap 虚拟机:

    $ ./openshift-install destroy bootstrap

3.4. 安装后的任务

在 OpenShift Container Platform 集群初始化后,您可以执行以下任务。

  • 可选: 在部署后,使用 OpenShift Container Platform 中的 Machine Config Operator (MCO) 添加或替换 SSH 密钥。
  • 可选:删除 kubeadmin 用户。使用身份验证提供程序创建具有 cluster-admin 权限的用户。

3.5. 使用自定义在 RHV 上安装集群

警告

由于在 Red Hat Virtualization(RHV)4.4.1 上安装 OpenShift Container Platform 版本 4.4 和 4.5 中存在一个已知问题,您必须自定义 install-config.yaml(如 OpenShift IPI installation on RHV-4.x failed with "Error: timeout while waiting for state to become 'up' (last state: 'down', timeout: 10m0s)" 所示)。RHV 4.4.2 解决了这个缺陷。

警告

在 Red Hat Virtualization(RHV)上安装 OpenShift Container Platform 版本 4.6 需要 RHV 版本 4.4。如果您在 RHV 4.3 上运行较早版本的 OpenShift Container Platform,请不要将其更新至 OpenShift Container Platform 版本 4.6。红帽还没有测试在 RHV 版本 4.3 上运行 OpenShift Container Platform 版本 4.6,且不支持这个组合。如需更多信息,请参阅 OpenShift Container Platform 4.x Tested Integrations(用于 x86_x64)

您可以在 Red Hat Virtualization(RHV)上自定义并安装 OpenShift Container Platform 集群,如下图所示类似。

RHV 集群上的 OpenShift Container Platform 集群图

安装程序使用安装程序置备的基础架构自动创建和部署集群。

要安装自定义集群,请准备环境并执行以下步骤:

  1. 通过运行安装程序并根据提示提供信息来创建安装配置文件 install-config.yaml
  2. 检查并修改 install-config.yaml 文件中的参数。
  3. 生成 install-config.yaml 文件的一个工作副本。
  4. 在运行安装程序时,使用 install-config.yaml 文件的副本。

然后,安装程序会创建 OpenShift Container Platform 集群。

有关安装自定义集群的其他方案,请参阅 安装默认集群

注意

这个安装程序只适用于 Linux 和 macOS。

3.5.1. 先决条件

3.5.2. OpenShift Container Platform 对互联网和 Telemetry 的访问

在 OpenShift Container Platform 4.5 中,您需要访问互联网来安装集群。默认运行的 Telemetry 服务提供有关集群健康状况和成功更新的指标,这也需要访问互联网。如果您的集群连接到互联网,Telemetry 会自动运行,而且集群会注册到 Red Hat OpenShift Cluster Manager(OCM)。

确认 Red Hat OpenShift Cluster Manager 清单正确后,可以由 Telemetry 自动维护,也可以使用 OCM 手动维护,使用订阅监控 来跟踪帐户或多集群级别的 OpenShift Container Platform 订阅。

您必须具有以下互联网访问权限:

  • 访问 Red Hat OpenShift Cluster Manager 页面,以下载安装程序并执行订阅管理。如果集群可以访问互联网,并且没有禁用 Telemetry,该服务会自动授权您的集群。
  • 访问 Quay.io,以获取安装集群所需的软件包。
  • 获取执行集群更新所需的软件包。
重要

如果您的集群无法直接访问互联网,则可以在置备的某些类基础架构上执行受限网络安装。在此过程中,您要下载所需的内容,并使用它在镜像 registry(mirror registry) 中填充安装集群并生成安装程序所需的软件包。对于某些安装类型,集群要安装到的环境不需要访问互联网。在更新集群之前,要更新 registry 镜像系统中的内容。

3.5.3. RHV 环境的要求

要安装并运行 OpenShift Container Platform 集群,RHV 环境必须满足以下要求。不满足这些要求会导致问题。

对 CPU、内存和存储的以下要求是基于 默认值乘以安装程序创建的默认虚拟机的数量。

默认情况下,安装程序会在安装过程中创建七台机器,其中包括一台 bootstrap 机器。安装程序完成后,会删除 bootstrap 机器并释放其资源。如果执行自定义安装,可以增加安装程序创建的虚拟机数量。

重要

如果增加 install_config.yaml 文件中的虚拟机或资源数量,还必须增加这些要求。

要求

  • RHV 版本为 4.3.10 或者更新的版本。
  • RHV 环境有一个数据中心,其状态是 Up
  • RHV 数据中心包含一个 RHV 集群。
  • RHV 集群具有专门用于 OpenShift Container Platform 集群的以下资源:

    • 最小 28 个 vCPU,这是在安装过程中创建的七台虚拟机中的 4 个 vCPU。
    • 112 GiB RAM 或更多,包括:

      • 16 GiB 或更多用于提供临时 control plane 功能的 bootstrap 机器。
      • 每个提供 control plane 功能的三台 control plane 机器都需要16 GiB 或更多。
      • 每个用来运行应用程序负载的 compute 机器都需要 16 GiB 或更多。
  • RHV 存储域必须满足 etcd 后端性能要求
  • 在生产环境中,每个虚拟机必须具有 120 GiB 或更多存储,因此 OpenShift Container Platform 集群存储域必须具有 840 GiB 或更多存储 。在资源有限制或非生产环境中,每个虚拟机必须具有 32 GiB 或更多存储,因此 OpenShift Container Platform 集群存储域必须具有 230 GiB 或更多存储 。
  • RHV 集群必须可访问互联网连接,以便在安装和更新过程中从红帽生态系统目录下载镜像,也可让 Telemetry 服务简化订阅和权利过程。
  • RHV 集群有一个虚拟网络,可访问 RHV Manager 上的 REST API。确保在这个网络中启用了 DHCP,因为安装程序创建的虚拟机会使用 DHCP 来获取他们的 IP 地址。
注意
  • 主机还必须拥有所需的内存和 CPU 资源 以满足它们用于操作或提供给非 OpenShift Container Platform 操作的资源要求
  • OpenShift Container Platform 和 RHV 的发行周期不同,今后测试的版本会根据两个产品的发行日期的不同而有所不同。
  • 在安装程序创建 OpenShift Container Platform 集群时,bootstrap 机器会临时提供 control plane 的功能。在创建集群后,安装程序会删除 bootstrap 机器并释放它占用的资源。

3.5.4. 验证 RHV 环境的要求

验证 RHV 环境是否满足安装和运行 OpenShift Container Platform 集群的要求。不满足这些要求会导致问题。

重要

这些要求基于安装程序用来创建 control plane 和计算机器的默认资源。这些资源包括 vCPU、内存和存储。如果更改这些资源或增加 OpenShift Container Platform 机器的数量,请相应调整这些要求。

流程

  1. 检查 RHV 版本。

    1. 在 RHV 管理门户中,点右上角的 ? 帮助图表,选 About
    2. 在打开的窗口中,确认 RHV Software Version4.3.10 或更新版本。
  2. 检查数据中心、集群和存储。

    1. 在 RHV 管理门户中,点 ComputeData Centers
    2. 确认您要安装 OpenShift Container Platform 的数据中心显示绿色上箭头,代表已上线。
    3. 点击该数据中心的名称。
    4. 在数据中心详情中,存储 标签中确认您要安装 OpenShift Container Platform 的存储域是 Active
    5. 记录下域名以供以后使用。
    6. 确认 Free Space 至少为 230 GiB。
    7. 确认存储域满足了 这些 etcd 后端性能要求,可 使用 FIO 性能基准工具来测量
    8. 在数据中心详情中点击 Clusters 选项卡。
    9. 找到您要安装 OpenShift Container Platform 的 RHV 集群。记录集群名称,以供稍后使用。
  3. 检查 RHV 主机资源。

    1. 在 RHV 管理门户中,点 Compute > Clusters
    2. 点击要安装 OpenShift Container Platform 的集群。
    3. 在集群详情中点击 Hosts 标签页。
    4. 检查主机,确认这些主机有至少 28 个 逻辑 CPU 内核专门 用于 OpenShift Container Platform 集群。
    5. 记录逻辑 CPU 内核数以供稍后使用。
    6. 请确认这些 CPU 内核被正确分配,在安装过程中创建的七台虚拟机中的每一台都可以有四个内核。
    7. 确认主机总共有 112 GiB 的 Max free Memory for scheduling new VMs 值,以满足以下每个 OpenShift Container Platform 机器的要求:

      • bootstrap 机器需要 16 GiB
      • 三个 control plane 机器每个机器都需要 16 GiB
      • 三个计算机器每个机器都需要 16 GiB
    8. 记录下 Max free Memory for scheduling new VMs 的值以便稍后使用。
  4. 验证安装 OpenShift Container Platform 的虚拟网络能否访问 RHV Manager 的 REST API。在这个网络上的虚拟机上,使用带 RHV Manager REST API 的 curl 命令。使用以下命令:

    $ curl -k -u <username>@<profile>:<password> \ 1
    https://<engine-fqdn>/ovirt-engine/api 2
    1
    对于 <username>,请指定 RHV 管理员的用户名。对于 <profile>,请指定登录配置集,您可以登陆到 RHV 管理门户查看 Profile 下拉列表。对于 <password>,请指定管理员密码。
    2
    对于 <engine-fqdn>,请指定 RHV 环境的完全限定域名。

    例如:

    $ curl -k -u rhvadmin@internal:pw123 \
    https://rhv-env.virtlab.example.com/ovirt-engine/api

3.5.5. 在 RHV 中准备网络环境

为 OpenShift Container Platform 集群配置三个静态 IP 地址,并使用其中两个地址创建 DNS 条目。

流程

  1. 保留三个静态 IP 地址

    1. 在您要安装 OpenShift Container Platform 的网络上,标识 DHCP 租期池之外的三个静态 IP 地址。
    2. 连接到此网络中的主机,并确认每个 IP 地址都没有被使用。例如,使用地址解析协议(ARP)检查 IP 地址是否有条目:

      $ arp 10.35.1.19

      输出示例

      10.35.1.19 (10.35.1.19) -- no entry

    3. 为您的网络环境保留三个静态 IP 地址。
    4. 记录这些 IP 地址以备将来参考。
  2. 为 OpenShift Container Platform REST API 创建 DNS 条目,并使用以下格式应用域名:

    api.<cluster-name>.<base-domain>   <ip-address> 1
    *.apps.<cluster-name>.<base-domain>   <ip-address> 2
    1
    对于 <cluster-name><base-domain><ip-address>,请指定 OpenShift Container Platform API 的集群名称、基域和静态 IP 地址。
    2
    指定 Ingress 和负载均衡器的 OpenShift Container Platform 应用程序的集群名称、基域和静态 IP 地址。

    例如:

    api.my-cluster.virtlab.example.com	10.35.1.19
    *.apps.my-cluster.virtlab.example.com	10.35.1.20
    注意

    第三个静态 IP 地址不需要 DNS 条目。OpenShift Container Platform 集群将该地址用于其内部 DNS 服务。

3.5.6. 为 RHV 设置 CA 证书

从 Red Hat Virtualization (RHV) Manager 下载 CA 证书,并在安装机器中进行设置。

您可以使用 RHV Manager 的网页或使用 curl 命令下载该证书。

之后,您向安装程序提供证书。

流程

  1. 使用这两个方法之一下载 CA 证书:

    • 进入 Manager 网页 https://<engine-fqdn>/ovirt-engine/。然后在 下载 中点击 CA 证书 链接。
    • 运行以下命令:

      $ curl -k 'https://<engine-fqdn>/ovirt-engine/services/pki-resource?resource=ca-certificate&format=X509-PEM-CA' -o /tmp/ca.pem  1
      1
      对于 <engine-fqdn>,请指定 RHV Manager 的全限定域名,如 rhv-env.virtlab.example.com
  2. 配置 CA 文件,为 Manager 授予无根用户访问权限。将 CA 文件权限设置为 0644 (symbolic 值: -rw-r—​r--):

    $ sudo chmod 0644 /tmp/ca.pem
  3. 对于 Linux,将 CA 证书复制到服务器证书目录中。使用 -p 保留权限:

    $ sudo cp -p /tmp/ca.pem /etc/pki/ca-trust/source/anchors/ca.pem
  4. 将证书添加到您操作系统的证书管理器:

    • 对于 macOS,请双击这个证书文件,并使用 Keychain Access 程序将该文件添加到 System 密钥链中。
    • 对于 Linux,更新 CA 信任:

      $ sudo update-ca-trust
      注意

      如果使用您自己的证书认证机构,请确定系统信任它。

其它资源

如需了解更多相关信息,请参阅 RHV 文档中的 身份验证及安全性

3.5.7. 生成 SSH 私钥并将其添加到代理中

如果要在集群上执行安装调试或灾难恢复,则必须为 ssh-agent 和安装程序提供 SSH 密钥。您可以使用此密钥访问公共集群中的 bootstrap 机器来排除安装问题。

注意

在生产环境中,您需要进行灾难恢复和调试。

您可以使用此密钥以 core 用户身份通过 SSH 连接到 master 节点。在部署集群时,此密钥会添加到 core 用户的 ~/.ssh/authorized_keys 列表中。

注意

您必须使用一个本地密钥,而不要使用在特定平台上配置的密钥,如 AWS 密钥对

流程

  1. 如果还没有为计算机上免密码身份验证而配置的 SSH 密钥,请创建一个。例如,在使用 Linux 操作系统的计算机上运行以下命令:

    $ ssh-keygen -t ed25519 -N '' \
        -f <path>/<file_name> 1
    1
    指定新 SSH 密钥的路径和文件名,如 ~/.ssh/id_rsa。如果您有一个存在的密钥对,请确保您的公钥位于您的 '~/.ssh 目录中。

    运行此命令会在指定的位置生成不需要密码的 SSH 密钥。

  2. 作为后台任务启动 ssh-agent 进程:

    $ eval "$(ssh-agent -s)"

    输出示例

    Agent pid 31874

  3. 将 SSH 私钥添加到 ssh-agent

    $ ssh-add <path>/<file_name> 1

    输出示例

    Identity added: /home/<you>/<path>/<file_name> (<computer_name>)

    1
    指定 SSH 私钥的路径和文件名,如 ~/.ssh/id_rsa

后续步骤

  • 在安装 OpenShift Container Platform 时,为安装程序提供 SSH 公钥。

3.5.8. 获取安装程序

在安装 OpenShift Container Platform 之前,将安装文件下载到本地计算机上。

先决条件

  • 必须从使用 Linux 或 macOS 的计算机安装集群。
  • 需要 500 MB 本地磁盘空间来下载安装程序。

流程

  1. 访问 Red Hat OpenShift Cluster Manager 网站的 Infrastructure Provider 页面。如果您有红帽帐号,请使用自己的凭证登录。如果没有,请创建一个帐户。
  2. 进入适用于您的安装类型的页面,下载您的操作系统的安装程序,并将文件放在要保存安装配置文件的目录中。。

    重要

    安装程序会在用来安装集群的计算机上创建若干文件。在完成集群安装后,您必须保留安装程序和安装程序所创建的文件。

    重要

    删除安装程序创建的文件不会删除您的集群,即使集群在安装过程中失败也是如此。您必须完成针对特定云供应商的 OpenShift Container Platform 卸载流程,才能完全删除您的集群。

  3. 提取安装程序。例如,在使用 Linux 操作系统的计算机上运行以下命令:

    $ tar xvf <installation_program>.tar.gz
  4. 在 Red Hat OpenShift Cluster Manager 站点的 Pull Secret 页面中,下载您的安装 pull secret 的 .txt 文件。通过此 pull secret,您可以进行所含授权机构提供的服务的身份验证,这些服务包括为 OpenShift Container Platform 组件提供容器镜像的 Quay.io。

3.5.9. 创建安装配置文件

您可以自定义在 Red Hat Virtualization (RHV) 上安装的 OpenShift Container Platform 集群。

警告

由于在 Red Hat Virtualization(RHV)4.4.1 上安装 OpenShift Container Platform 版本 4.4 和 4.5 中存在一个已知问题,您必须自定义 install-config.yaml(如 OpenShift IPI installation on RHV-4.x failed with "Error: timeout while waiting for state to become 'up' (last state: 'down', timeout: 10m0s)" 所示)。RHV 4.4.2 解决了这个缺陷。

警告

在 Red Hat Virtualization(RHV)上安装 OpenShift Container Platform(OCP)版本 4.6 需要 RHV 版本 4.4。如果您在 RHV 4.3 上运行较早版本的 OCP,请不要将其更新至 OCP 版本 4.6。红帽还没有测试在 RHV 版本 4.3 上运行 OCP 版本 4.6 且不支持这个组合。另请参阅 OpenShift Container Platform 4.x Tested Integrations(用于 x86_x64)

先决条件

  • 获取 OpenShift Container Platform 安装程序以及集群的 pull secret。

流程

  1. 创建 install-config.yaml 文件。

    1. 运行以下命令:

      $ ./openshift-install create install-config --dir=<installation_directory> 1
      1
      对于 <installation_directory>,请指定用于保存安装程序所创建的文件的目录名称。
      重要

      指定一个空目录。一些安装信息,如 bootstrap X.509 证书,有较短的过期间隔,因此不要重复使用安装目录。如果要重复使用另一个集群安装中的个别文件,可以将其复制到您的目录中。但是,一些安装数据的文件名可能会在发行版本之间有所改变。从 OpenShift Container Platform 老版本中复制安装文件时要格外小心。

    2. 根据安装程序提示输入相关的值。

      1. 对于 SSH 公钥,请选择免密码公钥,如 ~/.ssh/id_rsa.pub。这个密钥被用来验证与新的 OpenShift Container Platform 集群的连接。

        注意

        如果您要在生产环境中执行安装调试或灾难恢复,请指定 ssh-agent 进程需要使用的 SSH 密钥。

      2. 对于 Platform,选择 ovirt
      3. 对于 Enter oVirt’s API endpoint URL,使用以下格式输入 RHV API 的 URL:

        https://<engine-fqdn>/ovirt-engine/api 1
        1
        对于 <engine-fqdn>,请指定 RHV 环境的完全限定域名。

        例如:

        $ curl -k -u ovirtadmin@internal:pw123 \
        https://rhv-env.virtlab.example.com/ovirt-engine/api
      4. 对于 Is the oVirt CA local?,输入 Yes,因为您已经设置了一个 CA 证书。否则,请输入 No
      5. 对于 oVirt 的 CA bundle,如果您为前一个问题输入的是 Yes,请从 /etc/pki/ca-trust/source/anchors/ca.pem 中复制证书内容并粘贴到这里。然后按两次 Enter 键。如果您就前一个问题输入 No,则不会出现这个问题。
      6. 对于 oVirt engine username,请使用以下格式输入 RHV 管理员的用户名和配置文件:

        <username>@<profile> 1
        1
        对于 <username>,请指定 RHV 管理员的用户名。对于 <profile>,请指定登录配置集,您可以登陆到 RHV 管理门户查看 Profile 下拉列表。用户名和配置集应与以下示例相似:
        admin@internal
      7. 对于 oVirt engine password,请输入 RHV admin 密码。
      8. 对于 oVirt cluster,请选择用于安装 OpenShift Container Platform 的集群。
      9. 对于 oVirt storage domain,请选择安装 OpenShift Container Platform 的存储域。
      10. 对于 oVirt network,请选择可访问 RHV Manager REST API 的虚拟网络。
      11. 对于 Internal API Virtual IP,请为集群的 REST API 输入您设置的静态 IP 地址。
      12. 对于 Internal DNS Virtual IP,请为集群的内部 DNS 服务输入您设置的静态 IP 地址。
      13. 对于 Ingress virtual IP,请为通配符应用程序域输入您保留的静态 IP 地址。
      14. 对于 Base Domain,请输入 OpenShift Container Platform 集群的基域。如果这个群集暴露于外部世界,这必须是 DNS 基础结构可识别的有效域。例如: 输入 virtlab.example.com
      15. 对于 Cluster Name,请输入集群名称。例如: my-cluster。使用您为 OpenShift Container Platform REST API 创建的外部注册/可解析 DNS 条目的集群名称,以及应用域名。安装程序也将此名称提供给 RHV 环境中的集群。
      16. 对于 Pull Secret,请从之前下载并粘贴的 pull-secret.txt 文件中复制 pull secret。您也可以从 Red Hat OpenShift Cluster Manager 站点的Pull Secret 页面中下载这个 pull secret。
  2. 修改 install-config.yaml 文件。您可以在安装配置参数部分中找到有关可用参数的更多信息。
  3. 备份 install-config.yaml 文件,以便用于安装多个集群。

    重要

    install-config.yaml 文件会在安装过程中消耗掉。如果要重复使用此文件,必须现在备份。

3.5.9.1. Red Hat Virtualization(RHV)的 install-config.yaml 文件示例

您可以通过更改 install-config.yaml 文件中的参数和参数值来自定义安装程序创建的 OpenShift Container Platform 集群。

以下示例专用于在 RHV 上安装 OpenShift Container Platform。

该文件位于您运行以下命令时指定的 <installation_directory> 中。

$ ./openshift-install create install-config --dir=<installation_directory>
注意
  • 这些示例文件仅供参考。您必须使用安装程序来获取 install-config.yaml 文件。
  • 更改 install-config.yaml 文件可以增加集群所需的资源。验证您的 RHV 环境是否具有这些其他资源。否则,安装或集群将失败。

示例:这是默认的 install-config.yaml 文件

apiVersion: v1
baseDomain: example.com
compute:
- architecture: amd64
  hyperthreading: Enabled
  name: worker
  platform: {}
  replicas: 3
controlPlane:
  architecture: amd64
  hyperthreading: Enabled
  name: master
  platform: {}
  replicas: 3
metadata:
  creationTimestamp: null
  name: my-cluster
networking:
  clusterNetwork:
  - cidr: 10.128.0.0/14
    hostPrefix: 23
  machineNetwork:
  - cidr: 10.0.0.0/16
  networkType: OpenShiftSDN
  serviceNetwork:
  - 172.30.0.0/16
platform:
  ovirt:
    api_vip: 10.46.8.230
    ingress_vip: 192.168.1.5
    ovirt_cluster_id: 68833f9f-e89c-4891-b768-e2ba0815b76b
    ovirt_storage_domain_id: ed7b0f4e-0e96-492a-8fff-279213ee1468
    ovirt_network_name: ovirtmgmt
    vnicProfileID: 3fa86930-0be5-4052-b667-b79f0a729692
publish: External
pullSecret: '{"auths": ...}'
sshKey: ssh-ed12345 AAAA...

示例:最小 install-config.yaml 文件

apiVersion: v1
baseDomain: example.com
metadata:
  name: test-cluster
platform:
  ovirt:
    api_vip: 10.46.8.230
    ingress_vip: 10.46.8.232
    ovirt_cluster_id: 68833f9f-e89c-4891-b768-e2ba0815b76b
    ovirt_storage_domain_id: ed7b0f4e-0e96-492a-8fff-279213ee1468
    ovirt_network_name: ovirtmgmt
    vnicProfileID: 3fa86930-0be5-4052-b667-b79f0a729692
pullSecret: '{"auths": ...}'
sshKey: ssh-ed12345 AAAA...

示例: install-config.yaml 文件中的自定义机器池

apiVersion: v1
baseDomain: example.com
controlPlane:
  name: master
  platform:
    ovirt:
      cpu:
        cores: 4
        sockets: 2
      memoryMB: 65536
      osDisk:
        sizeGB: 100
      vmType: high_performance
  replicas: 3
compute:
- name: worker
  platform:
    ovirt:
      cpu:
        cores: 4
        sockets: 4
      memoryMB: 65536
      osDisk:
        sizeGB: 200
      vmType: high_performance
  replicas: 5
metadata:
  name: test-cluster
platform:
  ovirt:
    api_vip: 10.46.8.230
    ingress_vip: 10.46.8.232
    ovirt_cluster_id: 68833f9f-e89c-4891-b768-e2ba0815b76b
    ovirt_storage_domain_id: ed7b0f4e-0e96-492a-8fff-279213ee1468
    ovirt_network_name: ovirtmgmt
    vnicProfileID: 3fa86930-0be5-4052-b667-b79f0a729692
pullSecret: '{"auths": ...}'
sshKey: ssh-ed25519 AAAA...

3.5.9.2. 安装配置参数

在部署 OpenShift Container Platform 集群前,您可以提供参数值,以描述托管集群的云平台的帐户并选择性地自定义集群平台。在创建 install-config.yaml 安装配置文件时,您可以通过命令行来提供所需的参数的值。如果要自定义集群,可以修改 install-config.yaml 文件来提供关于平台的更多信息。

注意

安装之后,您无法修改 install-config.yaml 文件中的这些参数。

重要

openshift-install 命令不验证参数的字段名称。如果指定了不正确的名称,则不会创建相关的文件或对象,且不会报告错误。确保所有指定的参数的字段名称都正确。

表 3.1. 所需的参数

参数描述

apiVersion

install-config.yaml 内容的 API 版本。当前版本是 v1。安装程序还可能支持旧的 API 版本。

字符串

baseDomain

云供应商的基域。此基础域用于创建到 OpenShift Container Platform 集群组件的路由。集群的完整 DNS 名称是 baseDomainmetadata.name 参数值的组合,其格式为 <metadata.name>.<baseDomain>

完全限定域名或子域名,如 example.com

metadata

Kubernetes 资源 ObjectMeta,其中只消耗 name 参数。

对象

metadata.name

集群的名称。集群的 DNS 记录是 {{.metadata.name}}.{{.baseDomain}} 的子域。

小写字母,连字符(-)和句点(.)的字符串,如 dev

platform

执行安装的具体平台配置: awsbaremetalazureopenstackovirtvsphere。有关 platform.<platform> 参数的额外信息,请参考下表来了解您的具体平台。

对象

pullSecret

https://cloud.redhat.com/openshift/install/pull-secret 获取此 pull secret,验证从 Quay.io 等服务中下载 OpenShift Container Platform 组件的容器镜像。

{
   "auths":{
      "cloud.openshift.com":{
         "auth":"b3Blb=",
         "email":"you@example.com"
      },
      "quay.io":{
         "auth":"b3Blb=",
         "email":"you@example.com"
      }
   }
}

表 3.2. 可选参数

参数描述

additionalTrustBundle

添加到节点可信证书存储中的 PEM 编码 X.509 证书捆绑包。配置了代理时,也可以使用这个信任捆绑包。

字符串

compute

组成计算节点的机器的配置。

machine-pool 对象的数组。详情请查看以下"Machine-pool"表。

compute.architecture

决定池中机器的指令集合架构。目前不支持异构集群,因此所有池都必须指定相同的架构。有效值为 amd64 (默认值)。

字符串

compute.hyperthreading

是否在计算机器上启用或禁用并发多线程或超线程。默认情况下,启用并发多线程以提高机器内核的性能。

重要

如果禁用并发多线程,请确保在容量规划时考虑到机器性能可能会显著降低的问题。

EnabledDisabled

compute.name

使用 compute 时需要此值。机器池的名称。

worker

compute.platform

使用 compute 时需要此值。使用此参数指定托管 worker 机器的云供应商。此参数值必须与 controlPlane.platform 参数值匹配。

awsazuregcpopenstackovirtvsphere{}

compute.replicas

要置备的计算机器数量,也称为 worker 机器。

大于或等于 2 的正整数。默认值为 3

controlPlane

组成 control plane 的机器的配置。

MachinePool 对象的数组。详情请查看以下"Machine-pool"表。

controlPlane.architecture

决定池中机器的指令集合架构。目前不支持异构集群,因此所有池都必须指定相同的架构。有效值为 amd64 (默认值)。

字符串

controlPlane.hyperthreading

是否在 control plane 机器上启用或禁用并发多线程或超线程。默认情况下,启用并发多线程以提高机器内核的性能。

重要

如果禁用并发多线程,请确保在容量规划时考虑到机器性能可能会显著降低的问题。

EnabledDisabled

controlPlane.name

使用 controlPlane 时需要。机器池的名称。

master

controlPlane.platform

使用 controlPlane 时需要。使用此参数指定托管 control plane 机器的云供应商。此参数值必须与 compute.platform 参数值匹配。

awsazuregcpopenstackovirtvsphere{}

controlPlane.replicas

要置备的 control plane 机器数量。

唯一支持的值是 3,它是默认值。

fips

启用或禁用 FIPS 模式。默认为 false (禁用)。如果启用了 FIPS 模式,运行 OpenShift Container Platform 的 Red Hat Enterprise Linux CoreOS (RHCOS) 机器会绕过默认的 Kubernetes 加密套件,并使用由 RHCOS 提供的加密模块。

注意

如果使用 Azure File 存储,则无法启用 FIPS 模式。

falsetrue

imageContentSources

release-image 内容的源和仓库。

对象数组。包括一个 source 以及可选的 mirrors,如下表所示。

imageContentSources.source

使用 imageContentSources 时需要。指定用户在镜像拉取规格中引用的仓库。

字符串

imageContentSources.mirrors

指定可能还包含同一镜像的一个或多个仓库。

字符串数组

networking

集群中的 Pod 网络供应商配置。

对象

networking.clusterNetwork

pod 的 IP 地址池。默认为 10.128.0.0/14,主机前缀为 /23

对象数组

networking.clusterNetwork.cidr

使用 networking.clusterNetwork 时需要此项。IP 块地址池。

IP 网络。IP 网络使用带传统 IP 地址或网络号码的无类别域间路由(CIDR)标记,后接"/"(斜杠)字符,后面跟一个在 0 到 32 之间的小数表示。例如, 10.0.0.0/16 代表 IP 地址 10.0.0.010.0.255.255

networking.clusterNetwork.hostPrefix

使用 networking.clusterNetwork 时需要此项。从 CIDR 中分配给每个节点的前缀大小。例如,24 会为每个节点分配 256(2^8)个地址。

整数

networking.machineNetwork

机器的 IP 地址池。

对象数组

networking.machineNetwork.cidr

使用 networking.machineNetwork 时需要。IP 地址块。libvirt 以外的所有平台默认为 10.0.0.0/16。在 libvirt 中,默认值为 192.168.126.0/24

Classless Inter-Domain Routing在(CIDR)标记中的 IP 网络。例如: 10.0.0.0/16

注意

networking.machineNetwork 设置为与首选 NIC 所在的 CIDR 匹配。

networking.networkType

要安装的网络类型。默认为 OpenShiftSDN

字符串

networking.serviceNetwork

服务的 IP 地址池。默认为 172.30.0.0/16。

IP 网络的数组。IP 网络使用带传统 IP 地址或网络号码的无类别域间路由(CIDR)标记,后接"/"(斜杠)字符,后面跟一个在 0 到 32 之间的小数表示。例如, 10.0.0.0/16 代表 IP 地址 10.0.0.010.0.255.255

publish

如何发布或公开集群的面向用户的端点,如 Kubernetes API、OpenShift 路由。

InternalExternal。默认值为 External

在非云平台上不支持将此字段设置为 Internal

重要

如果将字段的值设为 Internal,集群将无法运行。如需更多信息,请参阅 BZ#1953035

sshKey

用于验证集群机器访问的 SSH 密钥。

注意

对于您要在其上执行安装调试或灾难恢复的生产环境 OpenShift Container Platform 集群,请指定 ssh-agent 进程使用的 SSH 密钥。

例如, sshKey: ssh-ed25519 AAAA...

表 3.3. 集群的其他 Red Hat Virtualization(RHV)参数

参数描述

platform.ovirt.ovirt_cluster_id

必需。创建虚拟机的集群。

字符串。例如:68833 f9f-e89c-4891-b768-e2ba0815b76b

platform.ovirt.ovirt_storage_domain_id

必需。创建虚拟机磁盘的存储域 ID。

字符串。例如: ed7b0f4e-0e96-492a-8fff-279213ee1468

platform.ovirt.ovirt_network_name

必需。创建 VM nics 的网络名称。

字符串。例如: ocpcluster

platform.ovirt.vnicProfileID

必需。VM 网络接口的 vNIC 配置集 ID。如果集群网络只有一个配置集,则可以推断出这个值。

字符串。例如: 3fa86930-0be5-4052-b667-b79f0a729692

platform.ovirt.api_vip

必需。分配给 API 虚拟 IP(VIP)的机器网络上的 IP 地址。您可以在此端点访问 OpenShift API。

字符串。示例: 10.46.8.230

platform.ovirt.ingress_vip

必需。分配给 Ingress 虚拟 IP(VIP)的机器网络上的 IP 地址。

字符串。示例: 10.46.8.232

表 3.4. 机器池的其他 RHV 参数

参数描述

<machine-pool>.platform.ovirt.cpu

可选。定义虚拟机的 CPU。

对象

<machine-pool>.platform.ovirt.cpu.cores

使用 <machine-pool>.platform.ovirt.cpu 时需要此项。内核数。虚拟 CPU 总数(vCPU)是内核 * 插槽。

整数

<machine-pool>.platform.ovirt.cpu.sockets

使用 <machine-pool>.platform.ovirt.cpu 时需要此项。每个内核的插槽数。虚拟 CPU 总数(vCPU)是内核 * 插槽。

整数

<machine-pool>.platform.ovirt.memoryMB

可选。MiB 中虚拟机的内存。

整数

<machine-pool>.platform.ovirt.instanceTypeID

可选。一个实例类型 UUID,如 00000009-0009-0009-0009-0000000000f1,它可以从 https://<engine-fqdn>/ovirt-engine/api/instancetypes 端点获得。

UUID 字符串

<machine-pool>.platform.ovirt.osDisk

可选。定义虚拟机的第一个和可引导磁盘。

字符串

<machine-pool>.platform.ovirt.osDisk.sizeGB

如果您使用 <machine-pool>.platform.ovirt.osDisk,则需要此操作。GiB 中磁盘的大小。

数字

<machine-pool>.platform.ovirt.vmType

可选。VM 工作负载类型,如 high-performanceserverdesktop

字符串

注意

您可以将 <machine-pool> 替换为 controlPlanecompute

3.5.10. 部署集群

您可以在兼容云平台中安装 OpenShift Container Platform。

重要

安装程序的 create cluster 命令只能在初始安装过程中运行一次。

先决条件

  • 配置托管集群的云平台的帐户。
  • 获取 OpenShift Container Platform 安装程序以及集群的 pull secret。

流程

  1. 运行安装程序:

    $ ./openshift-install create cluster --dir=<installation_directory> \ 1
        --log-level=info 2
    1
    对于 <installation_directory>,请指定自定义 ./install-config.yaml 文件的位置。
    2
    要查看不同的安装详情,请指定 warndebugerror,而不要指定 info
    注意

    如果您在主机上配置的云供应商帐户没有足够的权限来部署集群,安装过程将会停止,并且显示缺少的权限。

    集群部署完成后,终端会显示访问集群的信息,包括指向其 Web 控制台的链接和 kubeadmin 用户的凭证。

    重要

    安装程序生成的 Ignition 配置文件包含在 24 小时后过期的证书,然后在过期时进行续订。如果在更新证书前关闭集群,且集群在 24 小时后重启,集群会自动恢复过期的证书。一个例外情况是,您需要手动批准待处理的 node-bootstrapper 证书签名请求(CSR)来恢复 kubelet 证书。如需更多信息,请参阅从过期的 control plane 证书中恢复的文档。

    重要

    您不得删除安装程序或安装程序所创建的文件。需要这两者才能删除集群。

重要

您已完成了安装集群所需的步骤。余下的步骤演示了如何验证集群并对安装进行故障排除。

3.5.11. 通过下载二进制文件安装 CLI

您需要安装 CLI(oc) 来使用命令行界面与 OpenShift Container Platform 进行交互。您可在 Linux 、Windows 或 macOS 上安装 oc

重要

如果安装了旧版本的 oc,则无法使用 OpenShift Container Platform 4.5 中的所有命令。下载并安装新版本的 oc

3.5.11.1. 在 Linux 上安装 CLI

您可以按照以下流程在 Linux 上安装 OpenShift CLI(oc)二进制文件。

流程

  1. 访问 Red Hat OpenShift Cluster Manager 网站的 Infrastructure Provider 页面。
  2. 选择您的基础架构供应商及安装类型。
  3. Command-line interface 部分,从下拉菜单中选择 Linux,并点 Download command-line tools
  4. 解包存档:

    $ tar xvzf <file>
  5. oc 二进制代码放到 PATH 中的目录中。

    执行以下命令可以查看当前的 PATH 设置:

    $ echo $PATH

安装 CLI 后,就可以使用oc命令:

$ oc <command>

3.5.11.2. 在 Windows 上安装 CLI

您可以按照以下流程在 Windows 上安装 OpenShift CLI(oc)二进制代码。

流程

  1. 访问 Red Hat OpenShift Cluster Manager 网站的 Infrastructure Provider 页面。
  2. 选择您的基础架构供应商及安装类型。
  3. Command-line interface 部分,从下拉菜单中选择 Windows,点 Download command-line tools
  4. 使用 ZIP 程序解压存档。
  5. oc 二进制代码放到 PATH 中的目录中。

    要查看您的 PATH,请打开命令提示窗口并执行以下命令:

    C:\> path

安装 CLI 后,就可以使用oc命令:

C:\> oc <command>

3.5.11.3. 在 macOS 上安装 CLI

您可以按照以下流程在 macOS 上安装 OpenShift CLI(oc)二进制代码。

流程

  1. 访问 Red Hat OpenShift Cluster Manager 网站的 Infrastructure Provider 页面。
  2. 选择您的基础架构供应商及安装类型。
  3. Command-line interface 部分,从下拉菜单中选择 MacOS,并点 Download command-line tools
  4. 解包和解压存档。
  5. oc 二进制文件移到 PATH 的目录中。

    要查看您的 PATH,打开一个终端窗口并执行以下命令:

    $ echo $PATH

安装 CLI 后,就可以使用oc命令:

$ oc <command>

3.5.12. 登录集群

您可以通过导出集群 kubeconfig 文件,以默认系统用户身份登录集群。kubeconfig 文件包含关于集群的信息,供 CLI 用于将客户端连接到正确集群和 API 服务器。该文件特只适用于一个特定的集群,在 OpenShift Container Platform 安装过程中创建。

先决条件

  • 部署一个 OpenShift Container Platform 集群。
  • 安装 oc CLI。

流程

  1. 导出 kubeadmin 凭证:

    $ export KUBECONFIG=<installation_directory>/auth/kubeconfig 1
    1
    对于 <installation_directory>,请指定安装文件保存到的目录的路径。
  2. 使用导出的配置,验证能否成功运行 oc 命令:

    $ oc whoami

    输出示例

    system:admin

如需更多信息,请参阅 CLI 入门

3.5.13. 验证集群状态

您可以在安装过程中或安装后验证 OpenShift Container Platform 集群的状态:

流程

  1. 在集群环境中,导出管理员的 kubeconfig 文件:

    $ export KUBECONFIG=<installation_directory>/auth/kubeconfig 1
    1
    对于 <installation_directory>,请指定安装文件保存到的目录的路径。

    kubeconfig 文件包含关于集群的信息,供 CLI 用于将客户端连接到正确集群和 API 服务器。

  2. 查看部署后创建的 control plane 和计算机器:

    $ oc get nodes
  3. 查看集群的版本:

    $ oc get clusterversion
  4. 查看 Operator 的状态:

    $ oc get clusteroperator
  5. 查看集群中的所有正在运行的 pod:

    $ oc get pods -A

故障排除

如果安装失败,安装程序会超时并显示出错信息。如需了解更多相关信息,请参阅 故障排除安装问题

3.5.14. 访问 RHV 上的 OpenShift Container Platform Web 控制台。

在 OpenShift Container Platform 集群初始化完成后,您可以登陆到 OpenShift Container Platform web 控制台。

流程

  1. 可选: 在 Red Hat Virtualization (RHV) 管理门户中,打开 ComputeCluster
  2. 验证安装程序是否创建了虚拟机。
  3. 返回到安装程序正在运行的命令行。当安装程序完成后,它会显示登录到 OpenShift Container Platform Web 控制台的用户名和临时密码。
  4. 在浏览器中,打开 OpenShift Container Platform web 控制台的 URL。URL 使用以下格式:

    console-openshift-console.apps.<clustername>.<basedomain> 1
    1
    对于 <clustername>.<baseDomain>,请指定集群名称和基域。

    例如:

    console-openshift-console.apps.my-cluster.virtlab.example.com

3.5.15. 在 Red Hat Virtualization (RHV) 上安装时的常见问题

以下是您可能会遇到的一些常见问题,以及推荐的原因和解决方案。

3.5.15.1. CPU 负载增加和节点进入非就绪状态

  • 症状: CPU 负载显著增加,节点开始处于 Not Ready 状态。
  • 原因: 存储域延迟可能太大,特别是针对 master 节点。
  • 解决方案:

    通过重启 kubelet 服务使节点再次就绪。输入:

    $ systemctl restart kubelet

    检查 OpenShift Container Platform 指标服务,该服务可自动收集并报告一些重要数据,如 etcd 磁盘同步持续时间。如果集群是可操作的,使用这个数据来帮助确定这个问题是否是因为存储延迟或吞吐量造成的。如果是这样,请考虑使用一个较低延迟和更高吞吐量的存储资源。

    要获得原始指标,请以 kubeadmin 或具有 cluster-admin 特权的用户身份输入以下命令:

    $ oc get --insecure-skip-tls-verify --server=https://localhost:<port> --raw=/metrics`

    如需了解更多相关信息,请参阅 使用 OpenShift 4.x 调试应用程序端点

3.5.15.2. 连接到 OpenShift Container Platform 集群 API 存在问题

  • 症状: 安装程序完成,但无法使用 OpenShift Container Platform 集群 API。在 bootstrap 过程完成后,bootstrap 虚拟机仍处于在线状态。当您输入以下命令时,回复会超时。

    $ oc login -u kubeadmin -p *** <apiurl>
  • 原因: 安装程序没有删除 bootstrap VM,因此没有释放集群的 API IP 地址。
  • 解决方法:使用 wait-for 子命令,在 bootstrap 过程完成后获得通知:

    $ ./openshift-install wait-for bootstrap-complete

    当 bootstrap 过程完成后,删除 bootstrap 虚拟机:

    $ ./openshift-install destroy bootstrap

3.5.16. 安装后的任务

在 OpenShift Container Platform 集群初始化后,您可以执行以下任务。

  • 可选: 在部署后,使用 OpenShift Container Platform 中的 Machine Config Operator (MCO) 添加或替换 SSH 密钥。
  • 可选:删除 kubeadmin 用户。使用身份验证提供程序创建具有 cluster-admin 权限的用户。

3.5.17. 后续步骤

3.6. 在 RHV 上卸载集群

您可以从 Red Hat Virtualization (RHV) 中删除 OpenShift Container Platform 集群。

3.6.1. 删除使用安装程序置备的基础架构的集群

您可以从云中删除使用安装程序置备的基础架构的集群。

注意

卸载后,检查云供应商是否有没有被正确移除的资源,特别是 User Provisioned Infrastructure(UPI)集群。可能存在安装程序没有创建的资源,或者安装程序无法访问的资源。

先决条件

  • 有部署集群时所用的安装程序副本。
  • 有创建集群时安装程序所生成的文件。

流程

  1. 在用来安装集群的计算机中运行以下命令:

    $ ./openshift-install destroy cluster \
    --dir=<installation_directory> --log-level=info 1 2
    1
    对于 <installation_directory>,请指定安装文件保存到的目录的路径。
    2
    要查看不同的详情,请指定 warndebugerror,而不要指定 info
    注意

    您必须为集群指定包含集群定义文件的目录。安装程序需要此目录中的 metadata.json 文件来删除集群。

  2. 可选:删除 <installation_directory> 目录和 OpenShift Container Platform 安装程序。

法律通告

Copyright © 2021 Red Hat, Inc.
The text of and illustrations in this document are licensed by Red Hat under a Creative Commons Attribution–Share Alike 3.0 Unported license ("CC-BY-SA"). An explanation of CC-BY-SA is available at http://creativecommons.org/licenses/by-sa/3.0/. In accordance with CC-BY-SA, if you distribute this document or an adaptation of it, you must provide the URL for the original version.
Red Hat, as the licensor of this document, waives the right to enforce, and agrees not to assert, Section 4d of CC-BY-SA to the fullest extent permitted by applicable law.
Red Hat, Red Hat Enterprise Linux, the Shadowman logo, the Red Hat logo, JBoss, OpenShift, Fedora, the Infinity logo, and RHCE are trademarks of Red Hat, Inc., registered in the United States and other countries.
Linux® is the registered trademark of Linus Torvalds in the United States and other countries.
Java® is a registered trademark of Oracle and/or its affiliates.
XFS® is a trademark of Silicon Graphics International Corp. or its subsidiaries in the United States and/or other countries.
MySQL® is a registered trademark of MySQL AB in the United States, the European Union and other countries.
Node.js® is an official trademark of Joyent. Red Hat is not formally related to or endorsed by the official Joyent Node.js open source or commercial project.
The OpenStack® Word Mark and OpenStack logo are either registered trademarks/service marks or trademarks/service marks of the OpenStack Foundation, in the United States and other countries and are used with the OpenStack Foundation's permission. We are not affiliated with, endorsed or sponsored by the OpenStack Foundation, or the OpenStack community.
All other trademarks are the property of their respective owners.