在 RHV 上安装

OpenShift Container Platform 4.4

安装 OpenShift Container Platform RHV 集群

Red Hat OpenShift Documentation Team

摘要

本文档提供在 Red Hat Virtualization 上安装和卸载 OpenShift Container Platform 集群的说明。

第 1 章 在 RHV 上安装

1.1. 在 RHV 中创建自定义虚拟机模板

在 Red Hat Virtualization (RHV) 环境上安装 OpenShift Container Platform 集群前,您需要创建一个自定义虚拟机模板并配置您的环境,以便安装程序使用该模板。

重要

为 RHV 创建自定义虚拟机模板是为了解决已知问题(BZ#1818577)。如果没有创建自定义虚拟机,则安装 OpenShift Container Platform 集群将失败。

先决条件

1.1.1. 将特定 RHCOS 镜像下载到 RHV Manager 机器

将特定的 Red Hat Enterprise Linux CoreOS (RHCOS) 镜像下载到 Red Hat Virtualization (RHV) Manager 机器。

重要

不要将这些指令中指定的 RHCOS 镜像替换为其他镜像。

流程

  1. 打开一个 RHV Manager 机器的终端会话。例如,如果您作为自承载引擎运行 Manager:

    1. 进入 RHV 管理门户,然后进入 ComputeVirtual Machines 页面。
    2. 选择 HostedEngine 虚拟机并点击 Console
  2. 在 Manager 的命令行中,创建一个工作目录并进行修改。

    $ mkdir rhcos
    $ cd rhcos
  3. 在一个浏览器中,访问 https://github.com/openshift/installer/blob/release-4.4/data/data/rhcos.json
  4. rhcos.json中,找到 baseURI 并复制它的值。
  5. 在 Manager 中,启动一个 wget 命令并粘贴baseURI 的值,但不要按Enter。例如:

    $ wget https://releases-art-rhcos.svc.ci.openshift.org/art/storage/releases/rhcos-4.4/44.81.202003062006-0/x86_64/
  6. rhcos.json 文档中,找到 openstack 并复制 path 值。
  7. 在 Manager 中粘贴 path 值。例如:

    $ wget https://releases-art-rhcos.svc.ci.openshift.org/art/storage/releases/rhcos-4.4/44.81.202003062006-0/x86_64/rhcos-44.81.202003062006-0-openstack.x86_64.qcow2.gz
  8. Enter 并等待 wget 完成下载 RHCOS 镜像。
  9. 解压 RHCOS 镜像。例如:

    $ gunzip rhcos*

1.1.2. 使用 Ansible playbook 将 RHCOS 镜像上传到数据存储域

使用 Ansible playbook 将 Red Hat Enterprise Linux CoreOS (RHCOS) 镜像上传到数据存储域。

流程

  1. 在 Red Hat Virtualization (RHV) Manager 上创建 Ansible playbook 文件 upload_rhcos_disk.yaml。例如:

    $ vi upload_rhcos_disk.yaml
  2. 访问红帽客户门户网站中的这个文件
  3. 将它的内容粘贴到您的 playbook 中。
  4. 在 playbook 中,更新带有 callouts 的参数值。

    - hosts: localhost
      gather_facts: no
      tasks:
        - name: Authenticate with engine
          ovirt_auth:
            url: https://<virtlab.example.com>/ovirt-engine/api 1
            username: <username@profile> 2
            password: <password> 3
            insecure: yes
    
        - name: Upload RHCOS image
          ovirt_disk:
            auth: "{{ ovirt_auth }}"
            name: <rhcos_44-81_img-diskname> 4
            size: 120GiB 5
            interface: virtio_scsi
            storage_domain: <SSD_RAID_10> 6
            bootable: yes
            timeout: 3600 7
            upload_image_path: </custom/rhcos-44.81.202003110027-0-openstack.x86_64.qcow2> 8
            wait: yes
    1
    对于 <virtlab.example.com>,请指定 RHV Manager 的完全限定域名(FQDN)。
    2
    对于 <username@profile>,请指定 admin 用户名和档案。
    3
    对于 <password>,请指定管理员密码。
    4
    对于 <rhcos_44-81_img-diskname>,请指定一个磁盘名称。
    5
    对于生产环境,指定 120GiB 或更多。对于有资源限制或非生产环境,请指定 32GiB 或更多。
    6
    对于 <SSD_RAID_10>,请指定数据存储域名。
    7
    以秒为单位指定超时时间,以使您的 RHV 环境有足够的时间将 2.4 GB 镜像上传到存储中。默认值为 3600 秒(一小时)。
    8
    对于 </custom/rhcos-44.81.202003110027-0-openstack.x86_64.qcow2>,请指定镜像路径和文件名。
  5. 在 Manager 上,运行 Ansible playbook。例如:

    $ ansible-playbook rhcos_image.yaml -vvv
  6. 在管理门户中,进入 StorageDisks 页面,找到您在 playbook 中指定的磁盘名称。例如: rhcos_44-81_img-diskname
  7. 当磁盘状态是 OK时,代表 playbook 已完成将 RHCOS 镜像上传到存储域的操作。

1.1.3. 确定用于自定义虚拟机模板的资源

如果您计划 使用默认配置选项在 RHV 上快速安装集群,请跳至下一任务 ,将带有 RHCOS 镜像的虚拟磁盘附加到虚拟机

或者,如果您计划使用自定义配置在 RHV 上安装集群,请参考以下信息。

您可以自定义安装程序用来在 OpenShift Container Platform 集群中创建 control 和 compute 机器的虚拟机模板。您可以自定义模板,以便包括除默认虚拟 CPU、内存和存储资源以外的配置。您的自定义配置会同时用于 control 和 compute 机器,它们不能以不同的方式进行自定义。

过度分配资源可能会导致集群安装或操作失败。要避免资源过量分配,您必须确定每个虚拟机有多少资源可用: 请检查 Red Hat Virtualization (RHV) 集群中的资源并根据虚拟机的数量来划分这些资源。结果是您可以为每个资源分配的最大值。

流程

  1. 检查 RHV 集群中的可用资源。

    1. 访问 验证 RHV 环境的要求
    2. 记录存储的 Free SpaceLogical CPU CoresMax free Memory for scheduling new VMs 的值。
  2. 记录在 OpenShift Container Platform 集群中的虚拟机数量。

    • 默认情况下,集群包含七台机器。
    • 您还可以自定义机器数量,如 RHV 的安装配置参数中所述。为了考虑 bootstrap 机器,需要把配置文件中的机器数量加一。
  3. 根据虚拟机数量来划分每个资源。
  4. 记录这些值以便稍后使用。

1.1.4. 将虚拟磁盘与 RHCOS 镜像附加到虚拟机

将虚拟磁盘与 Red Hat Enterprise Linux CoreOS (RHCOS) 镜像附加到虚拟机。

流程

  1. 进入 ComputeVirtual Machines 页面,然后点击 New
  2. 在打开的 New Virtual MachineGeneral 窗口中,使用 Cluster 选择要创建 OpenShift Container Platform 集群的 RHV 集群。
  3. 不要更改 Template,选择 Blank
  4. Operating System 设置为 Red Hat Enterprise Linux CoreOS
  5. 不要修改 Optimized for,选择 Desktop
  6. Name 中指定虚拟机的名称。例如,vmname
  7. 对于 Instance Images,点 Attach
  8. 在打开的 Attach Virtual Disks 窗口中,找到您在 playbook 中指定的磁盘。例如: rhcos_44-81_img-diskname
  9. 点击这个磁盘的单选按钮。
  10. 为这个磁盘选择 OS。使这个磁盘可引导。
  11. OK 保存并关闭 Attach Virtual Disks 窗口。

1.1.5. 配置并创建虚拟机

继续配置虚拟机,然后创建它。

流程

  1. New Virtual MachineGeneral 窗口中,为 Instantiate VM network interfaces by picking a vNIC profile 下的每个 NIC 选择一个 vNIC 配置集。
  2. 进入 New Virtual MachineSystem 窗口。
  3. Memory Size 设置为16384 MB 或更大的值。这个默认值等于 16 GiB。您可以根据计算机器上预期的工作负载和可用的内存资源量来调整这个值。
  4. 因为一个已知问题 (bz#1821215),把 Physical Memory Guaranteed 设置为 8192 MB。这个值相当于 8 GiB。
  5. Total Virtual CPUs 设置为 4 或更大值。您可以根据计算机器上预期的工作负载以及可用的资源来调整这个值。
  6. 展开 Advanced Parameters
  7. Cores per Virtual Socket 的值设为 4 或一个更大的值,以使它和 Total Virtual CPUs 设置匹配。
  8. OK 保存并关闭 New Virtual Machine

    新的虚拟机会出现在 ComputeVirtual Machines 窗口中。因为虚拟机没有启动,因此它会很快出现。

1.1.6. 创建虚拟机模板

创建虚拟机模板。

流程

  1. 选择新虚拟机。
  2. 在管理门户窗口右上角,点击 More actions 菜单,然后选择 Make Template
  3. 新建模板 窗口中,为 Name指定值。例如: vm-tmpltname
  4. 验证 Target 和其他参数值是否正确,并反映了您之前的选择。
  5. 确认 Seal Template (Linux only)没有被选择
  6. 点击 OK
  7. 前往 ComputeTemplates 页面并等待模板的创建。

1.1.7. 导出一些环境变量

重要

使用这些环境变量来自定义安装是临时解决已知问题(BZ#1818577)的方法。以后的发行版本中可能会删除这部分内容。

  1. 决定在虚拟机设置中的 MemoryTotal Virtual CPUs 的值。
  2. 在安装机器的命令行中运行以下环境变量。
$ export OPENSHIFT_INSTALL_OS_IMAGE_OVERRIDE=<vm-tmpltname> 1
$ export TF_VAR_ovirt_template_mem=<mem-value> 2
$ export TF_VAR_ovirt_template_cpu=<cpu-value> 3
$ export TF_VAR_ovirt_master_mem=<mem-value> 4
$ export TF_VAR_ovirt_master_cpu=<cpu-value> 5
1
对于 <vm-tmpltname>,请指定您创建的模板的名称。
2 4
对于 <mem-value>,请指定虚拟机的内存值(单位为 MB)。例如,16384
3 5
对于 <cpu-value>,请指定虚拟机中 总计虚拟 CPU 的值。例如,4

例如:

$ export OPENSHIFT_INSTALL_OS_IMAGE_OVERRIDE=vm-tmpltname
$ export TF_VAR_ovirt_template_mem=16384
$ export TF_VAR_ovirt_template_cpu=4
$ export TF_VAR_ovirt_master_mem=16384
$ export TF_VAR_ovirt_master_cpu=4

1.2. 在 RHV 上快速安装集群

您可以快速地在 Red Hat Virtualization(RHV)集群中安装默认、非自定义的 OpenShift Container Platform 集群,如下图所示。

RHV 集群上的 OpenShift Container Platform 集群图

安装程序使用安装程序置备的基础架构自动创建和部署集群。

要安装默认集群,请准备环境,运行安装程序并根据提示提供相应信息。然后,安装程序会创建 OpenShift Container Platform 集群。

有关安装默认集群的其他方法,请参阅 使用自定义安装集群

注意

这个安装程序只适用于 Linux 和 macOS。

1.2.1. 先决条件

1.2.2. OpenShift Container Platform 对互联网和 Telemetry 的访问

在 OpenShift Container Platform 4.4 中,您需要访问互联网来安装集群。默认运行的 Telemetry 服务提供有关集群健康状况和成功更新的指标,这也需要访问互联网。如果您的集群连接到互联网,Telemetry 会自动运行,而且集群会注册到 Red Hat OpenShift Cluster Manager(OCM)。

确认 Red Hat OpenShift Cluster Manager 清单正确后,可以由 Telemetry 自动维护,也可以使用 OCM 手动维护,使用订阅监控 来跟踪帐户或多集群级别的 OpenShift Container Platform 订阅。

您必须具有以下互联网访问权限:

  • 访问 Red Hat OpenShift Cluster Manager 页面,以下载安装程序并执行订阅管理。如果集群可以访问互联网,并且没有禁用 Telemetry,该服务会自动授权您的集群。
  • 访问 Quay.io,以获取安装集群所需的软件包。
  • 获取执行集群更新所需的软件包。
重要

如果您的集群无法直接访问互联网,则可以在置备的某些类基础架构上执行受限网络安装。在此过程中,您要下载所需的内容,并使用它在镜像 registry(mirror registry) 中填充安装集群并生成安装程序所需的软件包。对于某些安装类型,集群要安装到的环境不需要访问互联网。在更新集群之前,要更新 registry 镜像系统中的内容。

1.2.3. RHV 环境的要求

要安装并运行 OpenShift Container Platform 集群,RHV 环境必须满足以下要求。不满足这些要求会导致问题。

对 CPU、内存和存储的以下要求是基于 默认值乘以安装程序创建的默认虚拟机的数量。

默认情况下,安装程序会在安装过程中创建七台机器,其中包括一台 bootstrap 机器。安装程序完成后,会删除 bootstrap 机器并释放其资源。如果执行自定义安装,可以增加安装程序创建的虚拟机数量。

重要

如果您在 install_config.yaml 文件中增加资源使用量或集群大小,请相应地提高这些要求。

要求

  • RHV 版本为 4.3.9 或者更新的版本。
  • RHV 环境有一个数据中心,其状态是 Up
  • RHV 数据中心包含一个 RHV 集群。
  • RHV 集群具有专门用于 OpenShift Container Platform 集群的以下资源:

    • 最小 28 个 vCPU,这是在安装过程中创建的七台虚拟机中的 4 个 vCPU。
    • 112 GiB RAM 或更多,包括:

      • 16 GiB 或更多用于提供临时 control plane 功能的 bootstrap 机器。
      • 每个提供 control plane 功能的三台 control plane 机器都需要16 GiB 或更多。
      • 每个用来运行应用程序负载的 compute 机器都需要 16 GiB 或更多。
  • RHV 存储域必须满足 etcd 后端性能要求
  • 在生产环境中,每个虚拟机必须具有 120 GiB 或更多存储,因此 OpenShift Container Platform 集群存储域必须具有 840 GiB 或更多存储 。在资源有限制或非生产环境中,每个虚拟机必须具有 32 GiB 或更多存储,因此 OpenShift Container Platform 集群存储域必须具有 230 GiB 或更多存储 。
  • RHV 集群必须可访问互联网连接,以便在安装和更新过程中从红帽生态系统目录下载镜像,也可让 Telemetry 服务简化订阅和权利过程。
  • RHV 集群有一个虚拟网络,可访问 RHV Manager 上的 REST API。
注意
  • 主机还必须拥有所需的内存和 CPU 资源 以满足它们用于操作或提供给非 OpenShift Container Platform 操作的资源要求
  • OpenShift Container Platform 和 RHV 的发行周期不同,今后测试的版本会根据两个产品的发行日期的不同而有所不同。
  • 在安装程序创建 OpenShift Container Platform 集群时,bootstrap 机器会临时提供 control plane 的功能。在创建集群后,安装程序会删除 bootstrap 机器并释放它占用的资源。

1.2.4. 验证 RHV 环境的要求

验证 RHV 环境是否满足安装和运行 OpenShift Container Platform 集群的要求。不满足这些要求会导致问题。

重要

这些要求基于安装程序用来创建 control plane 和计算机器的默认资源。这些资源包括 vCPU、内存和存储。如果更改这些资源或增加 OpenShift Container Platform 机器的数量,请相应调整这些要求。

流程

  1. 检查 RHV 版本。

    1. 在 RHV 管理门户中,点右上角的 ? 帮助图表,选 About
    2. 在打开的窗口中,确认 RHV Software Version4.3.9 或更新版本。
  2. 检查数据中心、集群和存储。

    1. 在 RHV 管理门户中,点 ComputeData Centers
    2. 确认您要安装 OpenShift Container Platform 的数据中心显示绿色上箭头,代表已上线。
    3. 点击该数据中心的名称。
    4. 在数据中心详情中,存储 标签中确认您要安装 OpenShift Container Platform 的存储域是 Active
    5. 记录下域名以供以后使用。
    6. 确认 Free Space 至少为 230 GiB。
    7. 确认存储域满足了 这些 etcd 后端性能要求,可 使用 FIO 性能基准工具来测量
    8. 在数据中心详情中点击 Clusters 选项卡。
    9. 找到您要安装 OpenShift Container Platform 的 RHV 集群。记录集群名称,以供稍后使用。
  3. 检查 RHV 主机资源。

    1. 在 RHV 管理门户中,点 Compute > Clusters
    2. 点击要安装 OpenShift Container Platform 的集群。
    3. 在集群详情中点击 Hosts 标签页。
    4. 检查主机,确认这些主机有至少 28 个 逻辑 CPU 内核专门 用于 OpenShift Container Platform 集群。
    5. 记录逻辑 CPU 内核数以供稍后使用。
    6. 请确认这些 CPU 内核被正确分配,在安装过程中创建的七台虚拟机中的每一台都可以有四个内核。
    7. 确认主机总共有 112 GiB 的 Max free Memory for scheduling new VMs 值,以满足以下每个 OpenShift Container Platform 机器的要求:

      • bootstrap 机器需要 16 GiB
      • 三个 control plane 机器每个机器都需要 16 GiB
      • 三个计算机器每个机器都需要 16 GiB
    8. 记录下 Max free Memory for scheduling new VMs 的值以便稍后使用。
  4. 验证安装 OpenShift Container Platform 的虚拟网络能否访问 RHV Manager 的 REST API。在这个网络上的虚拟机上,使用带 RHV Manager REST API 的 curl 命令。使用以下命令:

    curl -k -u <username>@<profile>:<password> \ 1
    https://<engine-fqdn>/ovirt-engine/api 2
    1
    对于 <username>,请指定 RHV 管理员的用户名。对于 <profile>,请指定登录配置集,您可以登陆到 RHV 管理门户查看 Profile 下拉列表。对于 <password>,请指定管理员密码。
    2
    对于 <engine-fqdn>,请指定 RHV 环境的完全限定域名。

    例如:

    $ curl -k -u rhvadmin@internal:pw123 \
    https://rhv-env.virtlab.example.com/ovirt-engine/api

1.2.5. 在 RHV 中准备网络环境

为 OpenShift Container Platform 集群配置三个静态 IP 地址,并使用其中两个地址创建 DNS 条目。

流程

  1. 保留三个静态 IP 地址

    1. 在您要安装 OpenShift Container Platform 的网络上,标识 DHCP 租期池之外的三个静态 IP 地址。
    2. 连接到此网络中的主机,并确认每个 IP 地址都没有被使用。例如,使用地址解析协议(ARP)检查 IP 地址是否有条目:

      $ arp 10.35.1.19
      10.35.1.19 (10.35.1.19) -- no entry
    3. 为您的网络环境保留三个静态 IP 地址。
    4. 记录这些 IP 地址以备将来参考。
  2. 为 OpenShift Container Platform REST API 创建 DNS 条目,并使用以下格式应用域名:

    api.<cluster-name>.<base-domain>   <ip-address> 1
    *.apps.<cluster-name>.<base-domain>   <ip-address> 2
    1
    对于 <cluster-name><base-domain><ip-address>,请指定 OpenShift Container Platform API 的集群名称、基域和静态 IP 地址。
    2
    指定 Ingress 和负载均衡器的 OpenShift Container Platform 应用程序的集群名称、基域和静态 IP 地址。

    例如:

    api.my-cluster.virtlab.example.com	10.35.1.19
    *.apps.my-cluster.virtlab.example.com	10.35.1.20
    注意

    第三个静态 IP 地址不需要 DNS 条目。OpenShift Container Platform 集群将该地址用于其内部 DNS 服务。

1.2.6. 为 RHV 设置 CA 证书

从 Red Hat Virtualization (RHV) Manager 下载 CA 证书,并在安装机器中进行设置。

您可以使用 RHV Manager 的网页或使用 curl 命令下载该证书。

之后,您向安装程序提供证书。

流程

  1. 使用这两个方法之一下载 CA 证书:

    • 进入 Manager 网页 https://<engine-fqdn>/ovirt-engine/。然后在 下载 中点击 CA 证书 链接。
    • 运行以下命令:

      $ curl -k 'https://<engine-fqdn>/ovirt-engine/services/pki-resource?resource=ca-certificate&format=X509-PEM-CA' -o /tmp/ca.pem  1
      1
      对于 <engine-fqdn>,请指定 RHV Manager 的全限定域名,如 rhv-env.virtlab.example.com
  2. 配置 CA 文件,为 Manager 授予无根用户访问权限。将 CA 文件权限设置为 0644 (symbolic 值: -rw-r—​r--):

    $ sudo chmod 0644 /tmp/ca.pem
  3. 对于 Linux,将 CA 证书复制到服务器证书目录中。使用 -p 保留权限:

    $ sudo cp -p /tmp/ca.pem /etc/pki/ca-trust/source/anchors/ca.pem
  4. 将证书添加到您操作系统的证书管理器:

    • 对于 macOS,请双击这个证书文件,并使用 Keychain Access 程序将该文件添加到 System 密钥链中。
    • 对于 Linux,更新 CA 信任:

      $ sudo update-ca-trust
      注意

      如果使用您自己的证书认证机构,请确定系统信任它。

其它资源

如需了解更多相关信息,请参阅 RHV 文档中的 身份验证及安全性

1.2.7. 生成 SSH 私钥并将其添加到代理中

如果要在集群上执行安装调试或灾难恢复,则必须为 ssh-agent 和安装程序提供 SSH 密钥。您可以使用此密钥访问公共集群中的 bootstrap 机器来排除安装问题。

注意

在生产环境中,您需要进行灾难恢复和调试。

您可以使用此密钥以 core 用户身份通过 SSH 连接到 master 节点。在部署集群时,此密钥会添加到 core 用户的 ~/.ssh/authorized_keys 列表中。

注意

您必须使用一个本地密钥,而不要使用在特定平台上配置的密钥,如 AWS 密钥对

流程

  1. 如果还没有为计算机上免密码身份验证而配置的 SSH 密钥,请创建一个。例如,在使用 Linux 操作系统的计算机上运行以下命令:

    $ ssh-keygen -t ed25519 -N '' \
        -f <path>/<file_name> 1
    1
    指定 SSH 密钥的路径和文件名,如 ~/.ssh/id_rsa。不要指定已存在的 SSH 密钥,因为它会被覆盖。

    运行此命令会在指定的位置生成不需要密码的 SSH 密钥。

  2. 作为后台任务启动 ssh-agent 进程:

    $ eval "$(ssh-agent -s)"
    
    Agent pid 31874
  3. 将 SSH 私钥添加到 ssh-agent

    $ ssh-add <path>/<file_name> 1
    
    Identity added: /home/<you>/<path>/<file_name> (<computer_name>)
    1
    指定 SSH 私钥的路径和文件名,如 ~/.ssh/id_rsa

后续步骤

  • 在安装 OpenShift Container Platform 时,为安装程序提供 SSH 公钥。

1.2.8. 获取安装程序

在安装 OpenShift Container Platform 之前,将安装文件下载到本地计算机上。

先决条件

  • 必须从使用 Linux 或 macOS 的计算机安装集群。
  • 需要 500 MB 本地磁盘空间来下载安装程序。

流程

  1. 访问 Red Hat OpenShift Cluster Manager 网站的 Infrastructure Provider 页面。如果您有红帽帐号,请使用自己的凭证登录。如果没有,请创建一个帐户。
  2. 进入适用于您的安装类型的页面,下载您的操作系统的安装程序,并将文件放在要保存安装配置文件的目录中。。

    重要

    安装程序会在用来安装集群的计算机上创建若干文件。在完成集群安装后,您必须保留安装程序和安装程序所创建的文件。

    重要

    删除安装程序创建的文件不会删除您的集群,即使集群在安装过程中失败也是如此。您必须完成针对特定云供应商的 OpenShift Container Platform 卸载流程,才能完全删除您的集群。

  3. 提取安装程序。例如,在使用 Linux 操作系统的计算机上运行以下命令:

    $ tar xvf <installation_program>.tar.gz
  4. 在 Red Hat OpenShift Cluster Manager 站点的 Pull Secret 页面中,下载您的安装 pull secret 的 .txt 文件。通过此 pull secret,您可以进行所含授权机构提供的服务的身份验证,这些服务包括为 OpenShift Container Platform 组件提供容器镜像的 Quay.io。

1.2.9. 部署集群

您可以在兼容云平台中安装 OpenShift Container Platform。

重要

安装程序的 create cluster 命令只能在初始安装过程中运行一次。

先决条件

  • 配置托管集群的云平台的帐户。
  • 获取 OpenShift Container Platform 安装程序以及集群的 pull secret。

流程

  1. 运行安装程序:

    $ sudo ./openshift-install create cluster --dir=<installation_directory> \ 1
        --log-level=info 2
    1
    对于 <installation_directory>,请指定用于保存安装程序所创建的文件的目录名称。
    2
    要查看不同的安装详情,请指定 warndebugerror,而不要指定 info
    重要

    指定一个空目录。一些安装信息,如 bootstrap X.509 证书,有较短的过期间隔,因此不要重复使用安装目录。如果要重复使用另一个集群安装中的个别文件,可以将其复制到您的目录中。但是,一些安装数据的文件名可能会在发行版本之间有所改变。从 OpenShift Container Platform 老版本中复制安装文件时要格外小心。

    根据安装程序提示输入相关的值。

    1. 可选: SSH Public Key,请选择无密码公钥,如 ~/.ssh/id_rsa.pub。这个密钥被用来验证与新的 OpenShift Container Platform 集群的连接。

      注意

      如果您要在生产环境中执行安装调试或灾难恢复,请指定 ssh-agent 进程需要使用的 SSH 密钥。

    2. 对于 Platform,选择 ovirt
    3. 对于 Enter oVirt’s API endpoint URL,使用以下格式输入 RHV API 的 URL:

      https://<engine-fqdn>/ovirt-engine/api 1
      1
      对于 <engine-fqdn>,请指定 RHV 环境的完全限定域名。

      例如:

      https://rhv-env.virtlab.example.com/ovirt-engine/api
    4. 对于 Is the installed oVirt certificate trusted?,输入 Yes,因为您已设置了一个 CA 证书。否则,请输入 No
    5. 对于 oVirt 的 CA bundle,如果您为前一个问题输入的是 Yes,请从 /etc/pki/ca-trust/source/anchors/ca.pem 中复制证书内容并粘贴到这里。然后按两次 Enter 键。如果您就前一个问题输入 No,则不会出现这个问题。
    6. 对于 Enter the oVirt engine username,请使用以下格式输入 RHV 管理员的用户名和密码:

      <username>@<profile> 1
      1
      对于 <username>,请指定 RHV 管理员的用户名。对于 <profile>,请指定登录配置集,您可以登陆到 RHV 管理门户查看 Profile 下拉列表。用户名和配置集应与以下示例相似:
      admin@internal
    7. 对于 Enter password,请输入 RHV 管理密码。
    8. 对于Select the oVirt cluster,请选择用于安装 OpenShift Container Platform 的集群。
    9. 对于 Select the oVirt storage domain,请选择安装 OpenShift Container Platform 的存储域。
    10. 对于Select the oVirt network,请选择可访问 RHV Manager REST API 的虚拟网络。
    11. 对于 Enter the internal API Virtual IP,请为集群的 REST API 输入您设置的静态 IP 地址。
    12. 对于 Enter the internal DNS Virtual IP,请为集群的内部 DNS 服务输入您设置的静态 IP 地址。
    13. 对于 Enter the ingress IP,请为通配符应用程序域输入您保留的静态 IP 地址。
    14. 对于 Base domain,请输入 OpenShift Container Platform 集群的基域。如果这个群集暴露于外部世界,这必须是 DNS 基础结构可识别的有效域。例如: 输入 virtlab.example.com
    15. 对于 Cluster name,请输入集群名称。例如: my-cluster。使用您为 OpenShift Container Platform REST API 创建的外部注册/可解析 DNS 条目的集群名称,以及应用域名。安装程序也将此名称提供给 RHV 环境中的集群。
    16. 对于 Pull secret,请从之前下载并粘贴的 pull-secret.txt 文件中复制 pull secret。您也可以从 Red Hat OpenShift Cluster Manager 站点的Pull Secret 页面中下载这个 pull secret。
    注意

    如果您在主机上配置的云供应商帐户没有足够的权限来部署集群,安装过程将会停止,并且显示缺少的权限。

    集群部署完成后,终端会显示访问集群的信息,包括指向其 Web 控制台的链接和 kubeadmin 用户的凭证。

    重要

    安装程序生成的 Ignition 配置文件包含在 24 小时后过期的证书,然后在过期时进行续订。如果在更新证书前关闭集群,且集群在 24 小时后重启,集群会自动恢复过期的证书。一个例外情况是,您需要手动批准待处理的 node-bootstrapper 证书签名请求(CSR)来恢复 kubelet 证书。如需更多信息,请参阅从过期的 control plane 证书中恢复的文档。

    重要

    您不得删除安装程序或安装程序所创建的文件。需要这两者才能删除集群。

重要

您已完成了安装集群所需的步骤。余下的步骤演示了如何验证集群并对安装进行故障排除。

第 2 章 通过下载二进制文件安装 CLI

您需要安装 CLI(oc) 来使用命令行界面与 OpenShift Container Platform 进行交互。您可在 Linux 、Windows 或 macOS 上安装 oc

重要

如果安装了旧版本的 oc,则无法使用 OpenShift Container Platform 4.4 中的所有命令。下载并安装新版本的 oc

2.1. 在 Linux 上安装 CLI

您可以按照以下流程在 Linux 上安装 OpenShift CLI(oc)二进制文件。

流程

  1. 访问 Red Hat OpenShift Cluster Manager 网站的 Infrastructure Provider 页面。
  2. 选择您的基础架构供应商及安装类型。
  3. Command-line interface 部分,从下拉菜单中选择 Linux,并点 Download command-line tools
  4. 解包存档:

    $ tar xvzf <file>
  5. oc 二进制代码放到 PATH 中的目录中。

    执行以下命令可以查看当前的 PATH 设置:

    $ echo $PATH

安装 CLI 后,就可以使用oc命令:

$ oc <command>

2.2. 在 Windows 上安装 CLI

您可以按照以下流程在 Windows 上安装 OpenShift CLI(oc)二进制代码。

流程

  1. 访问 Red Hat OpenShift Cluster Manager 网站的 Infrastructure Provider 页面。
  2. 选择您的基础架构供应商及安装类型。
  3. Command-line interface 部分,从下拉菜单中选择 Windows,点 Download command-line tools
  4. 使用 ZIP 程序解压存档。
  5. oc 二进制代码放到 PATH 中的目录中。

    要查看您的 PATH,请打开命令提示窗口并执行以下命令:

    C:\> path

安装 CLI 后,就可以使用oc命令:

C:\> oc <command>

2.3. 在 macOS 上安装 CLI

您可以按照以下流程在 macOS 上安装 OpenShift CLI(oc)二进制代码。

流程

  1. 访问 Red Hat OpenShift Cluster Manager 网站的 Infrastructure Provider 页面。
  2. 选择您的基础架构供应商及安装类型。
  3. Command-line interface 部分,从下拉菜单中选择 MacOS,并点 Download command-line tools
  4. 解包和解压存档。
  5. oc 二进制文件移到 PATH 的目录中。

    要查看您的 PATH,打开一个终端窗口并执行以下命令:

    $ echo $PATH

安装 CLI 后,就可以使用oc命令:

$ oc <command>

如需更多信息,请参阅 CLI 入门

第 3 章 登录集群

您可以通过导出集群 kubeconfig 文件,以默认系统用户身份登录集群。kubeconfig 文件包含关于集群的信息,供 CLI 用于将客户端连接到正确集群和 API 服务器。该文件特只适用于一个特定的集群,在 OpenShift Container Platform 安装过程中创建。

先决条件

  • 部署一个 OpenShift Container Platform 集群。
  • 安装 oc CLI。

流程

  1. 导出 kubeadmin 凭证:

    $ export KUBECONFIG=<installation_directory>/auth/kubeconfig 1
    1
    对于 <installation_directory>,请指定安装文件保存到的目录的路径。
  2. 使用导出的配置,验证能否成功运行 oc 命令:

    $ oc whoami
    system:admin

3.1. 验证集群状态

您可以在安装过程中或安装后验证 OpenShift Container Platform 集群的状态:

流程

  1. 在集群环境中,导出管理员的 kubeconfig 文件:

    $ export KUBECONFIG=<installation_directory>/auth/kubeconfig 1
    1
    对于 <installation_directory>,请指定安装文件保存到的目录的路径。

    kubeconfig 文件包含关于集群的信息,供 CLI 用于将客户端连接到正确集群和 API 服务器。

  2. 查看部署后创建的 control plane 和计算机器:

    $ oc get nodes
  3. 查看集群的版本:

    $ oc get clusterversion
  4. 查看 Operator 的状态:

    $ oc get clusteroperator
  5. 查看集群中的所有正在运行的 pod:

    $ oc get pods -A

故障排除

如果安装失败,安装程序会超时并显示出错信息。如需了解更多相关信息,请参阅 故障排除安装问题

3.2. 访问 RHV 上的 OpenShift Container Platform Web 控制台。

在 OpenShift Container Platform 集群初始化完成后,您可以登陆到 OpenShift Container Platform web 控制台。

流程

  1. 可选: 在 Red Hat Virtualization (RHV) 管理门户中,打开 ComputeCluster
  2. 验证安装程序是否创建了虚拟机。
  3. 返回到安装程序正在运行的命令行。当安装程序完成后,它会显示登录到 OpenShift Container Platform Web 控制台的用户名和临时密码。
  4. 在浏览器中,打开 OpenShift Container Platform web 控制台的 URL。URL 使用以下格式:

    console-openshift-console.apps.<clustername>.<basedomain> 1
    1
    对于 <clustername>.<baseDomain>,请指定集群名称和基域。

    例如:

    console-openshift-console.apps.my-cluster.virtlab.example.com

3.3. 在 Red Hat Virtualization (RHV) 上安装时的常见问题

以下是您可能会遇到的一些常见问题,以及推荐的原因和解决方案。

3.3.1. CPU 负载增加和节点进入非就绪状态

  • 症状: CPU 负载显著增加,节点开始处于 Not Ready 状态。
  • 原因: 存储域延迟可能太大,特别是针对 master 节点。
  • 解决方案:

    通过重启 kubelet 服务使节点再次就绪。输入:

    $ systemctl restart kubelet

    检查 OpenShift Container Platform 指标服务,该服务可自动收集并报告一些重要数据,如 etcd 磁盘同步持续时间。如果集群是可操作的,使用这个数据来帮助确定这个问题是否是因为存储延迟或吞吐量造成的。如果是这样,请考虑使用一个较低延迟和更高吞吐量的存储资源。

    要获得原始指标,请以 kubeadmin 或具有 cluster-admin 特权的用户身份输入以下命令:

    $ oc get --insecure-skip-tls-verify --server=https://localhost:<port> --raw=/metrics`

    如需了解更多相关信息,请参阅 使用 OpenShift 4.x 调试应用程序端点

3.3.2. 连接到 OpenShift Container Platform 集群 API 存在问题

  • 症状: 安装程序完成,但无法使用 OpenShift Container Platform 集群 API。在 bootstrap 过程完成后,bootstrap 虚拟机仍处于在线状态。当您输入以下命令时,回复会超时。

    $ oc login -u kubeadmin -p *** <apiurl>
  • 原因: 安装程序没有删除 bootstrap VM,因此没有释放集群的 API IP 地址。
  • 解决方法:使用 wait-for 子命令,在 bootstrap 过程完成后获得通知:

    $ ./openshift-install wait-for bootstrap-complete

    当 bootstrap 过程完成后,删除 bootstrap 虚拟机:

    $ ./openshift-install destroy bootstrap

3.4. 安装后的任务

在 OpenShift Container Platform 集群初始化后,您可以执行以下任务。

  • 可选: 在部署后,使用 OpenShift Container Platform 中的 Machine Config Operator (MCO) 添加或替换 SSH 密钥。
  • 可选:删除 kubeadmin 用户。使用身份验证提供程序创建具有 cluster-admin 权限的用户。

3.5. 使用自定义在 RHV 上安装集群

您可以在 Red Hat Virtualization(RHV)上自定义并安装 OpenShift Container Platform 集群,如下图所示类似。

RHV 集群上的 OpenShift Container Platform 集群图

安装程序使用安装程序置备的基础架构自动创建和部署集群。

要安装自定义集群,请准备环境并执行以下步骤:

  1. 通过运行安装程序并根据提示提供信息来创建安装配置文件 install-config.yaml
  2. 检查并修改 install-config.yaml 文件中的参数。
  3. 生成 install-config.yaml 文件的一个工作副本。
  4. 在运行安装程序时,使用 install-config.yaml 文件的副本。

然后,安装程序会创建 OpenShift Container Platform 集群。

有关安装自定义集群的其他方案,请参阅 安装默认集群

注意

这个安装程序只适用于 Linux 和 macOS。

3.5.1. 先决条件

3.5.2. OpenShift Container Platform 对互联网和 Telemetry 的访问

在 OpenShift Container Platform 4.4 中,您需要访问互联网来安装集群。默认运行的 Telemetry 服务提供有关集群健康状况和成功更新的指标,这也需要访问互联网。如果您的集群连接到互联网,Telemetry 会自动运行,而且集群会注册到 Red Hat OpenShift Cluster Manager(OCM)。

确认 Red Hat OpenShift Cluster Manager 清单正确后,可以由 Telemetry 自动维护,也可以使用 OCM 手动维护,使用订阅监控 来跟踪帐户或多集群级别的 OpenShift Container Platform 订阅。

您必须具有以下互联网访问权限:

  • 访问 Red Hat OpenShift Cluster Manager 页面,以下载安装程序并执行订阅管理。如果集群可以访问互联网,并且没有禁用 Telemetry,该服务会自动授权您的集群。
  • 访问 Quay.io,以获取安装集群所需的软件包。
  • 获取执行集群更新所需的软件包。
重要

如果您的集群无法直接访问互联网,则可以在置备的某些类基础架构上执行受限网络安装。在此过程中,您要下载所需的内容,并使用它在镜像 registry(mirror registry) 中填充安装集群并生成安装程序所需的软件包。对于某些安装类型,集群要安装到的环境不需要访问互联网。在更新集群之前,要更新 registry 镜像系统中的内容。

3.5.3. RHV 环境的要求

要安装并运行 OpenShift Container Platform 集群,RHV 环境必须满足以下要求。不满足这些要求会导致问题。

对 CPU、内存和存储的以下要求是基于 默认值乘以安装程序创建的默认虚拟机的数量。

默认情况下,安装程序会在安装过程中创建七台机器,其中包括一台 bootstrap 机器。安装程序完成后,会删除 bootstrap 机器并释放其资源。如果执行自定义安装,可以增加安装程序创建的虚拟机数量。

重要

如果您在 install_config.yaml 文件中增加资源使用量或集群大小,请相应地提高这些要求。

要求

  • RHV 版本为 4.3.9 或者更新的版本。
  • RHV 环境有一个数据中心,其状态是 Up
  • RHV 数据中心包含一个 RHV 集群。
  • RHV 集群具有专门用于 OpenShift Container Platform 集群的以下资源:

    • 最小 28 个 vCPU,这是在安装过程中创建的七台虚拟机中的 4 个 vCPU。
    • 112 GiB RAM 或更多,包括:

      • 16 GiB 或更多用于提供临时 control plane 功能的 bootstrap 机器。
      • 每个提供 control plane 功能的三台 control plane 机器都需要16 GiB 或更多。
      • 每个用来运行应用程序负载的 compute 机器都需要 16 GiB 或更多。
  • RHV 存储域必须满足 etcd 后端性能要求
  • 在生产环境中,每个虚拟机必须具有 120 GiB 或更多存储,因此 OpenShift Container Platform 集群存储域必须具有 840 GiB 或更多存储 。在资源有限制或非生产环境中,每个虚拟机必须具有 32 GiB 或更多存储,因此 OpenShift Container Platform 集群存储域必须具有 230 GiB 或更多存储 。
  • RHV 集群必须可访问互联网连接,以便在安装和更新过程中从红帽生态系统目录下载镜像,也可让 Telemetry 服务简化订阅和权利过程。
  • RHV 集群有一个虚拟网络,可访问 RHV Manager 上的 REST API。
注意
  • 主机还必须拥有所需的内存和 CPU 资源 以满足它们用于操作或提供给非 OpenShift Container Platform 操作的资源要求
  • OpenShift Container Platform 和 RHV 的发行周期不同,今后测试的版本会根据两个产品的发行日期的不同而有所不同。
  • 在安装程序创建 OpenShift Container Platform 集群时,bootstrap 机器会临时提供 control plane 的功能。在创建集群后,安装程序会删除 bootstrap 机器并释放它占用的资源。

3.5.4. 验证 RHV 环境的要求

验证 RHV 环境是否满足安装和运行 OpenShift Container Platform 集群的要求。不满足这些要求会导致问题。

重要

这些要求基于安装程序用来创建 control plane 和计算机器的默认资源。这些资源包括 vCPU、内存和存储。如果更改这些资源或增加 OpenShift Container Platform 机器的数量,请相应调整这些要求。

流程

  1. 检查 RHV 版本。

    1. 在 RHV 管理门户中,点右上角的 ? 帮助图表,选 About
    2. 在打开的窗口中,确认 RHV Software Version4.3.9 或更新版本。
  2. 检查数据中心、集群和存储。

    1. 在 RHV 管理门户中,点 ComputeData Centers
    2. 确认您要安装 OpenShift Container Platform 的数据中心显示绿色上箭头,代表已上线。
    3. 点击该数据中心的名称。
    4. 在数据中心详情中,存储 标签中确认您要安装 OpenShift Container Platform 的存储域是 Active
    5. 记录下域名以供以后使用。
    6. 确认 Free Space 至少为 230 GiB。
    7. 确认存储域满足了 这些 etcd 后端性能要求,可 使用 FIO 性能基准工具来测量
    8. 在数据中心详情中点击 Clusters 选项卡。
    9. 找到您要安装 OpenShift Container Platform 的 RHV 集群。记录集群名称,以供稍后使用。
  3. 检查 RHV 主机资源。

    1. 在 RHV 管理门户中,点 Compute > Clusters
    2. 点击要安装 OpenShift Container Platform 的集群。
    3. 在集群详情中点击 Hosts 标签页。
    4. 检查主机,确认这些主机有至少 28 个 逻辑 CPU 内核专门 用于 OpenShift Container Platform 集群。
    5. 记录逻辑 CPU 内核数以供稍后使用。
    6. 请确认这些 CPU 内核被正确分配,在安装过程中创建的七台虚拟机中的每一台都可以有四个内核。
    7. 确认主机总共有 112 GiB 的 Max free Memory for scheduling new VMs 值,以满足以下每个 OpenShift Container Platform 机器的要求:

      • bootstrap 机器需要 16 GiB
      • 三个 control plane 机器每个机器都需要 16 GiB
      • 三个计算机器每个机器都需要 16 GiB
    8. 记录下 Max free Memory for scheduling new VMs 的值以便稍后使用。
  4. 验证安装 OpenShift Container Platform 的虚拟网络能否访问 RHV Manager 的 REST API。在这个网络上的虚拟机上,使用带 RHV Manager REST API 的 curl 命令。使用以下命令:

    curl -k -u <username>@<profile>:<password> \ 1
    https://<engine-fqdn>/ovirt-engine/api 2
    1
    对于 <username>,请指定 RHV 管理员的用户名。对于 <profile>,请指定登录配置集,您可以登陆到 RHV 管理门户查看 Profile 下拉列表。对于 <password>,请指定管理员密码。
    2
    对于 <engine-fqdn>,请指定 RHV 环境的完全限定域名。

    例如:

    $ curl -k -u rhvadmin@internal:pw123 \
    https://rhv-env.virtlab.example.com/ovirt-engine/api

3.5.5. 在 RHV 中准备网络环境

为 OpenShift Container Platform 集群配置三个静态 IP 地址,并使用其中两个地址创建 DNS 条目。

流程

  1. 保留三个静态 IP 地址

    1. 在您要安装 OpenShift Container Platform 的网络上,标识 DHCP 租期池之外的三个静态 IP 地址。
    2. 连接到此网络中的主机,并确认每个 IP 地址都没有被使用。例如,使用地址解析协议(ARP)检查 IP 地址是否有条目:

      $ arp 10.35.1.19
      10.35.1.19 (10.35.1.19) -- no entry
    3. 为您的网络环境保留三个静态 IP 地址。
    4. 记录这些 IP 地址以备将来参考。
  2. 为 OpenShift Container Platform REST API 创建 DNS 条目,并使用以下格式应用域名:

    api.<cluster-name>.<base-domain>   <ip-address> 1
    *.apps.<cluster-name>.<base-domain>   <ip-address> 2
    1
    对于 <cluster-name><base-domain><ip-address>,请指定 OpenShift Container Platform API 的集群名称、基域和静态 IP 地址。
    2
    指定 Ingress 和负载均衡器的 OpenShift Container Platform 应用程序的集群名称、基域和静态 IP 地址。

    例如:

    api.my-cluster.virtlab.example.com	10.35.1.19
    *.apps.my-cluster.virtlab.example.com	10.35.1.20
    注意

    第三个静态 IP 地址不需要 DNS 条目。OpenShift Container Platform 集群将该地址用于其内部 DNS 服务。

3.5.6. 为 RHV 设置 CA 证书

从 Red Hat Virtualization (RHV) Manager 下载 CA 证书,并在安装机器中进行设置。

您可以使用 RHV Manager 的网页或使用 curl 命令下载该证书。

之后,您向安装程序提供证书。

流程

  1. 使用这两个方法之一下载 CA 证书:

    • 进入 Manager 网页 https://<engine-fqdn>/ovirt-engine/。然后在 下载 中点击 CA 证书 链接。
    • 运行以下命令:

      $ curl -k 'https://<engine-fqdn>/ovirt-engine/services/pki-resource?resource=ca-certificate&format=X509-PEM-CA' -o /tmp/ca.pem  1
      1
      对于 <engine-fqdn>,请指定 RHV Manager 的全限定域名,如 rhv-env.virtlab.example.com
  2. 配置 CA 文件,为 Manager 授予无根用户访问权限。将 CA 文件权限设置为 0644 (symbolic 值: -rw-r—​r--):

    $ sudo chmod 0644 /tmp/ca.pem
  3. 对于 Linux,将 CA 证书复制到服务器证书目录中。使用 -p 保留权限:

    $ sudo cp -p /tmp/ca.pem /etc/pki/ca-trust/source/anchors/ca.pem
  4. 将证书添加到您操作系统的证书管理器:

    • 对于 macOS,请双击这个证书文件,并使用 Keychain Access 程序将该文件添加到 System 密钥链中。
    • 对于 Linux,更新 CA 信任:

      $ sudo update-ca-trust
      注意

      如果使用您自己的证书认证机构,请确定系统信任它。

其它资源

如需了解更多相关信息,请参阅 RHV 文档中的 身份验证及安全性

3.5.7. 生成 SSH 私钥并将其添加到代理中

如果要在集群上执行安装调试或灾难恢复,则必须为 ssh-agent 和安装程序提供 SSH 密钥。您可以使用此密钥访问公共集群中的 bootstrap 机器来排除安装问题。

注意

在生产环境中,您需要进行灾难恢复和调试。

您可以使用此密钥以 core 用户身份通过 SSH 连接到 master 节点。在部署集群时,此密钥会添加到 core 用户的 ~/.ssh/authorized_keys 列表中。

注意

您必须使用一个本地密钥,而不要使用在特定平台上配置的密钥,如 AWS 密钥对

流程

  1. 如果还没有为计算机上免密码身份验证而配置的 SSH 密钥,请创建一个。例如,在使用 Linux 操作系统的计算机上运行以下命令:

    $ ssh-keygen -t ed25519 -N '' \
        -f <path>/<file_name> 1
    1
    指定 SSH 密钥的路径和文件名,如 ~/.ssh/id_rsa。不要指定已存在的 SSH 密钥,因为它会被覆盖。

    运行此命令会在指定的位置生成不需要密码的 SSH 密钥。

  2. 作为后台任务启动 ssh-agent 进程:

    $ eval "$(ssh-agent -s)"
    
    Agent pid 31874
  3. 将 SSH 私钥添加到 ssh-agent

    $ ssh-add <path>/<file_name> 1
    
    Identity added: /home/<you>/<path>/<file_name> (<computer_name>)
    1
    指定 SSH 私钥的路径和文件名,如 ~/.ssh/id_rsa

后续步骤

  • 在安装 OpenShift Container Platform 时,为安装程序提供 SSH 公钥。

3.5.8. 获取安装程序

在安装 OpenShift Container Platform 之前,将安装文件下载到本地计算机上。

先决条件

  • 必须从使用 Linux 或 macOS 的计算机安装集群。
  • 需要 500 MB 本地磁盘空间来下载安装程序。

流程

  1. 访问 Red Hat OpenShift Cluster Manager 网站的 Infrastructure Provider 页面。如果您有红帽帐号,请使用自己的凭证登录。如果没有,请创建一个帐户。
  2. 进入适用于您的安装类型的页面,下载您的操作系统的安装程序,并将文件放在要保存安装配置文件的目录中。。

    重要

    安装程序会在用来安装集群的计算机上创建若干文件。在完成集群安装后,您必须保留安装程序和安装程序所创建的文件。

    重要

    删除安装程序创建的文件不会删除您的集群,即使集群在安装过程中失败也是如此。您必须完成针对特定云供应商的 OpenShift Container Platform 卸载流程,才能完全删除您的集群。

  3. 提取安装程序。例如,在使用 Linux 操作系统的计算机上运行以下命令:

    $ tar xvf <installation_program>.tar.gz
  4. 在 Red Hat OpenShift Cluster Manager 站点的 Pull Secret 页面中,下载您的安装 pull secret 的 .txt 文件。通过此 pull secret,您可以进行所含授权机构提供的服务的身份验证,这些服务包括为 OpenShift Container Platform 组件提供容器镜像的 Quay.io。

3.5.9. 创建安装配置文件

您可以自定义在 Red Hat Virtualization (RHV) 上安装的 OpenShift Container Platform 集群。

先决条件

  • 获取 OpenShift Container Platform 安装程序以及集群的 pull secret。

流程

  1. 创建 install-config.yaml 文件。

    1. 对于 Red Hat Virtualization (RHV),请使用 sudo运行安装程序:

      $ sudo ./openshift-install create install-config --dir=<installation_directory> 1
      1
      对于 <installation_directory>,请指定用于保存安装程序所创建的文件的目录名称。
      重要

      指定一个空目录。一些安装信息,如 bootstrap X.509 证书,有较短的过期间隔,因此不要重复使用安装目录。如果要重复使用另一个集群安装中的个别文件,可以将其复制到您的目录中。但是,一些安装数据的文件名可能会在发行版本之间有所改变。从 OpenShift Container Platform 老版本中复制安装文件时要格外小心。

    2. 根据安装程序提示输入相关的值。

      1. 对于 SSH 公钥,请选择免密码公钥,如 ~/.ssh/id_rsa.pub。这个密钥被用来验证与新的 OpenShift Container Platform 集群的连接。

        注意

        如果您要在生产环境中执行安装调试或灾难恢复,请指定 ssh-agent 进程需要使用的 SSH 密钥。

      2. 对于 Platform,选择 ovirt
      3. 对于 Enter oVirt’s API endpoint URL,使用以下格式输入 RHV API 的 URL:

        https://<engine-fqdn>/ovirt-engine/api 1
        1
        对于 <engine-fqdn>,请指定 RHV 环境的完全限定域名。

        例如:

        https://rhv-env.virtlab.example.com/ovirt-engine/api
      4. 对于 Is the installed oVirt certificate trusted?,输入 Yes,因为您已设置了一个 CA 证书。否则,请输入 No
      5. 对于 oVirt 的 CA bundle,如果您为前一个问题输入的是 Yes,请从 /etc/pki/ca-trust/source/anchors/ca.pem 中复制证书内容并粘贴到这里。然后按两次 Enter 键。如果您就前一个问题输入 No,则不会出现这个问题。
      6. 对于 Enter the oVirt engine username,请使用以下格式输入 RHV 管理员的用户名和密码:

        <username>@<profile> 1
        1
        对于 <username>,请指定 RHV 管理员的用户名。对于 <profile>,请指定登录配置集,您可以登陆到 RHV 管理门户查看 Profile 下拉列表。用户名和配置集应与以下示例相似:
        admin@internal
      7. 对于 Enter password,请输入 RHV 管理密码。
      8. 对于Select the oVirt cluster,请选择用于安装 OpenShift Container Platform 的集群。
      9. 对于 Select the oVirt storage domain,请选择安装 OpenShift Container Platform 的存储域。
      10. 对于Select the oVirt network,请选择可访问 RHV Manager REST API 的虚拟网络。
      11. 对于 Enter the internal API Virtual IP,请为集群的 REST API 输入您设置的静态 IP 地址。
      12. 对于 Enter the internal DNS Virtual IP,请为集群的内部 DNS 服务输入您设置的静态 IP 地址。
      13. 对于 Enter the ingress IP,请为通配符应用程序域输入您保留的静态 IP 地址。
      14. 对于 Base domain,请输入 OpenShift Container Platform 集群的基域。如果这个群集暴露于外部世界,这必须是 DNS 基础结构可识别的有效域。例如: 输入 virtlab.example.com
      15. 对于 Cluster name,请输入集群名称。例如: my-cluster。使用您为 OpenShift Container Platform REST API 创建的外部注册/可解析 DNS 条目的集群名称,以及应用域名。安装程序也将此名称提供给 RHV 环境中的集群。
      16. 对于 Pull secret,请从之前下载并粘贴的 pull-secret.txt 文件中复制 pull secret。您也可以从 Red Hat OpenShift Cluster Manager 站点的Pull Secret 页面中下载这个 pull secret。
  2. 修改 install-config.yaml 文件。您可以在安装配置参数部分中找到有关可用参数的更多信息。
  3. 备份 install-config.yaml 文件,以便用于安装多个集群。

    重要

    install-config.yaml 文件会在安装过程中消耗掉。如果要重复使用此文件,必须现在备份。

3.5.10. 安装配置参数

在部署 OpenShift Container Platform 集群前,您可以提供参数值,以描述托管集群的云平台的帐户并选择性地自定义集群平台。在创建 install-config.yaml 安装配置文件时,您可以通过命令行来提供所需的参数的值。如果要自定义集群,可以修改 install-config.yaml 文件来提供关于平台的更多信息。

以下示例专用于在 RHV 上安装 OpenShift Container Platform。它使用数字标注的 callout 来显示您可以编辑的参数值。不要修改没有 callout 的参数值。

该文件位于您运行以下命令时指定的 <installation directory> 中。

$ sudo ./openshift-install create install-config --dir=<installation_directory>
注意
  • 不要直接复制以下示例。相反,请通过运行安装程序来创建。
  • 安装之后,您无法修改 install-config.yaml 文件中的这些参数。
重要

如果您的自定义配置需要其他资源,如添加 control plane 和计算机器,请验证您的 RHV 环境是否有足够的资源。否则,这些自定义可能会导致安装失败。

示例 install-config.yaml 配置文件

apiVersion: v1
baseDomain: <virtlab.example.com> 1
compute:
- hyperthreading: Enabled
  name: worker
  platform: {}
  replicas: 3 2
controlPlane:
  hyperthreading: Enabled
  name: master
  platform: {}
  replicas: 3 3
metadata:
  name: <my-cluster> 4
platform:
  ovirt:
    api_vip: <ip-address> 5
    dns_vip: <ip-address> 6
    ingress_vip: <ip-address> 7
    ovirt_cluster_id: <rhv-cluster-id> 8
    ovirt_storage_domain_id: <rhv-storage-domain-id> 9
publish: External
pullSecret: |
  <pull-secret> 10
sshKey: |
  <ssh-public-key> 11

1
对于 <virtlab.example.com>,请指定 OpenShift Container Platform 集群的基域。
2
指定 3 个或更多计算机器。默认值为 3
3
指定 3 个或更多 control plane 机器。默认值为 3
4
对于 <my-cluster>,请指定新的 OpenShift Container Platform 集群的名称。
5
对于 <ip-address>,请指定您为其创建 api. 的 API 的静态 IP 地址。DNS 条目
6
对于 <ip-address>,请指定 OpenShift Container Platform 集群的内部 DNS 的静态 IP 地址。
7
对于 <ip-address>,请指定您为其创建 *.apps. 的集群应用程序的静态 IP 地址。DNS 条目
8
对于 <rhv-cluster-id>,请指定 RHV 集群 ID。
9
对于 <rhv-storage-domain-id>,请指定 RHV 存储域 ID。
10
对于 <pull-secret>,以 JSON 格式指定您的 pull secret。
11
对于 <ssh-public-key>,请指定您的公共 SSH 密钥。

3.5.11. 部署集群

您可以在兼容云平台中安装 OpenShift Container Platform。

重要

安装程序的 create cluster 命令只能在初始安装过程中运行一次。

先决条件

  • 配置托管集群的云平台的帐户。
  • 获取 OpenShift Container Platform 安装程序以及集群的 pull secret。

流程

  1. 运行安装程序:

    $ sudo ./openshift-install create cluster --dir=<installation_directory> \ 1
        --log-level=info 2
    1
    对于 <installation_directory>,请指定自定义 install-config.yaml 文件的位置。
    2
    要查看不同的安装详情,请指定 warndebugerror,而不要指定 info
    注意

    如果您在主机上配置的云供应商帐户没有足够的权限来部署集群,安装过程将会停止,并且显示缺少的权限。

    集群部署完成后,终端会显示访问集群的信息,包括指向其 Web 控制台的链接和 kubeadmin 用户的凭证。

    重要

    安装程序生成的 Ignition 配置文件包含在 24 小时后过期的证书,然后在过期时进行续订。如果在更新证书前关闭集群,且集群在 24 小时后重启,集群会自动恢复过期的证书。一个例外情况是,您需要手动批准待处理的 node-bootstrapper 证书签名请求(CSR)来恢复 kubelet 证书。如需更多信息,请参阅从过期的 control plane 证书中恢复的文档。

    重要

    您不得删除安装程序或安装程序所创建的文件。需要这两者才能删除集群。

重要

您已完成了安装集群所需的步骤。余下的步骤演示了如何验证集群并对安装进行故障排除。

3.5.12. 通过下载二进制文件安装 CLI

您需要安装 CLI(oc) 来使用命令行界面与 OpenShift Container Platform 进行交互。您可在 Linux 、Windows 或 macOS 上安装 oc

重要

如果安装了旧版本的 oc,则无法使用 OpenShift Container Platform 4.4 中的所有命令。下载并安装新版本的 oc

3.5.12.1. 在 Linux 上安装 CLI

您可以按照以下流程在 Linux 上安装 OpenShift CLI(oc)二进制文件。

流程

  1. 访问 Red Hat OpenShift Cluster Manager 网站的 Infrastructure Provider 页面。
  2. 选择您的基础架构供应商及安装类型。
  3. Command-line interface 部分,从下拉菜单中选择 Linux,并点 Download command-line tools
  4. 解包存档:

    $ tar xvzf <file>
  5. oc 二进制代码放到 PATH 中的目录中。

    执行以下命令可以查看当前的 PATH 设置:

    $ echo $PATH

安装 CLI 后,就可以使用oc命令:

$ oc <command>

3.5.12.2. 在 Windows 上安装 CLI

您可以按照以下流程在 Windows 上安装 OpenShift CLI(oc)二进制代码。

流程

  1. 访问 Red Hat OpenShift Cluster Manager 网站的 Infrastructure Provider 页面。
  2. 选择您的基础架构供应商及安装类型。
  3. Command-line interface 部分,从下拉菜单中选择 Windows,点 Download command-line tools
  4. 使用 ZIP 程序解压存档。
  5. oc 二进制代码放到 PATH 中的目录中。

    要查看您的 PATH,请打开命令提示窗口并执行以下命令:

    C:\> path

安装 CLI 后,就可以使用oc命令:

C:\> oc <command>

3.5.12.3. 在 macOS 上安装 CLI

您可以按照以下流程在 macOS 上安装 OpenShift CLI(oc)二进制代码。

流程

  1. 访问 Red Hat OpenShift Cluster Manager 网站的 Infrastructure Provider 页面。
  2. 选择您的基础架构供应商及安装类型。
  3. Command-line interface 部分,从下拉菜单中选择 MacOS,并点 Download command-line tools
  4. 解包和解压存档。
  5. oc 二进制文件移到 PATH 的目录中。

    要查看您的 PATH,打开一个终端窗口并执行以下命令:

    $ echo $PATH

安装 CLI 后,就可以使用oc命令:

$ oc <command>

3.5.13. 登录集群

您可以通过导出集群 kubeconfig 文件,以默认系统用户身份登录集群。kubeconfig 文件包含关于集群的信息,供 CLI 用于将客户端连接到正确集群和 API 服务器。该文件特只适用于一个特定的集群,在 OpenShift Container Platform 安装过程中创建。

先决条件

  • 部署一个 OpenShift Container Platform 集群。
  • 安装 oc CLI。

流程

  1. 导出 kubeadmin 凭证:

    $ export KUBECONFIG=<installation_directory>/auth/kubeconfig 1
    1
    对于 <installation_directory>,请指定安装文件保存到的目录的路径。
  2. 使用导出的配置,验证能否成功运行 oc 命令:

    $ oc whoami
    system:admin

如需更多信息,请参阅 CLI 入门

3.5.14. 验证集群状态

您可以在安装过程中或安装后验证 OpenShift Container Platform 集群的状态:

流程

  1. 在集群环境中,导出管理员的 kubeconfig 文件:

    $ export KUBECONFIG=<installation_directory>/auth/kubeconfig 1
    1
    对于 <installation_directory>,请指定安装文件保存到的目录的路径。

    kubeconfig 文件包含关于集群的信息,供 CLI 用于将客户端连接到正确集群和 API 服务器。

  2. 查看部署后创建的 control plane 和计算机器:

    $ oc get nodes
  3. 查看集群的版本:

    $ oc get clusterversion
  4. 查看 Operator 的状态:

    $ oc get clusteroperator
  5. 查看集群中的所有正在运行的 pod:

    $ oc get pods -A

故障排除

如果安装失败,安装程序会超时并显示出错信息。如需了解更多相关信息,请参阅 故障排除安装问题

3.5.15. 访问 RHV 上的 OpenShift Container Platform Web 控制台。

在 OpenShift Container Platform 集群初始化完成后,您可以登陆到 OpenShift Container Platform web 控制台。

流程

  1. 可选: 在 Red Hat Virtualization (RHV) 管理门户中,打开 ComputeCluster
  2. 验证安装程序是否创建了虚拟机。
  3. 返回到安装程序正在运行的命令行。当安装程序完成后,它会显示登录到 OpenShift Container Platform Web 控制台的用户名和临时密码。
  4. 在浏览器中,打开 OpenShift Container Platform web 控制台的 URL。URL 使用以下格式:

    console-openshift-console.apps.<clustername>.<basedomain> 1
    1
    对于 <clustername>.<baseDomain>,请指定集群名称和基域。

    例如:

    console-openshift-console.apps.my-cluster.virtlab.example.com

3.5.16. 在 Red Hat Virtualization (RHV) 上安装时的常见问题

以下是您可能会遇到的一些常见问题,以及推荐的原因和解决方案。

3.5.16.1. CPU 负载增加和节点进入非就绪状态

  • 症状: CPU 负载显著增加,节点开始处于 Not Ready 状态。
  • 原因: 存储域延迟可能太大,特别是针对 master 节点。
  • 解决方案:

    通过重启 kubelet 服务使节点再次就绪。输入:

    $ systemctl restart kubelet

    检查 OpenShift Container Platform 指标服务,该服务可自动收集并报告一些重要数据,如 etcd 磁盘同步持续时间。如果集群是可操作的,使用这个数据来帮助确定这个问题是否是因为存储延迟或吞吐量造成的。如果是这样,请考虑使用一个较低延迟和更高吞吐量的存储资源。

    要获得原始指标,请以 kubeadmin 或具有 cluster-admin 特权的用户身份输入以下命令:

    $ oc get --insecure-skip-tls-verify --server=https://localhost:<port> --raw=/metrics`

    如需了解更多相关信息,请参阅 使用 OpenShift 4.x 调试应用程序端点

3.5.16.2. 连接到 OpenShift Container Platform 集群 API 存在问题

  • 症状: 安装程序完成,但无法使用 OpenShift Container Platform 集群 API。在 bootstrap 过程完成后,bootstrap 虚拟机仍处于在线状态。当您输入以下命令时,回复会超时。

    $ oc login -u kubeadmin -p *** <apiurl>
  • 原因: 安装程序没有删除 bootstrap VM,因此没有释放集群的 API IP 地址。
  • 解决方法:使用 wait-for 子命令,在 bootstrap 过程完成后获得通知:

    $ ./openshift-install wait-for bootstrap-complete

    当 bootstrap 过程完成后,删除 bootstrap 虚拟机:

    $ ./openshift-install destroy bootstrap

3.5.17. 安装后的任务

在 OpenShift Container Platform 集群初始化后,您可以执行以下任务。

  • 可选: 在部署后,使用 OpenShift Container Platform 中的 Machine Config Operator (MCO) 添加或替换 SSH 密钥。
  • 可选:删除 kubeadmin 用户。使用身份验证提供程序创建具有 cluster-admin 权限的用户。

3.5.18. 后续步骤

3.6. 在 RHV 上卸载集群

您可以从 Red Hat Virtualization (RHV) 中删除 OpenShift Container Platform 集群。

3.6.1. 删除使用安装程序置备的基础架构的集群

您可以从云中删除使用安装程序置备的基础架构的集群。

先决条件

  • 有部署集群时所用的安装程序副本。
  • 有创建集群时安装程序所生成的文件。

流程

  1. 在用来安装集群的计算机中运行以下命令:

    $ ./openshift-install destroy cluster \
    --dir=<installation_directory> --log-level=info 1 2
    1
    对于 <installation_directory>,请指定安装文件保存到的目录的路径。
    2
    要查看不同的详情,请指定 warndebugerror,而不要指定 info
    注意

    您必须为集群指定包含集群定义文件的目录。安装程序需要此目录中的 metadata.json 文件来删除集群。

  2. 可选:删除 <installation_directory> 目录和 OpenShift Container Platform 安装程序。

法律通告

Copyright © 2021 Red Hat, Inc.
The text of and illustrations in this document are licensed by Red Hat under a Creative Commons Attribution–Share Alike 3.0 Unported license ("CC-BY-SA"). An explanation of CC-BY-SA is available at http://creativecommons.org/licenses/by-sa/3.0/. In accordance with CC-BY-SA, if you distribute this document or an adaptation of it, you must provide the URL for the original version.
Red Hat, as the licensor of this document, waives the right to enforce, and agrees not to assert, Section 4d of CC-BY-SA to the fullest extent permitted by applicable law.
Red Hat, Red Hat Enterprise Linux, the Shadowman logo, the Red Hat logo, JBoss, OpenShift, Fedora, the Infinity logo, and RHCE are trademarks of Red Hat, Inc., registered in the United States and other countries.
Linux® is the registered trademark of Linus Torvalds in the United States and other countries.
Java® is a registered trademark of Oracle and/or its affiliates.
XFS® is a trademark of Silicon Graphics International Corp. or its subsidiaries in the United States and/or other countries.
MySQL® is a registered trademark of MySQL AB in the United States, the European Union and other countries.
Node.js® is an official trademark of Joyent. Red Hat is not formally related to or endorsed by the official Joyent Node.js open source or commercial project.
The OpenStack® Word Mark and OpenStack logo are either registered trademarks/service marks or trademarks/service marks of the OpenStack Foundation, in the United States and other countries and are used with the OpenStack Foundation's permission. We are not affiliated with, endorsed or sponsored by the OpenStack Foundation, or the OpenStack community.
All other trademarks are the property of their respective owners.