1.3. 在受限网络中的裸机上安装集群

流程

1. 在每个节点上配置 DHCP 或设置静态 IP 地址。
2. 提供所需的负载均衡器。
3. 配置机器的端口。
4. 配置 DNS。
5. 确保网络可以正常工作。

流程

1. 如果还没有为计算机上免密码身份验证而配置的 SSH 密钥，请创建一个。例如，在使用 Linux 操作系统的计算机上运行以下命令：

   $ ssh-keygen -t ed25519 -N '' \
       -f <path>/<file_name> 1

   1

   指定新 SSH 密钥的路径和文件名，如 ~/.ssh/id_rsa。如果您有一个存在的密钥对，请确保您的公钥位于您的 '~/.ssh 目录中。

   运行此命令会在指定的位置生成不需要密码的 SSH 密钥。

2. 作为后台任务启动 ssh-agent 进程：

   $ eval "$(ssh-agent -s)"

   输出示例

   Agent pid 31874

3. 将 SSH 私钥添加到 ssh-agent：

   $ ssh-add <path>/<file_name> 1

   输出示例

   Identity added: /home/<you>/<path>/<file_name> (<computer_name>)

   1

   指定 SSH 私钥的路径和文件名，如 ~/.ssh/id_rsa

流程

1. 创建用来存储您所需的安装资产的安装目录：

   $ mkdir <installation_directory>

   重要

   您必须创建目录。一些安装信息，如 bootstrap X.509 证书，有较短的过期间隔，因此不要重复使用安装目录。如果要重复使用另一个集群安装中的个别文件，可以将其复制到您的目录中。但是，一些安装数据的文件名可能会在发行版本之间有所改变。从 OpenShift Container Platform 老版本中复制安装文件时要格外小心。

2. 自定义以下 install-config.yaml 文件模板，并将它保存到 <installation_directory> 中。

   注意

   此配置文件必须命名为 install-config.yaml。

   • 除非使用 RHCOS 默认信任的 registry，如 docker.io，否则必须在 additionalTrustBundle 部分中提供镜像存储库的证书内容。在大多数情况下，必须为您的镜像提供证书。
   • 您必须包含命令输出中的 imageContentSources 部分，才能镜像存储库。

3. 备份 install-config.yaml 文件，以便用于安装多个集群。

   重要

   install-config.yaml 文件会在安装过程的下一步骤中消耗掉。现在必须备份它。

流程

1. 为集群生成 Kubernetes 清单：

   $ ./openshift-install create manifests --dir=<installation_directory> 1

   输出示例

   INFO Consuming Install Config from target directory
   WARNING Making control-plane schedulable by setting MastersSchedulable to true for Scheduler cluster settings

   1

   对于 <installation_directory>，请指定含有您创建的 install-config.yaml 文件的安装目录。

   由于您稍后会在安装过程中自行创建计算机器，因此可以忽略这个警告。

1. 修改 <installation_directory>/manifests/cluster-scheduler-02-config.yml Kubernetes 清单文件，以防止在 control plane 机器上调度 Ppd：

   1. 打开 <installation_directory>/manifests/cluster-scheduler-02-config.yml 文件。
   2. 找到 mastersSchedulable 参数，并将其值设为 False。
   3. 保存并退出文件。

2. 获取 Ignition 配置文件：

   $ ./openshift-install create ignition-configs --dir=<installation_directory> 1

   1

   对于 <installation_directory>，请指定相同的安装目录。

   该目录中将生成以下文件：

   .
   ├── auth
   │   ├── kubeadmin-password
   │   └── kubeconfig
   ├── bootstrap.ign
   ├── master.ign
   ├── metadata.json
   └── worker.ign

流程

1. 创建 chrony.conf 文件的内容并对其进行 base64 编码。例如：

   $ cat << EOF | base64
       pool 0.rhel.pool.ntp.org iburst 1
       driftfile /var/lib/chrony/drift
       makestep 1.0 3
       rtcsync
       logdir /var/log/chrony
   EOF

   1

   指定任何有效的、可访问的时间源，如 DHCP 服务器提供的时间源。

   输出示例

   ICAgIHNlcnZlciBjbG9jay5yZWRoYXQuY29tIGlidXJzdAogICAgZHJpZnRmaWxlIC92YXIvbGli
   L2Nocm9ueS9kcmlmdAogICAgbWFrZXN0ZXAgMS4wIDMKICAgIHJ0Y3N5bmMKICAgIGxvZ2RpciAv
   dmFyL2xvZy9jaHJvbnkK

2. 创建 MachineConfig 对象文件，将 base64 字符串替换为您刚刚创建的字符串。本例将文件添加到 master 节点。您可以将其更改为 worker，或为 worker 角色创建额外的 MachineConfig。为集群使用的每种机器创建 MachineConfig 文件：

   $ cat << EOF > ./99-masters-chrony-configuration.yaml
   apiVersion: machineconfiguration.openshift.io/v1
   kind: MachineConfig
   metadata:
     labels:
       machineconfiguration.openshift.io/role: master
     name: 99-masters-chrony-configuration
   spec:
     config:
       ignition:
         config: {}
         security:
           tls: {}
         timeouts: {}
         version: 2.2.0
       networkd: {}
       passwd: {}
       storage:
         files:
         - contents:
             source: data:text/plain;charset=utf-8;base64,ICAgIHNlcnZlciBjbG9jay5yZWRoYXQuY29tIGlidXJzdAogICAgZHJpZnRmaWxlIC92YXIvbGliL2Nocm9ueS9kcmlmdAogICAgbWFrZXN0ZXAgMS4wIDMKICAgIHJ0Y3N5bmMKICAgIGxvZ2RpciAvdmFyL2xvZy9jaHJvbnkK
             verification: {}
           filesystem: root
           mode: 420
           path: /etc/chrony.conf
     osImageURL: ""
   EOF

3. 对配置文件做一个备份副本。

4. 使用两种方式之一应用配置：

   • 如果集群还没有启动，在生成清单文件后，将此文件添加到 <installation_directory>/openshift 目录中，然后继续创建集群。

   • 如果集群已在运行，请应用该文件：

     $ oc apply -f ./99-masters-chrony-configuration.yaml

流程

1. 监控 bootstrap 过程：

   $ ./openshift-install --dir=<installation_directory> wait-for bootstrap-complete \ 1
       --log-level=info 2

   1

   对于 <installation_directory>，请指定安装文件保存到的目录的路径。

   2

   要查看不同的安装详情，请指定 warn、debug 或 error，而不要指定 info。

   输出示例

   INFO Waiting up to 30m0s for the Kubernetes API at https://api.test.example.com:6443...
   INFO API v1.18.3 up
   INFO Waiting up to 30m0s for bootstrapping to complete...
   INFO It is now safe to remove the bootstrap resources

   Kubernetes API 服务器提示已在 control plane 机器上完成 bootstrap 时，命令运行成功。

2. bootstrap 过程完成后，请从负载均衡器中删除 bootstrap 机器。

   重要

   此时您必须从负载均衡器中删除 bootstrap 机器。您还可以删除或重新格式化机器本身。

流程

1. 导出 kubeadmin 凭证：

   $ export KUBECONFIG=<installation_directory>/auth/kubeconfig 1

   1

   对于 <installation_directory>，请指定安装文件保存到的目录的路径。

2. 使用导出的配置，验证能否成功运行 oc 命令：

   $ oc whoami

   输出示例

   system:admin

流程

1. 确认集群可以识别这些机器：

   $ oc get nodes

   输出示例

   NAME      STATUS    ROLES   AGE  VERSION
   master-0  Ready     master  63m  v1.18.3
   master-1  Ready     master  63m  v1.18.3
   master-2  Ready     master  64m  v1.18.3
   worker-0  NotReady  worker  76s  v1.18.3
   worker-1  NotReady  worker  70s  v1.18.3

   输出将列出您创建的所有机器。

2. 检查待处理的 CSR，并确保可以看到添加到集群中的每台机器都有 Pending 或 Approved 状态的客户端请求：

   $ oc get csr

   输出示例

   NAME        AGE     REQUESTOR                                                                   CONDITION
   csr-8b2br   15m     system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Pending
   csr-8vnps   15m     system:serviceaccount:openshift-machine-config-operator:node-bootstrapper   Pending
   ...

   在本例中，两台机器加入了集群。您可能会在列表中看到更多已批准的 CSR。

3. 如果 CSR 没有获得批准，请在所添加机器的所有待处理 CSR 都处于 Pending 状态后，为您的集群机器批准这些 CSR：

   注意

   由于 CSR 会自动轮转，因此请在将机器添加到集群后一小时内批准您的 CSR。如果没有在一小时内批准，证书将会轮转，每个节点将会存在多个证书。您必须批准所有这些证书。批准初始 CSR 后，集群的 kube-controller-manager 会自动批准后续的节点客户端 CSR。您必须实施一个方法来自动批准 kubelet 提供的证书请求。

   • 若要单独批准，请对每个有效的 CSR 运行以下命令：

     $ oc adm certificate approve <csr_name> 1

     1

     <csr_name> 是当前 CSR 列表中 CSR 的名称。

   • 要批准所有待处理的 CSR，请运行以下命令：

     $ oc get csr -o go-template='{{range .items}}{{if not .status}}{{.metadata.name}}{{"\n"}}{{end}}{{end}}' | xargs --no-run-if-empty oc adm certificate approve

4. 现在，您的客户端请求已被批准，您必须查看添加到集群中的每台机器的服务器请求：

   $ oc get csr

   输出示例

   NAME        AGE     REQUESTOR                                                                   CONDITION
   csr-bfd72   5m26s   system:node:ip-10-0-50-126.us-east-2.compute.internal                       Pending
   csr-c57lv   5m26s   system:node:ip-10-0-95-157.us-east-2.compute.internal                       Pending
   ...

5. 如果剩余的 CSR 没有被批准，且处于 Pending 状态，请批准集群机器的 CSR：

   • 若要单独批准，请对每个有效的 CSR 运行以下命令：

     $ oc adm certificate approve <csr_name> 1

     1

     <csr_name> 是当前 CSR 列表中 CSR 的名称。

   • 要批准所有待处理的 CSR，请运行以下命令：

     $ oc get csr -o go-template='{{range .items}}{{if not .status}}{{.metadata.name}}{{"\n"}}{{end}}{{end}}' | xargs oc adm certificate approve

6. 批准所有客户端和服务器 CSR 后，器将处于 Ready 状态。运行以下命令验证：

   $ oc get nodes

   输出示例

   NAME      STATUS    ROLES   AGE  VERSION
   master-0  Ready     master  73m  v1.20.0
   master-1  Ready     master  73m  v1.20.0
   master-2  Ready     master  74m  v1.20.0
   worker-0  Ready     worker  11m  v1.20.0
   worker-1  Ready     worker  11m  v1.20.0

   注意

   批准服务器 CSR 后可能需要几分钟时间让机器转换为 Ready 状态。

流程

1. 观察集群组件上线：

   $ watch -n5 oc get clusteroperators

   输出示例

   NAME                                 VERSION   AVAILABLE   PROGRESSING   DEGRADED   SINCE
   authentication                       4.5.4     True        False         False      69s
   cloud-credential                     4.5.4     True        False         False      12m
   cluster-autoscaler                   4.5.4     True        False         False      11m
   console                              4.5.4     True        False         False      46s
   dns                                  4.5.4     True        False         False      11m
   image-registry                       4.5.4     True        False         False      5m26s
   ingress                              4.5.4     True        False         False      5m36s
   kube-apiserver                       4.5.4     True        False         False      8m53s
   kube-controller-manager              4.5.4     True        False         False      7m24s
   kube-scheduler                       4.5.4     True        False         False      12m
   machine-api                          4.5.4     True        False         False      12m
   machine-config                       4.5.4     True        False         False      7m36s
   marketplace                          4.5.4     True        False         False      7m54m
   monitoring                           4.5.4     True        False         False      7h54s
   network                              4.5.4     True        False         False      5m9s
   node-tuning                          4.5.4     True        False         False      11m
   openshift-apiserver                  4.5.4     True        False         False      11m
   openshift-controller-manager         4.5.4     True        False         False      5m943s
   openshift-samples                    4.5.4     True        False         False      3m55s
   operator-lifecycle-manager           4.5.4     True        False         False      11m
   operator-lifecycle-manager-catalog   4.5.4     True        False         False      11m
   service-ca                           4.5.4     True        False         False      11m
   service-catalog-apiserver            4.5.4     True        False         False      5m26s
   service-catalog-controller-manager   4.5.4     True        False         False      5m25s
   storage                              4.5.4     True        False         False      5m30s

2. 配置不可用的 Operator。

流程

1. 如果您不是安装新集群，而是把现有集群从版本 4.3 或者从 4.4.0 升级到 4.4.11，请运行：

   $ oc edit configs.samples cluster

   然后将行改

   managementState: Removed

   为

   managementState: Managed

2. 确认所有集群组件都已上线：

   $ watch -n5 oc get clusteroperators

   输出示例

   NAME                                       VERSION   AVAILABLE   PROGRESSING   DEGRADED   SINCE
   authentication                             4.5.4     True        False         False      7m56s
   cloud-credential                           4.5.4     True        False         False      31m
   cluster-autoscaler                         4.5.4     True        False         False      16m
   console                                    4.5.4     True        False         False      10m
   csi-snapshot-controller                    4.5.4     True        False         False      16m
   dns                                        4.5.4     True        False         False      22m
   etcd                                       4.5.4     False       False         False      25s
   image-registry                             4.5.4     True        False         False      16m
   ingress                                    4.5.4     True        False         False      16m
   insights                                   4.5.4     True        False         False      17m
   kube-apiserver                             4.5.4     True        False         False      19m
   kube-controller-manager                    4.5.4     True        False         False      20m
   kube-scheduler                             4.5.4     True        False         False      20m
   kube-storage-version-migrator              4.5.4     True        False         False      16m
   machine-api                                4.5.4     True        False         False      22m
   machine-config                             4.5.4     True        False         False      22m
   marketplace                                4.5.4     True        False         False      16m
   monitoring                                 4.5.4     True        False         False      10m
   network                                    4.5.4     True        False         False      23m
   node-tuning                                4.5.4     True        False         False      23m
   openshift-apiserver                        4.5.4     True        False         False      17m
   openshift-controller-manager               4.5.4     True        False         False      15m
   openshift-samples                          4.5.4     True        False         False      16m
   operator-lifecycle-manager                 4.5.4     True        False         False      22m
   operator-lifecycle-manager-catalog         4.5.4     True        False         False      22m
   operator-lifecycle-manager-packageserver   4.5.4     True        False         False      18m
   service-ca                                 4.5.4     True        False         False      23m
   service-catalog-apiserver                  4.5.4     True        False         False      23m
   service-catalog-controller-manager         4.5.4     True        False         False      23m
   storage                                    4.5.4     True        False         False      17m

   当所有集群 Operator 状态都是 AVAILABLE 时，您可以完成安装。

3. 监控集群完成：

   $ ./openshift-install --dir=<installation_directory> wait-for install-complete 1

   1

   对于 <installation_directory>，请指定安装文件保存到的目录的路径。

   输出示例

   INFO Waiting up to 30m0s for the cluster to initialize...

   Cluster Version Operator 完成从 Kubernetes API 服务器部署 OpenShift Container Platform 集群时，命令运行成功。

   重要

   安装程序生成的 Ignition 配置文件包含在 24 小时后过期的证书，然后在过期时进行续订。如果在更新证书前关闭集群，且集群在 24 小时后重启，集群会自动恢复过期的证书。一个例外情况是，您需要手动批准待处理的 node-bootstrapper 证书签名请求（CSR）来恢复 kubelet 证书。如需更多信息，请参阅从过期的 control plane 证书中恢复的文档。

4. 确认 Kubernetes API 服务器正在与 pod 通信。

   1. 要查看所有 pod 的列表，请使用以下命令：

      $ oc get pods --all-namespaces

      输出示例

      NAMESPACE                         NAME                                            READY   STATUS      RESTARTS   AGE
      openshift-apiserver-operator      openshift-apiserver-operator-85cb746d55-zqhs8   1/1     Running     1          9m
      openshift-apiserver               apiserver-67b9g                                 1/1     Running     0          3m
      openshift-apiserver               apiserver-ljcmx                                 1/1     Running     0          1m
      openshift-apiserver               apiserver-z25h4                                 1/1     Running     0          2m
      openshift-authentication-operator authentication-operator-69d5d8bf84-vh2n8        1/1     Running     0          5m
      ...

   2. 使用以下命令，查看上一命令的输出中所列 pod 的日志：

      $ oc logs <pod_name> -n <namespace> 1

      1

      指定 pod 名称和命名空间，如上一命令的输出中所示。

      如果 pod 日志显示，Kubernetes API 服务器可以与集群机器通信。

5. 在 Cluster registration 页面注册您的集群。