4.4. 推荐的节点主机实践

OpenShift Container Platform 节点配置文件包含重要的选项。例如，控制可以为节点调度的最大 pod 数量的两个参数: podsPerCore 和 maxPods。

当两个参数都被设置时，其中较小的值限制了节点上的 pod 数量。超过这些值可导致：

  • CPU 使用率增加。
  • 减慢 pod 调度的速度。
  • 根据节点中的内存数量，可能出现内存耗尽的问题。
  • 耗尽 IP 地址池。
  • 资源过量使用，导致用户应用程序性能变差。
重要

在 Kubernetes 中，包含单个容器的 pod 实际使用两个容器。第二个容器用来在实际容器启动前设置联网。因此，运行 10 个 pod 的系统实际上会运行 20 个容器。

podsPerCore 根据节点中的处理器内核数来设置节点可运行的 pod 数量。例如：在一个有 4 个处理器内核的节点上将 podsPerCore 设为 10 ，则该节点上允许的最大 pod 数量为 40。 

kubeletConfig:
  podsPerCore: 10

将 podsPerCore 设置为 0 可禁用这个限制。默认为 0。podsPerCore 不能超过 maxPods。

maxPods 把节点可以运行的 pod 数量设置为一个固定值，而不需要考虑节点的属性。 

 kubeletConfig:
    maxPods: 250

4.4.1. 创建 KubeletConfig CRD 来编辑 kubelet 参数

kubelet 配置目前被序列化为 Ignition 配置，因此可以直接编辑。但是，在 Machine Config Controller (MCC) 中同时添加了新的 kubelet-config-controller 。这可让您创建 KubeletConfig 自定义资源 (CR) 来编辑 kubelet 参数。

注意

因为 kubeletConfig 对象中的字段直接从上游 Kubernetes 传递给 kubelet，kubelet 会直接验证这些值。kubeletConfig 对象中的无效值可能会导致集群节点不可用。有关有效值，请参阅 Kubernetes 文档。

流程

  1. 查看您可以选择的可用机器配置对象： 

    $ oc get machineconfig

    默认情况下，与 kubelet 相关的配置为 01-master-kubelet 和 01-worker-kubelet。

  2. 要检查每个节点中最大 pod 数量的当前设置，请运行： 

    # oc describe node <node-ip> | grep Allocatable -A6

    找到 value: pods: <value>.

    例如： 

    # oc describe node ip-172-31-128-158.us-east-2.compute.internal | grep Allocatable -A6

    输出示例

    Allocatable:
 attachable-volumes-aws-ebs:  25
 cpu:                         3500m
 hugepages-1Gi:               0
 hugepages-2Mi:               0
 memory:                      15341844Ki
 pods:                        250

  3. 要设置 worker 节点上的每个节点的最大 pod，请创建一个包含 kubelet 配置的自定义资源文件。例如: change-maxPods-cr.yaml： 

    apiVersion: machineconfiguration.openshift.io/v1
kind: KubeletConfig
metadata:
  name: set-max-pods
spec:
  machineConfigPoolSelector:
    matchLabels:
      custom-kubelet: large-pods
  kubeletConfig:
    maxPods: 500

    kubelet 与 API 服务器进行交互的频率取决于每秒的查询数量 (QPS) 和 burst 值。如果每个节点上运行的 pod 数量有限，使用默认值（kubeAPIQPS 为 50，kubeAPIBurst 为 100）就可以。如果节点上有足够 CPU 和内存资源，则建议更新 kubelet QPS 和 burst 率： 

    apiVersion: machineconfiguration.openshift.io/v1
kind: KubeletConfig
metadata:
  name: set-max-pods
spec:
  machineConfigPoolSelector:
    matchLabels:
      custom-kubelet: large-pods
  kubeletConfig:
    maxPods: <pod_count>
    kubeAPIBurst: <burst_rate>
    kubeAPIQPS: <QPS>

    1. 为带有标签的 worker 更新机器配置池： 

      $ oc label machineconfigpool worker custom-kubelet=large-pods

    2. 创建 KubeletConfig 对象： 

      $ oc create -f change-maxPods-cr.yaml

    3. 验证 KubeletConfig 对象是否已创建： 

      $ oc get kubeletconfig

      这个命令会返回 set-max-pods。

      根据集群中的 worker 节点数量，等待每个 worker 节点被逐个重启。对于有 3 个 worker 节点的集群，这个过程可能需要大约 10 到 15 分钟。

  4. 查看 worker 节点的 maxPods 的变化 ： 

    $ oc describe node

    1. 运行以下命令验证更改： 

      $ oc get kubeletconfigs set-max-pods -o yaml

      这个命令会显示 True 状态和 type:Success

流程

默认情况下，在对可用的 worker 节点应用 kubelet 相关的配置时，只允许一台机器不可用。对于大型集群来说，它可能需要很长时间才可以反映出配置的更改。在任何时候，您可以调整更新的机器数量来加快进程速度。

  1. 编辑 worker 机器配置池： 

    $ oc edit machineconfigpool worker

  2. 将 maxUnavailable 设为所需值。 

    spec:
  maxUnavailable: <node_count>
    重要

    当设置该值时，请考虑无法使用的 worker 节点数量，而不影响在集群中运行的应用程序。