2.2. 创建一个 KubeletConfig CRD 来编辑 kubelet 参数

kubelet 配置目前被序列化为 ignition 配置,因此可以直接编辑。但是,在 Machine Config Controller (MCC) 中同时添加了新的 kubelet-config-controller 。这可让您创建 KubeletConfig 自定义资源 (CR) 来编辑 kubelet 参数。

流程

  1. 运行:

    $ oc get machineconfig

    这个命令显示了可选择的可用机器配置对象列表。默认情况下,与 kubelet 相关的配置为 01-master-kubelet01-worker-kubelet

  2. 要检查每个节点中最大 Pod 数量的当前设置,请运行:

    # oc describe node <node-ip> | grep Allocatable -A6

    找到 value: pods: <value>.

    例如:

    # oc describe node ip-172-31-128-158.us-east-2.compute.internal | grep Allocatable -A6

    输出示例

    Allocatable:
     attachable-volumes-aws-ebs:  25
     cpu:                         3500m
     hugepages-1Gi:               0
     hugepages-2Mi:               0
     memory:                      15341844Ki
     pods:                        250

  3. 要设置 worker 节点上的每个节点的最大 Pod,请创建一个包含 kubelet 配置的自定义资源文件。例如: change-maxPods-cr.yaml

    apiVersion: machineconfiguration.openshift.io/v1
    kind: KubeletConfig
    metadata:
      name: set-max-pods
    spec:
      machineConfigPoolSelector:
        matchLabels:
          custom-kubelet: large-pods
      kubeletConfig:
        maxPods: 500

    kubelet 与 API 服务器进行交互的频率取决于每秒的查询数量 (QPS) 和 burst 值。如果每个节点上运行的 pod 数量有限,使用默认值(kubeAPIQPS50kubeAPIBurst100)就可以。如果节点上有足够 CPU 和内存资源,则建议更新 kubelet QPS 和 burst 率:

    apiVersion: machineconfiguration.openshift.io/v1
    kind: KubeletConfig
    metadata:
      name: set-max-pods
    spec:
      machineConfigPoolSelector:
        matchLabels:
          custom-kubelet: large-pods
      kubeletConfig:
        maxPods: <pod_count>
        kubeAPIBurst: <burst_rate>
        kubeAPIQPS: <QPS>
    1. 运行:

      $ oc label machineconfigpool worker custom-kubelet=large-pods
    2. 运行:

      $ oc create -f change-maxPods-cr.yaml
    3. 运行:

      $ oc get kubeletconfig

      这个命令会返回 set-max-pods

      根据集群中的 worker 节点数量,等待每个 worker 节点被逐个重启。对于有 3 个 worker 节点的集群,这个过程可能需要大约 10 到 15 分钟。

  4. 查看 worker 节点的 maxPods 的变化 :

    $ oc describe node
    1. 运行以下命令验证更改:

      $ oc get kubeletconfigs set-max-pods -o yaml

      这个命令会显示 True 状态和 type:Success

流程

默认情况下,在对可用的 worker 节点应用 kubelet 相关的配置时,只允许一台机器不可用。对于大型集群来说,它可能需要很长时间才可以反映出配置的更改。在任何时候,您可以调整更新的机器数量来加快进程速度。

  1. 运行:

    $ oc edit machineconfigpool worker
  2. maxUnavailable 设为所需值。

    spec:
      maxUnavailable: <node_count>
    重要

    当设置该值时,请考虑无法使用的 worker 节点数量,而不影响在集群中运行的应用程序。