13.2. 更改集群 MTU

作为集群管理员，您可以更改集群的最大传输单元(MTU)。当 MTU 更新推出时，集群中的迁移具有破坏性且节点可能会临时不可用。

以下流程描述了如何使用机器配置、DHCP 或 ISO 更改集群 MTU。如果使用 DHCP 或 ISO 方法，则必须在安装集群后保留的配置工件来完成此流程。

先决条件

  • 已安装 OpenShift CLI（oc）。
  • 使用具有 cluster-admin 权限的用户登陆到集群。

  • 已为集群识别目标 MTU。正确的 MTU 因集群使用的网络插件而异：

    • OVN-Kubernetes: 集群 MTU 必须设置为比集群中的最低硬件 MTU 值小 100。
    • OpenShift SDN ：集群 MTU 必须设置为比集群中的最低硬件 MTU 值小 50。

流程

要增加或减少集群网络的 MTU，请完成以下步骤。

  1. 要获得集群网络的当前 MTU，请输入以下命令： 

    $ oc describe network.config cluster

    输出示例

    ...
Status:
  Cluster Network:
    Cidr:               10.217.0.0/22
    Host Prefix:        23
  Cluster Network MTU:  1400
  Network Type:         OpenShiftSDN
  Service Network:
    10.217.4.0/23
...

  2. 为硬件 MTU 准备配置：

    • 如果您的硬件 MTU 通过 DHCP 指定，请使用以下 dnsmasq 配置更新 DHCP 配置： 

      dhcp-option-force=26,<mtu>

      其中：

      <mtu>
      指定要公告的 DHCP 服务器的硬件 MTU。
    • 如果使用 PXE 的内核命令行指定硬件 MTU，请相应地更新该配置。

    • 如果在 NetworkManager 连接配置中指定了硬件 MTU，请完成以下步骤。如果没有使用 DHCP、内核命令行或某种其他方法显式指定网络配置，则此方法是 OpenShift Container Platform 的默认方法。集群节点必须全部使用相同的底层网络配置，才能使以下过程未经修改地工作。

      1. 查找主网络接口：

        • 如果使用 OpenShift SDN 网络插件，请输入以下命令： 

          $ oc debug node/<node_name> -- chroot /host ip route list match 0.0.0.0/0 | awk '{print $5 }'

          其中：

          <node_name>
          指定集群中的节点的名称。

        • 如果使用 OVN-Kubernetes 网络插件，请输入以下命令： 

          $ oc debug node/<node_name> -- chroot /host nmcli -g connection.interface-name c show ovs-if-phys0

          其中：

          <node_name>
          指定集群中的节点的名称。

      2. 在 <interface>-mtu.conf 文件中创建以下 NetworkManager 配置：

        NetworkManager 连接配置示例

        [connection-<interface>-mtu]
match-device=interface-name:<interface>
ethernet.mtu=<mtu>

        其中：

        <mtu>
        指定新的硬件 MTU 值。
        <interface>
        指定主网络接口名称。

      3. 创建两个 MachineConfig 对象，一个用于 control plane 节点，另一个用于集群中的 worker 节点：

        1. 在 control-plane-interface.bu 文件中创建以下 Butane 配置： 

          variant: openshift
version: 4.12.0
metadata:
  name: 01-control-plane-interface
  labels:
    machineconfiguration.openshift.io/role: master
storage:
  files:
    - path: /etc/NetworkManager/conf.d/99-<interface>-mtu.conf 1
      contents:
        local: <interface>-mtu.conf 2
      mode: 0600
          1 1
          指定主网络接口的 NetworkManager 连接名称。
          2
          指定上一步中更新的 NetworkManager 配置文件的本地文件名。

        2. 在 worker-interface.bu 文件中创建以下 Butane 配置： 

          variant: openshift
version: 4.12.0
metadata:
  name: 01-worker-interface
  labels:
    machineconfiguration.openshift.io/role: worker
storage:
  files:
    - path: /etc/NetworkManager/conf.d/99-<interface>-mtu.conf 1
      contents:
        local: <interface>-mtu.conf 2
      mode: 0600
          1
          指定主网络接口的 NetworkManager 连接名称。
          2
          指定上一步中更新的 NetworkManager 配置文件的本地文件名。

        3. 运行以下命令，从 Butane 配置创建 MachineConfig 对象： 

          $ for manifest in control-plane-interface worker-interface; do
    butane --files-dir . $manifest.bu > $manifest.yaml
  done

  3. 要开始 MTU 迁移，请输入以下命令指定迁移配置。Machine Config Operator 在集群中执行节点的滚动重启，以准备 MTU 更改。 

    $ oc patch Network.operator.openshift.io cluster --type=merge --patch \
  '{"spec": { "migration": { "mtu": { "network": { "from": <overlay_from>, "to": <overlay_to> } , "machine": { "to" : <machine_to> } } } } }'

    其中：

    <overlay_from>
    指定当前的集群网络 MTU 值。
    <overlay_to>
    指定集群网络的目标 MTU。这个值相对于 <machine_to>，对于 OVN-Kubernetes，值必须小 100，OpenShift SDN 必须小 50。
    <machine_to>
    指定底层主机网络上的主网络接口的 MTU。

    增加集群 MTU 的示例

    $ oc patch Network.operator.openshift.io cluster --type=merge --patch \
  '{"spec": { "migration": { "mtu": { "network": { "from": 1400, "to": 9000 } , "machine": { "to" : 9100} } } } }'

  4. 当 MCO 更新每个机器配置池中的机器时，它会逐一重启每个节点。您必须等到所有节点都已更新。输入以下命令检查机器配置池状态： 

    $ oc get mcp

    成功更新的节点具有以下状态： UPDATED=true、UPDATING=false、DEGRADED=false。

    注意

    默认情况下，MCO 会一次在一个池中更新一个机器，从而导致迁移总时间随着集群大小的增加而增加。

  5. 确认主机上新机器配置的状态：

    1. 要列出机器配置状态和应用的机器配置名称，请输入以下命令： 

      $ oc describe node | egrep "hostname|machineconfig"

      输出示例

      kubernetes.io/hostname=master-0
machineconfiguration.openshift.io/currentConfig: rendered-master-c53e221d9d24e1c8bb6ee89dd3d8ad7b
machineconfiguration.openshift.io/desiredConfig: rendered-master-c53e221d9d24e1c8bb6ee89dd3d8ad7b
machineconfiguration.openshift.io/reason:
machineconfiguration.openshift.io/state: Done

      验证以下语句是否正确：

      • machineconfiguration.openshift.io/state 字段的值为 Done。
      • machineconfiguration.openshift.io/currentConfig 字段的值等于 machineconfiguration.openshift.io/desiredConfig 字段的值。

    2. 要确认机器配置正确，请输入以下命令： 

      $ oc get machineconfig <config_name> -o yaml | grep ExecStart

      这里的 <config_name> 是 machineconfiguration.openshift.io/currentConfig 字段中机器配置的名称。

      机器配置必须包括以下对 systemd 配置的更新： 

      ExecStart=/usr/local/bin/mtu-migration.sh

  6. 更新底层网络接口 MTU 值：

    • 如果您要使用 NetworkManager 连接配置指定新 MTU，请输入以下命令。MachineConfig Operator 会自动执行集群中节点的滚动重启。 

      $ for manifest in control-plane-interface worker-interface; do
    oc create -f $manifest.yaml
  done
    • 如果您要使用 DHCP 服务器选项或内核命令行和 PXE 指定新 MTU，请对基础架构进行必要的更改。

  7. 当 MCO 更新每个机器配置池中的机器时，它会逐一重启每个节点。您必须等到所有节点都已更新。输入以下命令检查机器配置池状态： 

    $ oc get mcp

    成功更新的节点具有以下状态： UPDATED=true、UPDATING=false、DEGRADED=false。

    注意

    默认情况下，MCO 会一次在一个池中更新一个机器，从而导致迁移总时间随着集群大小的增加而增加。

  8. 确认主机上新机器配置的状态：

    1. 要列出机器配置状态和应用的机器配置名称，请输入以下命令： 

      $ oc describe node | egrep "hostname|machineconfig"

      输出示例

      kubernetes.io/hostname=master-0
machineconfiguration.openshift.io/currentConfig: rendered-master-c53e221d9d24e1c8bb6ee89dd3d8ad7b
machineconfiguration.openshift.io/desiredConfig: rendered-master-c53e221d9d24e1c8bb6ee89dd3d8ad7b
machineconfiguration.openshift.io/reason:
machineconfiguration.openshift.io/state: Done

      验证以下语句是否正确：

      • machineconfiguration.openshift.io/state 字段的值为 Done。
      • machineconfiguration.openshift.io/currentConfig 字段的值等于 machineconfiguration.openshift.io/desiredConfig 字段的值。

    2. 要确认机器配置正确，请输入以下命令： 

      $ oc get machineconfig <config_name> -o yaml | grep path:

      这里的 <config_name> 是 machineconfiguration.openshift.io/currentConfig 字段中机器配置的名称。

      如果成功部署机器配置，则前面的输出包含 /etc/NetworkManager/system-connections/<connection_name> 文件路径。

      机器配置不得包含 ExecStart=/usr/local/bin/mtu-migration.sh 行。

  9. 要完成 MTU 迁移，请输入以下命令之一：

    • 如果使用 OVN-Kubernetes 网络插件： 

      $ oc patch Network.operator.openshift.io cluster --type=merge --patch \
  '{"spec": { "migration": null, "defaultNetwork":{ "ovnKubernetesConfig": { "mtu": <mtu> }}}}'

      其中：

      <mtu>
      指定您使用 <overlay_to> 指定的新集群网络 MTU。

    • 如果使用 OpenShift SDN 网络插件： 

      $ oc patch Network.operator.openshift.io cluster --type=merge --patch \
  '{"spec": { "migration": null, "defaultNetwork":{ "openshiftSDNConfig": { "mtu": <mtu> }}}}'

      其中：

      <mtu>
      指定您使用 <overlay_to> 指定的新集群网络 MTU。

  10. 最终调整 MTU 迁移后，每个 MCP 节点会逐个重启。您必须等到所有节点都已更新。输入以下命令检查机器配置池状态： 

    $ oc get mcp

    成功更新的节点具有以下状态： UPDATED=true、UPDATING=false、DEGRADED=false。

验证

您可以验证集群中的节点是否使用上一步中指定的 MTU。

  1. 要获得集群网络的当前 MTU，请输入以下命令： 

    $ oc describe network.config cluster

  2. 获取节点的主网络接口的当前 MTU。

    1. 要列出集群中的节点，请输入以下命令： 

      $ oc get nodes

    2. 要获取节点上主网络接口的当前 MTU 设置，请输入以下命令： 

      $ oc debug node/<node> -- chroot /host ip address show <interface>

      其中：

      <node>
      指定上一步中的输出节点。
      <interface>
      指定节点的主网络接口名称。

      输出示例

      ens3: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 8051