11.2. 置备实时和低延迟工作负载

1. 可选：在 OpenShift Container Platform 集群中添加节点。请参阅为系统调整设置 BIOS 参数。
2. 使用 oc 命令将标签 worker-rt 添加到需要实时功能的 worker 节点。

3. 为实时节点创建新机器配置池：

   apiVersion: machineconfiguration.openshift.io/v1
   kind: MachineConfigPool
   metadata:
     name: worker-rt
     labels:
       machineconfiguration.openshift.io/role: worker-rt
   spec:
     machineConfigSelector:
       matchExpressions:
         - {
              key: machineconfiguration.openshift.io/role,
              operator: In,
              values: [worker, worker-rt],
           }
     paused: false
     nodeSelector:
       matchLabels:
         node-role.kubernetes.io/worker-rt: ""

   请注意，为具有标签 worker-rt 标签的节点组创建一个机器配置池 worker-rt。

4. 使用节点角色标签将节点添加到正确的机器配置池。

   注意

   您必须决定使用实时工作负载配置哪些节点。您可以配置集群中的所有节点，或配置节点的子集。期望所有节点都是专用机器配置池的一部分的 Node Tuning Operator。如果使用所有节点，您必须将 Node Tuning Operator 指向 worker 节点角色标签。如果使用子集，您必须将节点分组到新机器配置池中。

5. 使用正确的 housekeeping 内核和 realTimeKernel: enabled: true 创建 PerformanceProfile。

6. 您必须在 PerformanceProfile 中设置 MachineConfigPoolSelector ：

     apiVersion: performance.openshift.io/v2
     kind: PerformanceProfile
     metadata:
      name: example-performanceprofile
     spec:
     ...
       realTimeKernel:
         enabled: true
       nodeSelector:
          node-role.kubernetes.io/worker-rt: ""
       machineConfigPoolSelector:
          machineconfiguration.openshift.io/role: worker-rt

7. 验证匹配的机器配置池是否存在一个标签：

   $ oc describe mcp/worker-rt

   输出示例

   Name:         worker-rt
   Namespace:
   Labels:       machineconfiguration.openshift.io/role=worker-rt

8. OpenShift Container Platform 将开始配置节点，这可能涉及多次重启。等待节点处于稳定状态。这个过程所需要的时间取决于您所使用的具体硬件，预计每个节点需要 20 分钟。
9. 验证所有内容是否按预期工作。

流程

1. 创建带有 Guaranteed 类 QoS 类的 pod。
2. 可选：禁用 DPDK 的 CPU 负载均衡。
3. 分配正确的节点选择器。

1. 创建 pod：

   $ oc  apply -f qos-pod.yaml --namespace=qos-example

2. 查看有关 pod 的详细信息：

   $ oc get pod qos-demo --namespace=qos-example --output=yaml

   输出示例

   spec:
     containers:
       ...
   status:
     qosClass: Guaranteed

   注意

   如果容器指定了自己的内存限值，但没有指定内存请求，OpenShift Container Platform 会自动分配与限制匹配的内存请求。同样，如果容器指定了自己的 CPU 限值，但没有指定 CPU 请求，OpenShift Container Platform 会自动分配与限制匹配的 CPU 请求。

1. 在性能配置集中设置离线 CPU 并保存 YAML 文件的内容：

   带有离线 CPU 的性能配置集示例

   apiVersion: performance.openshift.io/v2
   kind: PerformanceProfile
   metadata:
     name: performance
   spec:
     additionalKernelArgs:
     - nmi_watchdog=0
     - audit=0
     - mce=off
     - processor.max_cstate=1
     - intel_idle.max_cstate=0
     - idle=poll
     cpu:
       isolated: "2-23,26-47"
       reserved: "0,1,24,25"
       offlined: "48-59" 1
     nodeSelector:
       node-role.kubernetes.io/worker-cnf: ""
     numa:
       topologyPolicy: single-numa-node
     realTimeKernel:
       enabled: true

   1

   可选。您可以在 offlined 字段中列出 CPU，使指定的 CPU 离线。

2. 运行以下命令来应用更新的配置集：

   $ oc apply -f my-performance-profile.yaml

流程

1. 使用将每个 pod-power-management 设置为 true 来生成 PerformanceProfile ：

   $ podman run --entrypoint performance-profile-creator -v \
   /must-gather:/must-gather:z registry.redhat.io/openshift4/ose-cluster-node-tuning-operator:v4.12 \
   --mcp-name=worker-cnf --reserved-cpu-count=20 --rt-kernel=true \
   --split-reserved-cpus-across-numa=false --topology-manager-policy=single-numa-node \
   --must-gather-dir-path /must-gather -power-consumption-mode=low-latency \ 1
   --per-pod-power-management=true > my-performance-profile.yaml

   1

   当将 per-pod-power-management 设置为 true 时，power-consumption-mode 必须是 default 或 low-latency。

   带有 perPodPowerManagement的 PerformanceProfile 示例

   apiVersion: performance.openshift.io/v2
   kind: PerformanceProfile
   metadata:
        name: performance
   spec:
       [.....]
       workloadHints:
           realTime: true
           highPowerConsumption: false
           perPodPowerManagement: true

2. 在 PerformanceProfile 自定义资源(CR) 中将默认 cpufreq 调控器设置为附加内核参数：

   apiVersion: performance.openshift.io/v2
   kind: PerformanceProfile
   metadata:
        name: performance
   spec:
       ...
       additionalKernelArgs:
       - cpufreq.default_governor=schedutil 1

   1

   建议使用 schedutil 管理器，但您可以使用其他监管器，如 ondemand 或 powersave governors。

3. 在 Tuned PerformancePatch CR 中设置最大 CPU 频率：

   spec:
     profile:
     - data: |
         [sysfs]
         /sys/devices/system/cpu/intel_pstate/max_perf_pct = <x> 1

   1

   max_perf_pct 控制 cpufreq 驱动程序的最大频率，以最大百分比的形式设置支持的 cpu 频率。这个值适用于所有 CPU。您可以检查 /sys/devices/system/cpu/cpu0/cpufreq/cpuinfo_max_freq 中的最大支持频率。作为起点，您可以使用以 All Cores Turbo 频率封装所有 CPU 的百分比。All Cores Turbo 频率是所有内核在运行的频率，当内核完全占用时。

4. 将所需的注解添加到高优先级工作负载 pod。注解会覆盖默认设置。

   高优先级工作负载注解示例

   apiVersion: v1
   kind: Pod
   metadata:
     ...
     annotations:
       ...
       cpu-c-states.crio.io: "disable"
       cpu-freq-governor.crio.io: "<governor>"
       ...
     ...
   spec:
     ...
     runtimeClassName: performance-<profile_name>
     ...

5. 重启 pod。