17.6. 优化虚拟机 CPU 性能

流程

1. 调整可以附加到虚拟机的最大 vCPU 数量，其在虚拟机下次启动时生效。

   例如，要将 testguest 虚拟机的最大 vCPU 数量增加到 8:

   # virsh setvcpus testguest 8 --maximum --config

   请注意，最大值可能会受 CPU 拓扑、主机硬件、hypervisor 和其他因素的限制。

2. 将当前附加到虚拟机的 vCPU 数量调整到上一步中配置的最大值。例如：

   • 将附加到正在运行的 testguest 虚拟机的 vCPU 数量增加到 4:

     # virsh setvcpus testguest 4 --live

     这会增加虚拟机的性能和主机的 testguest 负载占用，直到虚拟机下次引导为止。

   • 将附加到 testguest 虚拟机的 vCPU 数量永久减少至 1：

     # virsh setvcpus testguest 1 --config

     这会降低虚拟机的性能和 testguest 的主机负载占用。但是，如果需要可热插入虚拟机以暂时提高性能。

流程

1. 在 Virtual Machines 界面中，点击您要查看其信息的虚拟机。

   此时将打开一个新页面，其中包含关于所选虚拟机基本信息的概述部分，以及用于访问虚拟机的图形界面的控制台部分。

2. 单击概述窗格中 vCPU 数旁边的 edit。

   此时会出现 vCPU 详情对话框。

   

1. 为所选虚拟机配置虚拟 CPU。

   • vCPU 数量 - 当前正在使用的 vCPU 数量。

     注意

     vCPU 数量不能超过 vCPU 的最大值。

   • vCPU 最大 - 可为虚拟机配置的最大虚拟 CPU 数。如果这个值大于 vCPU Count，可以为虚拟机附加额外的 vCPU。
   • 插槽 - 向虚拟机公开的插槽数量。
   • 每个插槽的内核数 - 向虚拟机公开的每个插槽的内核数。

   • 每个内核的线程数 - 向虚拟机公开的每个内核的线程数。

     请注意， 插槽、每个插槽的内核数和每个内核的线程数选项调整了虚拟机的 CPU 拓扑。这可能对 vCPU 性能有好处，但可能会影响客户机操作系统中某些软件的功能。如果您的部署不需要不同的设置，请保留默认值。

2. 点应用。

   配置了虚拟机的虚拟 CPU。

   注意

   对虚拟 CPU 设置的更改仅在重启虚拟机后生效。

1. 将特定 vCPU 线程固定到特定主机 CPU 或者 CPU 范围。在非 NUMA 主机和虚拟机上也可以这样做，我们推荐您使用一种安全的方法来提高 vCPU 性能。

   例如，以下命令将 testguest6 虚拟机的 vCPU 线程 0 到 5 分别固定到主机 CPU 1、3、5、7、9 和 11：

   # virsh vcpupin testguest6 0 1
   # virsh vcpupin testguest6 1 3
   # virsh vcpupin testguest6 2 5
   # virsh vcpupin testguest6 3 7
   # virsh vcpupin testguest6 4 9
   # virsh vcpupin testguest6 5 11

   之后，您可以验证操作是否成功：

   # virsh vcpupin testguest6
   VCPU   CPU Affinity
   ----------------------
   0      1
   1      3
   2      5
   3      7
   4      9
   5      11

2. 固定 vCPU 线程后，您还可以将与指定虚拟机关联的 QEMU 进程线程固定到特定的主机 CPU 或 CPU 范围。例如：以下命令将 testguest6 的 QEMU 进程线程 固定到 CPU 13 和 15，确认成功：

   # virsh emulatorpin testguest6 13,15
   # virsh emulatorpin testguest6
   emulator: CPU Affinity
   ----------------------------------
          *: 13,15

3. 最后，您也可以指定将哪些主机 NUMA 节点专门分配给某个虚拟机。这可提高虚拟机 vCPU 的主机内存用量。例如，以下命令将 testguest6 设置为使用主机 NUMA 节点 3 到 5，确认成功：

   # virsh numatune testguest6 --nodeset 3-5
   # virsh numatune testguest6

解决方案

1. 获取有关主机拓扑的信息：

   # virsh capabilities

   输出应包含类似如下的部分：

   <topology>
     <cells num="2">
       <cell id="0">
         <memory unit="KiB">15624346</memory>
         <pages unit="KiB" size="4">3906086</pages>
         <pages unit="KiB" size="2048">0</pages>
         <pages unit="KiB" size="1048576">0</pages>
         <distances>
           <sibling id="0" value="10" />
           <sibling id="1" value="21" />
         </distances>
         <cpus num="6">
           <cpu id="0" socket_id="0" core_id="0" siblings="0,3" />
           <cpu id="1" socket_id="0" core_id="1" siblings="1,4" />
           <cpu id="2" socket_id="0" core_id="2" siblings="2,5" />
           <cpu id="3" socket_id="0" core_id="0" siblings="0,3" />
           <cpu id="4" socket_id="0" core_id="1" siblings="1,4" />
           <cpu id="5" socket_id="0" core_id="2" siblings="2,5" />
         </cpus>
       </cell>
       <cell id="1">
         <memory unit="KiB">15624346</memory>
         <pages unit="KiB" size="4">3906086</pages>
         <pages unit="KiB" size="2048">0</pages>
         <pages unit="KiB" size="1048576">0</pages>
         <distances>
           <sibling id="0" value="21" />
           <sibling id="1" value="10" />
         </distances>
         <cpus num="6">
           <cpu id="6" socket_id="1" core_id="3" siblings="6,9" />
           <cpu id="7" socket_id="1" core_id="4" siblings="7,10" />
           <cpu id="8" socket_id="1" core_id="5" siblings="8,11" />
           <cpu id="9" socket_id="1" core_id="3" siblings="6,9" />
           <cpu id="10" socket_id="1" core_id="4" siblings="7,10" />
           <cpu id="11" socket_id="1" core_id="5" siblings="8,11" />
         </cpus>
       </cell>
     </cells>
   </topology>

2. 可选： 使用适用的工具和实用程序测试虚拟机的性能。

3. 在主机上设置并挂载 1 GiB 巨页：

   1. 在主机的内核命令行中添加以下行：

      default_hugepagesz=1G hugepagesz=1G

   2. 使用以下内容创建 /etc/systemd/system/hugetlb-gigantic-pages.service 文件：

      [Unit]
      Description=HugeTLB Gigantic Pages Reservation
      DefaultDependencies=no
      Before=dev-hugepages.mount
      ConditionPathExists=/sys/devices/system/node
      ConditionKernelCommandLine=hugepagesz=1G
      
      [Service]
      Type=oneshot
      RemainAfterExit=yes
      ExecStart=/etc/systemd/hugetlb-reserve-pages.sh
      
      [Install]
      WantedBy=sysinit.target

   3. 使用以下内容创建 /etc/systemd/hugetlb-reserve-pages.sh 文件：

      #!/bin/sh
      
      nodes_path=/sys/devices/system/node/
      if [ ! -d $nodes_path ]; then
      	echo "ERROR: $nodes_path does not exist"
      	exit 1
      fi
      
      reserve_pages()
      {
      	echo $1 > $nodes_path/$2/hugepages/hugepages-1048576kB/nr_hugepages
      }
      
      reserve_pages 4 node1
      reserve_pages 4 node2

      这会从 node1 保留 4 个 1GiB 巨页，并在 node2 中保留 4 个 1GiB 巨页。

   4. 使在上一步中创建的脚本可执行：

      # chmod +x /etc/systemd/hugetlb-reserve-pages.sh

   5. 在引导时启用巨页保留：

      # systemctl enable hugetlb-gigantic-pages

4. 使用 virsh edit 命令编辑您要优化的虚拟机的 XML 配置，在本例中为 super-VM ：

   # virsh edit super-vm

5. 用以下方法调整虚拟机的 XML 配置：

   1. 将虚拟机设置为使用 8 个静态 vCPU。使用 <vcpu/> 元素来执行此操作。

   2. 将每个 vCPU 线程固定到拓扑中镜像的对应主机 CPU 线程。为此，请在 <cputune> 部分中使用 <vcpupin/> 元素。

      请注意，如上面 virsh capabilities 工具所示，主机 CPU 线程在各自的内核中不是按顺序排序的。此外，vCPU 线程应固定到同一 NUMA 节点上最多可用的主机核集合。有关表图，请查看以下 示例拓扑 部分。

      步骤 a. 和 b. 的 XML 配置类似：

      <cputune>
        <vcpupin vcpu='0' cpuset='1'/>
        <vcpupin vcpu='1' cpuset='4'/>
        <vcpupin vcpu='2' cpuset='2'/>
        <vcpupin vcpu='3' cpuset='5'/>
        <vcpupin vcpu='4' cpuset='7'/>
        <vcpupin vcpu='5' cpuset='10'/>
        <vcpupin vcpu='6' cpuset='8'/>
        <vcpupin vcpu='7' cpuset='11'/>
        <emulatorpin cpuset='6,9'/>
      </cputune>

   3. 将虚拟机设置为使用 1 GiB 巨页：

      <memoryBacking>
        <hugepages>
          <page size='1' unit='GiB'/>
        </hugepages>
      </memoryBacking>

   4. 配置虚拟机的 NUMA 节点，使其使用主机上对应的 NUMA 节点的内存。要做到这一点，请在 <numatune/> 部分中使用 <memnode/> 元素：

      <numatune>
        <memory mode="preferred" nodeset="1"/>
        <memnode cellid="0" mode="strict" nodeset="0"/>
        <memnode cellid="1" mode="strict" nodeset="1"/>
      </numatune>

   5. 确保 CPU 模式设为 host-passthrough，且 CPU 在 passthrough 模式下使用缓存：

      <cpu mode="host-passthrough">
        <topology sockets="2" cores="2" threads="2"/>
        <cache mode="passthrough"/>

验证

1. 确认生成的虚拟机 XML 配置包含类似如下内容：

   [...]
     <memoryBacking>
       <hugepages>
         <page size='1' unit='GiB'/>
       </hugepages>
     </memoryBacking>
     <vcpu placement='static'>8</vcpu>
     <cputune>
       <vcpupin vcpu='0' cpuset='1'/>
       <vcpupin vcpu='1' cpuset='4'/>
       <vcpupin vcpu='2' cpuset='2'/>
       <vcpupin vcpu='3' cpuset='5'/>
       <vcpupin vcpu='4' cpuset='7'/>
       <vcpupin vcpu='5' cpuset='10'/>
       <vcpupin vcpu='6' cpuset='8'/>
       <vcpupin vcpu='7' cpuset='11'/>
       <emulatorpin cpuset='6,9'/>
     </cputune>
     <numatune>
       <memory mode="preferred" nodeset="1"/>
       <memnode cellid="0" mode="strict" nodeset="0"/>
       <memnode cellid="1" mode="strict" nodeset="1"/>
     </numatune>
     <cpu mode="host-passthrough">
       <topology sockets="2" cores="2" threads="2"/>
       <cache mode="passthrough"/>
       <numa>
         <cell id="0" cpus="0-3" memory="2" unit="GiB">
           <distances>
             <sibling id="0" value="10"/>
             <sibling id="1" value="21"/>
           </distances>
         </cell>
         <cell id="1" cpus="4-7" memory="2" unit="GiB">
           <distances>
             <sibling id="0" value="21"/>
             <sibling id="1" value="10"/>
           </distances>
         </cell>
       </numa>
     </cpu>
   </domain>

2. 可选： 使用 适用的工具和实用程序测试虚拟机的性能，以评估虚拟机优化的影响。

1. 安装 ksmtuned 服务：

   # dnf install ksmtuned

2. 启动服务：

   • 要为单个会话启用 KSM，请使用 systemctl 程序启动 ksm 和 ksmtuned 服务。

     # systemctl start ksm
     # systemctl start ksmtuned

   • 要永久启用 KSM，请使用 systemctl 程序启用 ksm 和 ksmtuned 服务。

     # systemctl enable ksm
     Created symlink /etc/systemd/system/multi-user.target.wants/ksm.service → /usr/lib/systemd/system/ksm.service
     
     # systemctl enable ksmtuned
     Created symlink /etc/systemd/system/multi-user.target.wants/ksmtuned.service → /usr/lib/systemd/system/ksmtuned.service