流程

1. 将 /usr/share/openstack-tripleo-heat-templates/environments/enable-swap.yaml 文件复制到环境文件目录中：

   $ cp /usr/share/openstack-tripleo-heat-templates/environments/enable-swap.yaml /home/stack/templates/enable-swap.yaml

2. 通过在 enable-swap.yaml 文件中添加以下参数来配置 swap 大小：

   parameter_defaults:
     swap_size_megabytes: <swap size in MB>
     swap_path: <full path to location of swap, default: /swap>

3. 使用其他环境文件将 enable_swap.yaml 环境文件添加到堆栈中，并部署 overcloud：

   (undercloud)$ openstack overcloud deploy --templates \
     -e [your environment files] \
     -e /home/stack/templates/enable-swap.yaml

1. 为 CPU 固定指定 Compute 节点。
2. 配置 Compute 节点，为固定实例 vCPU 进程、浮动实例 vCPU 进程和主机进程保留主机内核。
3. 部署 overcloud。
4. 创建类别以启动需要 CPU 固定的实例。
5. 创建类别，以启动使用共享或浮动 CPU 的实例。

流程

1. 以 stack 用户的身份登录 undercloud。
2. 打开您的计算环境文件。

3. 要为需要 CPU 固定的实例保留物理 CPU 内核，请在计算环境文件中配置 NovaComputeCpuDedicatedSet 参数。例如，以下配置在带有 32 核 CPU 的 Compute 节点上设置专用 CPU：

   parameter_defaults:
     ...
     NovaComputeCpuDedicatedSet: 2-15,18-31
     ...

   如需更多信息，请参阅在 Compute 节点上配置 CPU 固定。

4. 要为仿真程序线程保留物理 CPU 内核，请在计算环境文件中配置 NovaComputeCpuSharedSet 参数。例如，以下配置在带有 32 核 CPU 的 Compute 节点上设置共享 CPU：

   parameter_defaults:
     ...
     NovaComputeCpuSharedSet: 0,1,16,17
     ...

   注意

   计算调度程序也对在共享或浮动 CPU 上运行的实例使用共享集合中的 CPU。如需更多信息，请参阅在 Compute 节点上配置 CPU 固定

5. 将 Compute 调度程序过滤器 NUMATopologyFilter 添加到 NovaSchedulerDefaultFilters 参数中（如果不存在）。

6. 使用其他环境文件将计算环境文件添加到堆栈中，并部署 overcloud：

   (undercloud)$ openstack overcloud deploy --templates \
    -e [your environment files] \
    -e /home/stack/templates/<compute_environment_file>.yaml

7. 配置一个类别，其在专用 CPU 上运行实例仿真程序线程，该 CPU 从使用 NovaComputeCpuSharedSet 配置的共享 CPU 中选择：

   (overcloud)$ openstack flavor set --property hw:cpu_policy=dedicated \
    --property hw:emulator_threads_policy=share \
    dedicated_emulator_threads

   有关 hw:emulator_threads_policy 的配置选项的更多信息，请参阅 类别元数据中的 仿真程序线程 策略。

流程

1. 打开您的计算环境文件。

2. 配置巨页内存量，以在每个 NUMA 节点上为不是实例的进程保留：

   parameter_defaults:
     ComputeParameters:
       NovaReservedHugePages: ["node:0,size:1GB,count:1","node:1,size:1GB,count:1"]

   • 将每个节点的 大小 值替换为分配的巨页的大小。设置为以下有效值之一：

     • 2048 （用于 2MB）
     • 1GB
   • 将每个节点的 计数 值替换为每个 NUMA 节点 OVS 使用的巨页数。例如，对于 Open vSwitch 使用的插槽内存 4096，将其设置为 2。

3. 在 Compute 节点上配置巨页：

   parameter_defaults:
     ComputeParameters:
       ...
       KernelArgs: "default_hugepagesz=1GB hugepagesz=1G hugepages=32"

   注意

   如果配置多个巨页大小，还必须在第一次引导过程中挂载巨页文件夹。如需更多信息，请参阅 第一次引导过程中挂载多个巨页文件夹。

4. 可选： 要允许实例分配 1GB 巨页，请配置 CPU 功能标记 NovaLibvirtCPUModelExtraFlags，使其包含 pdpe1gb ：

   parameter_defaults:
     ComputeParameters:
       NovaLibvirtCPUMode: 'custom'
       NovaLibvirtCPUModels: 'Haswell-noTSX'
       NovaLibvirtCPUModelExtraFlags: 'vmx, pdpe1gb'

   注意

   • CPU 功能标志不需要配置为仅允许实例请求 2 MB 巨页。
   • 只有主机支持 1G 巨页分配时，您只能为实例分配 1G 巨页。
   • 当将 NovaLibvirtCPUModelExtraFlags 设置为 host-model 或 custom 时，您只需要将 NovaLibvirtCPUModelExtraFlags 设置为 pdpe1gb。
   • 如果主机支持 pdpe1gb，并且 host-passthrough 用作 NovaLibvirtCPUMode，那么您不需要将 pdpe1gb 设置为 NovaLibvirtCPUModelExtraFlags。pdpe1gb 标志仅包含在 Exit_G4 和 the_G5 CPU 模型中，它不包含在 QEMU 支持的任何 Intel CPU 模型中。
   • 要缓解 CPU 硬件问题，如 Microarchitectural Data Sampling (MDS)，您可能需要配置其他 CPU 标志。如需更多信息，请参阅 MDS 的 RHOS Mitigation for MDS ("Microarchitectural Data Sampling") Security Flaws。

5. 为了避免应用 Meltdown 保护后性能丢失，请将 CPU 功能标记 NovaLibvirtCPUModelExtraFlags 配置为包含 +pcid ：

   parameter_defaults:
     ComputeParameters:
       NovaLibvirtCPUMode: 'custom'
       NovaLibvirtCPUModels: 'Haswell-noTSX'
       NovaLibvirtCPUModelExtraFlags: 'vmx, pdpe1gb, +pcid'

   提示

   如需更多信息，请参阅 使用 "PCID" CPU 功能标记为 OpenStack 客户端降低 Meltdown CVE 修复的性能影响。

6. 将 NUMATopologyFilter 添加到 NovaSchedulerDefaultFilters 参数中（如果不存在）。

7. 使用其他环境文件将计算环境文件添加到堆栈中，并部署 overcloud：

   (undercloud)$ openstack overcloud deploy --templates \
     -e [your environment files]  \
     -e /home/stack/templates/<compute_environment_file>.yaml

流程

1. 打开您的计算环境文件。

2. 通过在 Compute 环境文件中添加以下参数，将主机磁盘空间（以 MiB 为单位）配置为可用于实例 RAM：

   parameter_defaults:
     NovaLibvirtFileBackedMemory: 102400

3. 可选： 要将目录配置为存储内存后备文件，请在 Compute 环境文件中设置 QemuMemoryBackingDir 参数。如果没有设置，内存后备目录默认为 /var/lib/libvirt/qemu/ram/。

   注意

   您必须将后备存储位于位于默认目录位置( /var/lib/libvirt/qemu/ram/ )的目录中。

   您还可以更改后备存储的主机磁盘。如需更多信息，请参阅 更改内存后备目录主机磁盘。

4. 保存对 Compute 环境文件的更新。

5. 使用其他环境文件将计算环境文件添加到堆栈中，并部署 overcloud：

   (undercloud)$ openstack overcloud deploy --templates \
     -e [your environment files] \
     -e /home/stack/templates/<compute_environment_file>.yaml

流程

1. 以 stack 用户的身份登录 undercloud。

2. Source stackrc 文件：

   [stack@director ~]$ source ~/stackrc

3. 创建一个环境文件来配置共享实例存储，如 nfs_instance_disk_backend.yaml。

4. 要为实例文件配置 NFS 后端，请在 nfs_instance_disk_backend.yaml 中添加以下配置：

   parameter_defaults:
     ...
     NovaNfsEnabled: True
     NovaNfsShare: <nfs_share>

   将 <nfs_share > 替换为要挂载实例文件存储的 NFS 共享目录，例如 '192.168.122.1:/export/nova' 或 '192.168.24.1:/var/nfs'。如果使用 IPv6，则同时使用双和单引号，例如 "'[fdd0::1]:/export/nova' "。

5. 可选：当 NFS 后端存储被启用，NFS 存储的默认挂载 SELinux 上下文是 'context=system_u:object_r:nova_var_lib_t:s0'。添加以下参数以修改 NFS 实例文件存储挂载点的挂载选项：

   parameter_defaults:
     ...
     NovaNfsOptions: 'context=system_u:object_r:nova_var_lib_t:s0,<additional_nfs_mount_options>'

   将 < additional_nfs_mount_options > 替换为您要用于 NFS 实例文件存储的挂载选项的逗号分隔列表。有关可用挂载选项的详情，请查看 mount man page：

   $ man 8 mount.

6. 保存对环境文件的更新。

7. 使用其他环境文件将您的新环境文件添加到堆栈中，并部署 overcloud：

   (undercloud)$ openstack overcloud deploy --templates \
     -e [your environment files] \
     -e /home/stack/templates/nfs_instance_disk_backend.yaml

流程

1. 以 stack 用户的身份登录 undercloud。

2. Source stackrc 文件：

   [stack@director ~]$ source ~/stackrc

3. 生成一个名为 roles_data_pci_passthrough.yaml 的新角色数据文件，其中包含 Controller, Compute, 和 ComputeCPI 角色：

   (undercloud)$ openstack overcloud roles \
    generate -o /home/stack/templates/roles_data_pci_passthrough.yaml \
    Compute:ComputePCI Compute Controller

4. 打开 roles_data_pci_passthrough.yaml 并编辑或添加以下参数和部分：

   section/Parameter	当前值	新值
   角色注释	Role: Compute	Role: ComputePCI
   角色名称	名称 ：Compute	name: ComputePCI
   description	基本 Compute 节点角色	PCI Passthrough Compute 节点角色
   HostnameFormatDefault	%stackname%-novacompute-%index%	%stackname%-novacomputepci-%index%
   deprecated_nic_config_name	compute.yaml	compute-pci-passthrough.yaml

5. 通过将 overcloud 添加到节点定义模板 node.json 或 node.yaml，注册 overcloud 的 PCI 透传 Compute 节点。有关更多信息，请参阅 Director 安装和使用 指南中的 为 overcloud 注册节点。

6. 检查节点硬件：

   (undercloud)$ openstack overcloud node introspect \
    --all-manageable --provide

   如需更多信息，请参阅 Director 安装和使用指南中的 创建裸机节点硬件清单。

7. 为 PCI 透传 Compute 节点创建 compute-pci-passthrough overcloud 类别：

   (undercloud)$ openstack flavor create --id auto \
    --ram <ram_size_mb> --disk <disk_size_gb> \
    --vcpus <no_vcpus> compute-pci-passthrough

   • 将 <ram_size_mb> 替换为裸机节点的 RAM，以 MB 为单位。
   • 将 <disk_size_gb> 替换为裸机节点中的磁盘大小（以 GB 为单位）。

   • 将 <no_vcpus> 替换为裸机节点中的 CPU 数量。

     注意

     这些属性不可用于调度实例。但是，计算调度程序使用磁盘大小来确定根分区大小。

8. 检索节点列表来识别它们的 UUID：

   (undercloud)$ openstack baremetal node list

9. 使用自定义 PCI 透传资源类标记您要为 PCI 透传指定的每个裸机节点：

   (undercloud)$ openstack baremetal node set \
    --resource-class baremetal.PCI-PASSTHROUGH <node>

   将 <node> 替换为裸机节点的 ID。

10. 将 compute-pci-passthrough 类别与自定义 PCI passthrough 资源类关联：

    (undercloud)$ openstack flavor set \
     --property resources:CUSTOM_BAREMETAL_PCI_PASSTHROUGH=1 \
      compute-pci-passthrough

    要确定与 Bare Metal 服务节点的资源类对应的自定义资源类的名称，请将资源类转换为大写，请将所有 punctuation 替换为下划线，并使用 CUSTOM_ 前缀。

    注意

    类别只能请求一个裸机资源类实例。

11. 设置以下类别属性，以防止计算调度程序使用裸机类别属性来调度实例：

    (undercloud)$ openstack flavor set \
     --property resources:VCPU=0 --property resources:MEMORY_MB=0 \
     --property resources:DISK_GB=0 compute-pci-passthrough

12. 在 node-info.yaml 文件中添加以下参数，以指定 PCI 透传 Compute 节点的数量，以及用于指定 PCI 透传的 Compute 节点的类别：

    parameter_defaults:
      OvercloudComputePCIFlavor: compute-pci-passthrough
      ComputePCICount: 3

13. 要验证角色是否已创建，请输入以下命令：

    (undercloud)$ openstack overcloud profiles list

流程

1. 创建环境文件，以在 overcloud 上为 PCI 透传配置 Controller 节点，如 pci_passthrough_controller.yaml。

2. 将 PciPassthroughFilter 添加到 pci_passthrough_controller.yaml 中的 NovaSchedulerDefaultFilters 参数中：

   parameter_defaults:
     NovaSchedulerDefaultFilters: ['AvailabilityZoneFilter','ComputeFilter','ComputeCapabilitiesFilter','ImagePropertiesFilter','ServerGroupAntiAffinityFilter','ServerGroupAffinityFilter','PciPassthroughFilter','NUMATopologyFilter']

3. 要为 Controller 节点上的设备指定 PCI 别名，请在 pci_passthrough_controller.yaml 中添加以下配置：

   parameter_defaults:
     ...
     ControllerExtraConfig:
       nova::pci::aliases:
         - name: "a1"
           product_id: "1572"
           vendor_id: "8086"
           device_type: "type-PF"

   有关配置 device_type 字段的更多信息，请参阅 PCI passthrough 设备类型字段。

   注意

   如果 nova-api 服务在不同于 Controller 角色的角色中运行时，将 Controller ExtraConfig 替换为用户角色，格式为 <Role>ExtraConfig。

4. 可选： 要为 PCI 透传设备设置默认 NUMA 关联性策略，将步骤 3 中的 numa_policy 添加到 nova::pci::aliases: 配置：

   parameter_defaults:
     ...
     ControllerExtraConfig:
       nova::pci::aliases:
         - name: "a1"
           product_id: "1572"
           vendor_id: "8086"
           device_type: "type-PF"
           numa_policy: "preferred"

5. 要在 overcloud 上为 PCI 透传配置 Compute 节点，请创建一个环境文件，如 pci_passthrough_compute.yaml。

6. 要为 Compute 节点上的设备指定可用的 PCI，请使用 vendor_id 和 product_id 选项将所有匹配的 PCI 设备添加到可用于透传到实例的 PCI 设备池中。例如，要将所有 Intel® Ethernet Controller X710 设备添加到可用于透传到实例的 PCI 设备池中，请将以下配置添加到 pci_passthrough_compute.yaml 中：

   parameter_defaults:
     ...
     ComputePCIParameters:
       NovaPCIPassthrough:
         - vendor_id: "8086"
           product_id: "1572"

   有关如何配置 NovaPCIPassthrough 的更多信息，请参阅配置 NovaPCIPassthrough指南。

7. 您必须在 Compute 节点上为实例迁移和调整大小操作创建 PCI 别名副本。要为 PCI 透传 Compute 节点上的设备指定 PCI 别名，请将以下内容添加到 pci_passthrough_compute.yaml 中：

   parameter_defaults:
     ...
     ComputePCIExtraConfig:
       nova::pci::aliases:
         - name: "a1"
           product_id: "1572"
           vendor_id: "8086"
           device_type: "type-PF"

   注意

   Compute 节点别名必须与 Controller 节点上的别名相同。因此，如果您将 numa_affinity 添加到 pci_passthrough_controller.yaml 中的 nova::pci::aliases 中，则必须将其添加到 pci_passthrough_compute.yaml 中的 nova::pci::aliases 中。

8. 要在 Compute 节点的服务器 BIOS 中启用 IOMMU 来支持 PCI 透传，请将 KernelArgs 参数添加到 pci_passthrough_compute.yaml 中。例如，使用以下 KernalArgs 设置来启用 Intel IOMMU：

   parameter_defaults:
     ...
     ComputePCIParameters:
       KernelArgs: "intel_iommu=on iommu=pt"

   要启用 AMD IOMMU，将 KernelArgs 设置为 "amd_iommu=on iommu=pt "。

9. 使用其他环境文件将自定义环境文件添加到堆栈中，并部署 overcloud：

   (undercloud)$ openstack overcloud deploy --templates \
     -e [your environment files] \
     -e /home/stack/templates/pci_passthrough_controller.yaml \
     -e /home/stack/templates/pci_passthrough_compute.yaml \

10. 创建并配置您的云用户可用于请求 PCI 设备的类别。以下示例请求两个设备，每个设备 ID 为 8086，产品 ID 为 1572，使用第 7 步中定义的别名：

    (overcloud)# openstack flavor set \
     --property "pci_passthrough:alias"="a1:2" device_passthrough

11. 可选： 要覆盖 PCI 透传设备的默认 NUMA 关联性策略，您可以将 NUMA 关联性策略属性键添加到 flavor 或镜像中：

    • 要使用类别覆盖默认 NUMA 关联性策略，请添加 hw:pci_numa_affinity_policy 属性键：

      (overcloud)# openstack flavor set \
       --property "hw:pci_numa_affinity_policy"="required" \
       device_passthrough

      有关 hw:pci_numa_affinity_policy 的有效值的更多信息，请参阅 类别元数据。

    • 要使用镜像覆盖默认 NUMA 关联性策略，请添加 hw_pci_numa_affinity_policy 属性键：

      (overcloud)# openstack image set \
       --property hw_pci_numa_affinity_policy=required \
       device_passthrough_image

      注意

      如果您在镜像和类别上设置 NUMA 关联性策略，则属性值必须匹配。flavor 设置优先于镜像和默认设置。因此，只有在类别上未设置属性时，镜像上的 NUMA 关联性策略配置才会生效。

验证

1. 使用 PCI 透传设备创建实例：

   # openstack server create --flavor device_passthrough \
    --image <image> --wait test-pci

2. 以云用户身份登录实例。如需更多信息，请参阅 连接到实例。

3. 要验证是否可从实例访问 PCI 设备，请从实例输入以下命令：

   $ lspci -nn | grep <device_name>

流程

1. 打开您的计算环境文件。

2. 在 NovaSchedulerDefaultFilters 参数中添加以下值（如果尚不存在）：

   • AggregateInstanceExtraSpecsFilter ：添加此值，以根据与类别额外规格匹配的主机聚合元数据过滤 Compute 节点。

     注意

     要使此过滤器按预期执行，您需要限制类型额外规格的范围，使用 aggregate_instance_extra_specs: 命名空间作为 extra_specs 键的前缀。

   • AggregateImagePropertiesIsolation ：添加此值来根据与镜像元数据属性匹配的聚合元数据过滤 Compute 节点。

     注意

     要使用镜像元数据属性过滤主机聚合元数据，主机聚合元数据密钥必须与有效的镜像元数据属性匹配。有关有效镜像元数据属性的详情，请参考 创建和管理镜像 指南中的 镜像元数据。

   • AvailabilityZoneFilter ：在启动实例时添加这个值以根据可用区过滤。

     注意

     您可以使用放置服务来处理可用区请求，而不使用 AvailabilityZoneFilter Compute 调度程序服务过滤器。如需更多信息，请参阅使用 放置服务根据可用区过滤。

3. 保存对 Compute 环境文件的更新。

4. 使用其他环境文件将计算环境文件添加到堆栈中，并部署 overcloud：

   (undercloud)$ openstack overcloud deploy --templates \
     -e [your environment files] \
     -e /home/stack/templates/<compute_environment_file>.yaml

流程

1. 运行以下命令来创建主机聚合：

   (overcloud)# openstack aggregate create <aggregate_name>

   将 <aggregate_name> 替换为您要分配给主机聚合的名称。

2. 在主机聚合中添加元数据：

   (overcloud)# openstack aggregate set \
    --property <key=value> \
    --property <key=value> \
    <aggregate_name>

   • 将 <key=value> 替换为元数据键值对。如果您使用 AggregateInstanceExtraSpecsFilter 过滤器，则键可以是任意字符串，例如 ssd=true。如果使用 AggregateImagePropertiesIsolation 过滤器，键必须与有效的镜像 metadata 属性匹配。有关有效镜像元数据属性的更多信息，请参阅 镜像元数据。
   • 将 <aggregate_name > 替换为主机聚合的名称。

3. 将 Compute 节点添加到主机聚合中：

   (overcloud)# openstack aggregate add host \
    <aggregate_name> \
    <host_name>

   • 将 <aggregate_name > 替换为要将 Compute 节点添加到的主机聚合的名称。
   • 将 <host_name> 替换为要添加到主机聚合中的 Compute 节点的名称。

4. 为主机聚合创建类别或镜像：

   • 创建类别：

     (overcloud)$ openstack flavor create \
       --ram <size_mb> \
       --disk <size_gb> \
       --vcpus <no_reserved_vcpus> \
       host-agg-flavor

   • 创建镜像：

     (overcloud)$ openstack image create host-agg-image

5. 对与主机聚合上的键值对匹配的类别或镜像设置一个或多个键值对。

   • 要在类别上设置键值对，请使用范围 aggregate_instance_extra_specs ：

     (overcloud)# openstack flavor set \
      --property aggregate_instance_extra_specs:ssd=true \
      host-agg-flavor

   • 要在镜像上设置键值对，请使用有效的镜像元数据属性作为键：

     (overcloud)# openstack image set \
      --property os_type=linux \
      host-agg-image

流程

1. 要创建可用区，您可以创建新的可用区主机聚合，或者使现有主机聚合成为可用区：

   1. 要创建新可用区主机聚合，请输入以下命令：

      (overcloud)# openstack aggregate create \
       --zone <availability_zone> \
       <aggregate_name>

      • 将 <availability_zone> 替换为您要分配给可用区的名称。
      • 将 <aggregate_name> 替换为您要分配给主机聚合的名称。

   2. 要使现有主机聚合到一个可用区，请输入以下命令：

      (overcloud)# openstack aggregate set --zone <availability_zone> \
        <aggregate_name>

      • 将 <availability_zone> 替换为您要分配给可用区的名称。
      • 将 <aggregate_name > 替换为主机聚合的名称。

2. 可选：在可用区中添加元数据：

   (overcloud)# openstack aggregate set --property <key=value> \
     <aggregate_name>

   • 将 <key=value> 替换为您的原始键值对。您可以根据需要添加任意数量的键值属性。
   • 将 <aggregate_name> 替换为可用区主机聚合的名称。

3. 将 Compute 节点添加到可用区主机聚合中：

   (overcloud)# openstack aggregate add host <aggregate_name> \
     <host_name>

   • 将 <aggregate_name> 替换为可用区主机聚合的名称，以将 Compute 节点添加到其中。
   • 将 <host_name> 替换为添加到可用区的 Compute 节点的名称。

流程

1. 要查看分配给主机聚合的所有 Compute 节点列表，请输入以下命令：

   (overcloud)# openstack aggregate show <aggregate_name>

2. 要从主机聚合中删除所有分配的 Compute 节点，为每个 Compute 节点输入以下命令：

   (overcloud)# openstack aggregate remove host <aggregate_name> \
     <host_name>

   • 将 <aggregate_name > 替换为用于从中删除 Compute 节点的主机聚合的名称。
   • 将 <host_name > 替换为要从主机聚合中删除的 Compute 节点的名称。

3. 从主机聚合中删除所有 Compute 节点后，输入以下命令删除主机聚合：

   (overcloud)# openstack aggregate delete <aggregate_name>

流程

1. 打开您的计算环境文件。
2. 要将项目实例调度到项目隔离主机聚合上，请在 Compute 环境文件中将 NovaSchedulerLimitTenantsToPlacementAggregate 参数设置为 True。

3. 可选： 为确保您分配给主机聚合的项目才能在云中创建实例，请将 NovaSchedulerPlacementAggregateRequiredForTenants 参数设置为 True。

   注意

   NovaSchedulerPlacementAggregateRequiredForTenants 默认为 False。当此参数为 False 时，未分配给主机聚合的项目可以在任何主机聚合上创建实例。

4. 保存对 Compute 环境文件的更新。

5. 使用其他环境文件将计算环境文件添加到堆栈中，并部署 overcloud：

   (undercloud)$ openstack overcloud deploy --templates \
     -e [your environment files] \
     -e /home/stack/templates/<compute_environment_file>.yaml \

6. 创建主机聚合。

7. 检索项目 ID 列表：

   (overcloud)# openstack project list

8. 使用 filter_tenant_id<suffix > 元数据键将项目分配给主机聚合：

   (overcloud)# openstack aggregate set \
    --property filter_tenant_id<ID0>=<project_id0> \
    --property filter_tenant_id<ID1>=<project_id1> \
    ...
    --property filter_tenant_id<IDn>=<project_idn> \
    <aggregate_name>

   • 将 <ID0>, <ID1>，以及直到 <IDn> 的所有 ID 替换为您要创建的每个项目过滤器的唯一值。
   • 将 <project_id 0& gt;、<project_id 1> 以及直到 &lt ;project_idn > 的所有项目 ID 替换为您要分配给主机聚合的每个项目 ID。

   • 将 <aggregate_name > 替换为项目隔离主机聚合的名称。

     例如，使用以下语法将项目 78f1、 9d3t 和 aa29 分配给主机聚合 project-isolated-aggregate ：

     (overcloud)# openstack aggregate set \
      --property filter_tenant_id0=78f1 \
      --property filter_tenant_id1=9d3t \
      --property filter_tenant_id2=aa29 \
      project-isolated-aggregate

     提示

     您可以通过省略 filter_tenant_id 元数据键中的后缀来创建仅适用于单个特定项目的主机聚合：

     (overcloud)# openstack aggregate set \
      --property filter_tenant_id=78f1 \
      single-project-isolated-aggregate

流程

1. 打开您的计算环境文件。

2. 将您希望调度程序使用的过滤器添加到 NovaSchedulerDefaultFilters 参数中，例如：

   parameter_defaults:
     NovaSchedulerDefaultFilters: AggregateInstanceExtraSpecsFilter,ComputeFilter,ComputeCapabilitiesFilter,ImagePropertiesFilter

3. 指定要计算每个 Compute 节点的权重的属性，例如：

   parameter_defaults:
     ComputeExtraConfig:
       nova::config::nova_config:
         filter_scheduler/weight_classes:
           value: nova.scheduler.weights.all_weighers

   有关可用属性的更多信息，请参阅 计算调度程序权重。

4. 可选：将倍数配置为适用于每个 weig。例如，要指定 Compute 节点的可用 RAM 的权重高于其他默认权重，并且计算调度程序首选在可用 RAM 的那些节点上具有更多可用 RAM 的 Compute 节点，使用以下配置：

   parameter_defaults:
     ComputeExtraConfig:
       nova::config::nova_config:
         filter_scheduler/weight_classes:
           value: nova.scheduler.weights.all_weighers
         filter_scheduler/ram_weight_multiplier:
           value: 2.0

   提示

   您还可以将倍数设置为负值。在上例中，若要首选在具有更多可用 RAM 的节点上具有较少可用 RAM 的 Compute 节点，请将 ram_weight_multiplier 设置为 -2.0。

5. 保存对 Compute 环境文件的更新。

6. 使用其他环境文件将计算环境文件添加到堆栈中，并部署 overcloud：

   (undercloud)$ openstack overcloud deploy --templates \
    -e [your environment files] \
    -e /home/stack/templates/<compute_environment_file>.yaml

1. 调度程序将每个权重规范化为 0.0 和 1.0 之间的值。
2. 调度程序将规范化权重乘以 weigher multiplier。

流程

1. 创建一个类别，用于指定实例可用的基本资源：

   (overcloud)$ openstack flavor create --ram <size_mb> \
    --disk <size_gb> --vcpus <no_vcpus> \
    [--private --project <project_id>] <flavor_name>

   • 将 <size_mb > 替换为分配给使用此类别创建的实例的 RAM 大小。
   • 将 < size_gb > 替换为要分配给使用此类别创建的实例的根磁盘大小。
   • 将 <no_ the> 替换为为此类别创建的实例保留的 vCPU 数量。

   • 可选：指定 --private 和 --project 选项，使类别只能被特定的项目或用户组访问。将 <project_id > 替换为可以使用此类别创建实例的项目的 ID。如果没有指定可访问性，则类别默认为 public，这意味着它可供所有项目使用。

     注意

     您不能在创建后将公共类别设置为私有。

   • 将 <flavor_name > 替换为您的类别的唯一名称。

     有关类别参数的更多信息，请参阅类别参数。

2. 可选： 要指定类别元数据，请使用键值对设置所需的属性：

   (overcloud)$ openstack flavor set \
    --property <key=value> --property <key=value> ... <flavor_name>

   • 将 &lt;key> 替换为您要分配给使用此类别创建的实例的属性的元数据键。有关可用元数据密钥的列表，请参阅 类别元数据。
   • 使用您要分配给使用此类别创建的实例的元数据密钥值替换 <value>。

   • 将 <flavor_name > 替换为您的类型的名称。

     例如，使用以下类别启动的实例有两个 CPU 套接字，各自有两个 CPU 套接字：

     (overcloud)$ openstack flavor set \
      --property hw:cpu_sockets=2 \
      --property hw:cpu_cores=2 processor_topology_flavor

流程

1. 打开您的计算环境文件。

2. 要在启动实例时始终附加配置驱动器，请将以下参数设置为 True ：

   parameter_defaults:
     ComputeExtraConfig:
       nova::compute::force_config_drive: 'true'

3. 可选： 要将配置驱动器的格式从 iso9660 的默认值改为 vfat，请在您的配置中添加 config_drive_format 参数：

   parameter_defaults:
     ComputeExtraConfig:
       nova::compute::force_config_drive: 'true'
       nova::compute::config_drive_format: vfat

4. 保存对 Compute 环境文件的更新。

5. 使用其他环境文件将计算环境文件添加到堆栈中，并部署 overcloud：

   (undercloud)$ openstack overcloud deploy --templates \
    -e [your environment files] \
    -e /home/stack/templates/<compute_environment_file>.yaml \

验证

1. 创建一个实例：

   (overcloud)$ openstack server create --flavor m1.tiny \
    --image cirros test-config-drive-instance

2. 登录该实例。

3. 挂载配置驱动器：

   • 如果实例操作系统使用 udev ：

     # mkdir -p /mnt/config
     # mount /dev/disk/by-label/config-2 /mnt/config

   • 如果实例操作系统没有使用 udev，则首先需要识别与配置驱动器对应的块设备：

     # blkid -t LABEL="config-2" -odevice
     /dev/vdb
     # mkdir -p /mnt/config
     # mount /dev/vdb /mnt/config

4. 根据您的元数据，检查挂载的配置驱动器目录中 mnt/config/openstack/{version}/ 中的文件。

流程

1. 打开您的计算环境文件。

2. 在 vendordata 供应商模块中添加 DynamicJSON ：

   parameter_defaults:
     ControllerExtraConfig:
      nova::vendordata::vendordata_providers:
         - DynamicJSON

3. 指定要联系的 REST 服务来生成元数据。您可以根据需要指定任意数量的目标 REST 服务，例如：

   parameter_defaults:
      ControllerExtraConfig:
      nova::vendordata::vendordata_providers:
         - DynamicJSON
         nova::vendordata::vendordata_dynamic_targets:
           "target1@http://127.0.0.1:125"
         nova::vendordata::vendordata_dynamic_targets:
           "target2@http://127.0.0.1:126"

   Compute 服务生成 JSON 文件 vendordata2.json，使其包含从配置的目标服务检索的元数据，并将其存储在配置驱动器目录中。

   注意

   不要多次将同一名称用于目标服务。

4. 保存对 Compute 环境文件的更新。

5. 使用其他环境文件将计算环境文件添加到堆栈中，并部署 overcloud：

   (undercloud)$ openstack overcloud deploy --templates \
    -e [your environment files] \
    -e /home/stack/templates/<compute_environment_file>.yaml

流程

1. 以 stack 用户的身份登录 undercloud。

2. Source stackrc 文件：

   [stack@director ~]$ source ~/stackrc

3. 生成包含 ComputeAMDSEV 角色的新角色数据文件，以及 overcloud 所需的任何其他角色。以下示例生成角色数据文件 roles_data_amd_sev.yaml，其中包括角色 Controller 和 ComputeAMDSEV ：

   (undercloud)$ openstack overcloud roles \
    generate -o /home/stack/templates/roles_data_amd_sev.yaml \
    Compute:ComputeAMDSEV Controller

4. 打开 roles_data_amd_sev.yaml 并编辑或添加以下参数和部分：

   section/Parameter	当前值	新值
   角色注释	Role: Compute	Role: ComputeAMDSEV
   角色名称	名称 ：Compute	名称 ：ComputeAMDSEV
   description	基本 Compute 节点角色	AMD SEV Compute 节点角色
   HostnameFormatDefault	%stackname%-novacompute-%index%	%stackname%-novacomputeamdsev-%index%
   deprecated_nic_config_name	compute.yaml	compute-amd-sev.yaml

5. 将 overcloud 的 AMD SEV Compute 节点添加到节点定义模板、node.json 或 node.yaml 中，以注册它们。有关更多信息，请参阅 Director 安装和使用 指南中的 为 overcloud 注册节点。

6. 检查节点硬件：

   (undercloud)$ openstack overcloud node introspect \
    --all-manageable --provide

   如需更多信息，请参阅 Director 安装和使用指南中的 创建裸机节点硬件清单。

7. 为 AMD SEV Compute 节点创建 compute-amd-sev overcloud 类别：

   (undercloud)$ openstack flavor create --id auto \
    --ram <ram_size_mb> --disk <disk_size_gb> \
    --vcpus <no_vcpus> compute-amd-sev

   • 将 <ram_size_mb> 替换为裸机节点的 RAM，以 MB 为单位。
   • 将 <disk_size_gb> 替换为裸机节点中的磁盘大小（以 GB 为单位）。

   • 将 <no_vcpus> 替换为裸机节点中的 CPU 数量。

     注意

     这些属性不可用于调度实例。但是，计算调度程序使用磁盘大小来确定根分区大小。

8. 检索节点列表来识别它们的 UUID：

   (undercloud)$ openstack baremetal node list

9. 使用自定义 AMD SEV 资源类标记您要为内存加密指定的每个裸机节点：

   (undercloud)$ openstack baremetal node set \
    --resource-class baremetal.AMD-SEV <node>

   将 <node> 替换为裸机节点的 ID。

10. 将 compute-amd-sev 类别与自定义 AMD SEV 资源类关联：

    (undercloud)$ openstack flavor set \
     --property resources:CUSTOM_BAREMETAL_AMD_SEV=1 \
      compute-amd-sev

    要确定与 Bare Metal 服务节点的资源类型对应的自定义资源类的名称，请将资源类转换为大写，将每个 punctuation 标记替换为下划线，并使用 CUSTOM_ 前缀。

    注意

    类别只能请求一个裸机资源类实例。

11. 设置以下类别属性，以防止计算调度程序使用裸机类别属性来调度实例：

    (undercloud)$ openstack flavor set \
     --property resources:VCPU=0 --property resources:MEMORY_MB=0 \
     --property resources:DISK_GB=0 compute-amd-sev

12. 可选：如果 ComputeAMDSEV 角色的网络拓扑与 Compute 角色的网络拓扑不同，则创建自定义网络接口模板。有关更多信息，请参阅高级 Overcloud 自定义指南中的自定义网络接口模板。

    如果 ComputeAMDSEV 角色的网络拓扑与 Compute 角色相同，您可以使用 compute.yaml 中定义的默认网络拓扑。

13. 在 network-environment.yaml 文件中注册 ComputeAMDSEV 角色的 Net::SoftwareConfig ：

    resource_registry:
      OS::TripleO::Compute::Net::SoftwareConfig: /home/stack/templates/nic-configs/compute.yaml
      OS::TripleO::ComputeCPUPinning::Net::SoftwareConfig: /home/stack/templates/nic-configs/<amd_sev_net_top>.yaml
      OS::TripleO::Controller::Net::SoftwareConfig: /home/stack/templates/nic-configs/controller.yaml

    将 < amd_sev_net_top > 替换为包含 ComputeAMDSEV 角色的网络拓扑的文件名称，如 compute.yaml 以使用默认网络拓扑。

14. 在 node-info.yaml 文件中添加以下参数，以指定 AMD SEV Compute 节点的数量，以及用于指定 AMD SEV 的 Compute 节点使用的 flavor：

    parameter_defaults:
      OvercloudComputeAMDSEVFlavor: compute-amd-sev
      ComputeAMDSEVCount: 3

15. 要验证角色是否已创建，请输入以下命令：

    (undercloud)$ openstack baremetal node list --long -c "UUID" \
     -c "Instance UUID" -c "Resource Class" -c "Provisioning State" \
     -c "Power State" -c "Last Error" -c "Fault" -c "Name" -f json

    输出示例：

    [
      {
        "Fault": null,
        "Instance UUID": "e8e60d37-d7c7-4210-acf7-f04b245582ea",
        "Last Error": null,
        "Name": "compute-0",
        "Power State": "power on",
        "Provisioning State": "active",
        "Resource Class": "baremetal.AMD-SEV",
        "UUID": "b5a9ac58-63a7-49ba-b4ad-33d84000ccb4"
      },
      {
        "Fault": null,
        "Instance UUID": "3ec34c0b-c4f5-4535-9bd3-8a1649d2e1bd",
        "Last Error": null,
        "Name": "compute-1",
        "Power State": "power on",
        "Provisioning State": "active",
        "Resource Class": "compute",
        "UUID": "432e7f86-8da2-44a6-9b14-dfacdf611366"
      },
      {
        "Fault": null,
        "Instance UUID": "4992c2da-adde-41b3-bef1-3a5b8e356fc0",
        "Last Error": null,
        "Name": "controller-0",
        "Power State": "power on",
        "Provisioning State": "active",
        "Resource Class": "controller",
        "UUID": "474c2fc8-b884-4377-b6d7-781082a3a9c0"
      }
    ]

流程

1. 打开您的计算环境文件。

2. 可选：在 Compute 环境文件中添加以下配置，以指定 AMD SEV Compute 节点可以同时托管的内存加密实例的最大数量：

   parameter_defaults:
     ComputeAMDSEVExtraConfig:
       nova::config::nova_config:
         libvirt/num_memory_encrypted_guests:
           value: 15

   注意

   libvirt/num_memory_encrypted_guests 参数的默认值为 none。如果您没有设置自定义值，AMD SEV Compute 节点不会对节点可以同时托管的内存加密实例数量实施限制。相反，硬件决定了 AMD SEV Compute 节点可以同时托管的内存加密实例的最大数量，这可能会导致一些内存加密实例无法启动。

3. 可选： 要指定所有 x86_64 镜像默认使用 q35 机器类型，请在 Compute 环境文件中添加以下配置：

   parameter_defaults:
     ComputeAMDSEVParameters:
       NovaHWMachineType: x86_64=q35

   如果指定了此参数值，则不需要在每个 AMD SEV 实例镜像中将 hw_machine_type 属性设置为 q35。

4. 为确保 AMD SEV Compute 节点保留足够的内存以便主机级服务正常工作，为每个潜在的 AMD SEV 实例添加 16MB：

   parameter_defaults:
     ComputeAMDSEVParameters:
       ...
       NovaReservedHostMemory: <libvirt/num_memory_encrypted_guests * 16>

5. 为 AMD SEV Compute 节点配置内核参数：

   parameter_defaults:
     ComputeAMDSEVParameters:
       ...
       KernelArgs: "hugepagesz=1GB hugepages=32 default_hugepagesz=1GB mem_encrypt=on kvm_amd.sev=1"

6. 保存对 Compute 环境文件的更新。

7. 使用其他环境文件将计算环境文件添加到堆栈中，并部署 overcloud：

   (undercloud)$ openstack overcloud deploy --templates \
    -e [your environment files] \
    -e /home/stack/templates/<compute_environment_file>.yaml

流程

1. 为内存加密创建新镜像：

   (overcloud)$ openstack image create ...  \
    --property hw_firmware_type=uefi amd-sev-image

   注意

   如果您使用现有镜像，镜像必须将 hw_firmware_type 属性设置为 uefi。

2. 可选：将属性 hw_mem_encryption=True 添加到镜像中，以便在镜像中启用 AMD SEV 内存加密：

   (overcloud)$ openstack image set  \
    --property hw_mem_encryption=True amd-sev-image

   提示

   您可以在类别上启用内存加密。如需更多信息，请参阅为内存加密创建类别。

3. 可选：如果尚未在 Compute 节点配置中设置，请将机器类型设置为 q35 ：

   (overcloud)$ openstack image set  \
    --property hw_machine_type=q35 amd-sev-image

4. 可选： 要在支持 SEV 的主机聚合上调度内存加密实例，请在镜像额外规格中添加以下特征：

   (overcloud)$ openstack image set  \
    --property trait:HW_CPU_X86_AMD_SEV=required amd-sev-image

   提示

   您还可以在类别上指定此特征。如需更多信息，请参阅为内存加密创建类别。

流程

1. 为内存加密创建类别：

   (overcloud)$ openstack flavor create --vcpus 1 --ram 512 --disk 2  \
    --property hw:mem_encryption=True m1.small-amd-sev

2. 要将内存加密实例调度到支持 SEV 的主机聚合上，请在类别额外规格中添加以下特征：

   (overcloud)$ openstack flavor set  \
    --property trait:HW_CPU_X86_AMD_SEV=required m1.small-amd-sev

流程

1. 使用 AMD SEV 类别或镜像创建实例。以下示例使用在为内存加密创建类别和 为内存加密 创建镜像时创建的类别来创建实例： ???

   (overcloud)$ openstack server create --flavor m1.small-amd-sev \
    --image amd-sev-image amd-sev-instance

2. 以云用户身份登录实例。

3. 要验证实例是否使用内存加密，请从实例输入以下命令：

   $ dmesg | grep -i sev
   AMD Secure Encrypted Virtualization (SEV) active

流程

1. 以 stack 用户的身份登录 undercloud。

2. Source stackrc 文件：

   [stack@director ~]$ source ~/stackrc

3. 生成名为 roles_data_pmem.yaml 的新角色数据文件，其中包含 Controller, Compute, 和 ComputePMEM 角色：

   (undercloud)$ openstack overcloud roles \
    generate -o /home/stack/templates/roles_data_pmem.yaml \
    Compute:ComputePMEM Compute Controller

4. 打开 roles_data_pmem.yaml 并编辑或添加以下参数和部分：

   section/Parameter	当前值	新值
   角色注释	Role: Compute	Role: ComputePMEM
   角色名称	名称 ：Compute	名称 ：ComputePMEM
   description	基本 Compute 节点角色	PMEM Compute 节点角色
   HostnameFormatDefault	%stackname%-novacompute-%index%	%stackname%-novacomputepmem-%index%
   deprecated_nic_config_name	compute.yaml	compute-pmem.yaml

5. 将 overcloud 的 NVDIMM Compute 节点添加到节点定义模板、node.json 或 node.yaml 中，以注册它们。有关更多信息，请参阅 Director 安装和使用 指南中的 为 overcloud 注册节点。

6. 检查节点硬件：

   (undercloud)$ openstack overcloud node introspect --all-manageable --provide

   如需更多信息，请参阅 Director 安装和使用指南中的 创建裸机节点硬件清单。

7. 为 PMEM Compute 节点创建 compute-pmem overcloud 类别：

   (undercloud)$ openstack flavor create --id auto \
    --ram <ram_size_mb> --disk <disk_size_gb> \
    --vcpus <no_vcpus> compute-pmem

   • 将 <ram_size_mb> 替换为裸机节点的 RAM，以 MB 为单位。
   • 将 <disk_size_gb> 替换为裸机节点中的磁盘大小（以 GB 为单位）。

   • 将 <no_vcpus> 替换为裸机节点中的 CPU 数量。

     注意

     这些属性不可用于调度实例。但是，计算调度程序使用磁盘大小来确定根分区大小。

8. 检索节点列表来识别它们的 UUID：

   (undercloud)$ openstack baremetal node list

9. 使用自定义 PMEM 资源类标记您要为 PMEM 工作负载指定的每个裸机节点：

   (undercloud)$ openstack baremetal node set \
    --resource-class baremetal.PMEM <node>

   将 <node> 替换为裸机节点的 ID。

10. 将 compute-pmem 类别与自定义 PMEM 资源类关联：

    (undercloud)$ openstack flavor set \
     --property resources:CUSTOM_BAREMETAL_PMEM=1 \
      compute-pmem

    要确定与 Bare Metal 服务节点的资源类对应的自定义资源类的名称，请将资源类转换为大写，请将所有 punctuation 替换为下划线，并使用 CUSTOM_ 前缀。

    注意

    类别只能请求一个裸机资源类实例。

11. 设置以下类别属性，以防止计算调度程序使用裸机类别属性来调度实例：

    (undercloud)$ openstack flavor set \
     --property resources:VCPU=0 --property resources:MEMORY_MB=0 \
     --property resources:DISK_GB=0 compute-pmem

12. 在 node-info.yaml 文件中添加以下参数，以指定 PMEM Compute 节点的数量，以及用于 PMEM 设计的 Compute 节点的类别：

    parameter_defaults:
      OvercloudComputePMEMFlavor: compute-pmem
      ComputePMEMCount: 3 #set to the no of NVDIMM devices you have

13. 要验证角色是否已创建，请输入以下命令：

    (undercloud)$ openstack overcloud profiles list

流程

1. 创建一个新的计算环境文件，用于配置 NVDIMM Compute 节点，如 env_pmem.yaml。

2. 要将 NVDIMM 区域分区为 PMEM 命名空间，请将 NovaPMEMNamespaces 角色特定参数添加到计算环境文件中的 PMEM 角色，并使用以下格式设置值：

   <size>:<namespace_name>[,<size>:<namespace_name>]

   使用以下后缀来表示大小：

   • "k" or "K" for KiB
   • "m" or "M" for MiB
   • "g" 或 "G" 用于 GiB

   • "t" 或 "T" 代表 TiB

     例如，以下配置创建了四个命名空间，三个大小为 6 GiB，大小为 100 GiB ：

     parameter_defaults:
       ComputePMEMParameters:
         NovaPMEMNamespaces: "6G:ns0,6G:ns1,6G:ns2,100G:ns3"

3. 要将 PMEM 命名空间映射到可在类别中使用的标签，请将 NovaPMEMMappings 角色特定参数添加到 Compute 环境文件中的 PMEM 角色，并使用以下格式设置值：

   <label>:<namespace_name>[|<namespace_name>][,<label>:<namespace_name>[|<namespace_name>]].

   例如，以下配置将三个 6 GiB 命名空间映射到标签 "6GB"，并将 100 GiB 命名空间映射到标签 "LARGE" ：

   parameter_defaults:
     ComputePMEMParameters:
       NovaPMEMNamespaces: "6G:ns0,6G:ns1,6G:ns2,100G:ns3"
       NovaPMEMMappings: "6GB:ns0|ns1|ns2,LARGE:ns3"

4. 保存对 Compute 环境文件的更新。

5. 使用其他环境文件将计算环境文件添加到堆栈中，并部署 overcloud：

   (undercloud)$ openstack overcloud deploy --templates \
    -r /home/stack/templates/roles_data_pmem.yaml \
    -e /home/stack/templates/node-info.yaml \
    -e [your environment files] \
    -e /home/stack/templates/env_pmem.yaml

6. 创建并配置您的云用户可以使用 vPMEM 启动具有 vPMEM 的实例的类别。以下示例创建了一个请求小 PMEM 设备 6GB 的类别，如第 3 步映射：

   (overcloud)$ openstack flavor create --vcpus 1 --ram 512 --disk 2  \
    --property hw:pmem='6GB' small_pmem_flavor

验证

1. 使用其中一个 PMEM 类别创建一个实例：

   (overcloud)$ openstack flavor list
   (overcloud)$ openstack server create --flavor small_pmem_flavor \
    --image rhel8 pmem_instance

2. 以云用户身份登录实例。如需更多信息，请参阅 连接到实例。

3. 列出附加到实例的所有磁盘设备：

   $ sudo fdisk -l /dev/pmem0

   如果列出的其中一个设备是 NVDIMM，则实例有 vPMEM。

1. 为 vGPU 指定 Compute 节点。
2. 为 vGPU 配置 Compute 节点。
3. 部署 overcloud。
4. 创建 vGPU 类别以启动具有 vGPU 的实例。

流程

1. 以 stack 用户的身份登录 undercloud。

2. 查找 overcloudrc 凭证文件：

   $ source ~/overcloudrc

3. 使用 vGPU 实例所需的硬件和软件配置集创建一个实例：

   (overcloud)$ openstack server create --flavor <flavor> \
    --image <image> temp_vgpu_instance

   • 将 & lt;flavor > 替换为具有 vGPU 实例所需的硬件配置集的类别的名称或 ID。有关创建 vGPU 类别的详情，请参阅为实例创建 vGPU 类别。
   • 将 & lt;image > 替换为具有 vGPU 实例所需软件配置集的镜像的名称或 ID。有关下载 RHEL 云镜像的详情，请参考 镜像服务。
4. 以云用户身份登录实例。如需更多信息，请参阅 连接到实例。
5. 按照 NVIDIA 指导在实例上创建 网格.conf NVIDIA GRID 许可证文件： 使用配置文件在 Linux 上 Licensing NVIDIA vGPU。

6. 在实例上安装 GPU 驱动程序。有关安装 NVIDIA 驱动程序的更多信息，请参阅在 Linux 上安装 NVIDIA vGPU 软件图形驱动程序。

   注意

   使用 hw_video_model 镜像属性来定义 GPU 驱动程序类型。如果要禁用 vGPU 实例的模拟 GPU，您可以选择 none。有关支持的驱动程序的更多信息，请参阅镜像元数据。

7. 创建实例的镜像快照：

   (overcloud)$ openstack server image create \
    --name vgpu_image temp_vgpu_instance

8. 可选：删除实例。

流程

1. 创建 NVIDIA GPU 类别，例如：

   (overcloud)$ openstack flavor create --vcpus 6 \
    --ram 8192 --disk 100 m1.small-gpu
   +----------------------------+--------------------------------------+
   | Field                      | Value                                |
   +----------------------------+--------------------------------------+
   | OS-FLV-DISABLED:disabled   | False                                |
   | OS-FLV-EXT-DATA:ephemeral  | 0                                    |
   | disk                       | 100                                  |
   | id                         | a27b14dd-c42d-4084-9b6a-225555876f68 |
   | name                       | m1.small-gpu                         |
   | os-flavor-access:is_public | True                                 |
   | properties                 |                                      |
   | ram                        | 8192                                 |
   | rxtx_factor                | 1.0                                  |
   | swap                       |                                      |
   | vcpus                      | 6                                    |
   +----------------------------+--------------------------------------+

2. 为您创建的类别分配一个 vGPU 资源。您只能为每个实例分配一个 vGPU。

   (overcloud)$ openstack flavor set m1.small-gpu \
    --property "resources:VGPU=1"
   
   (overcloud)$ openstack flavor show m1.small-gpu
   +----------------------------+--------------------------------------+
   | Field                      | Value                                |
   +----------------------------+--------------------------------------+
   | OS-FLV-DISABLED:disabled   | False                                |
   | OS-FLV-EXT-DATA:ephemeral  | 0                                    |
   | access_project_ids         | None                                 |
   | disk                       | 100                                  |
   | id                         | a27b14dd-c42d-4084-9b6a-225555876f68 |
   | name                       | m1.small-gpu                         |
   | os-flavor-access:is_public | True                                 |
   | properties                 | resources:VGPU='1'                   |
   | ram                        | 8192                                 |
   | rxtx_factor                | 1.0                                  |
   | swap                       |                                      |
   | vcpus                      | 6                                    |
   +----------------------------+--------------------------------------+

流程

1. 使用 GPU 类别和镜像创建实例，例如：

   (overcloud)$ openstack server create --flavor m1.small-gpu \
    --image vgpu_image --security-group web --nic net-id=internal0 \
    --key-name lambda vgpu-instance

2. 以云用户身份登录实例。如需更多信息，请参阅 连接到实例。

3. 要验证 GPU 是否可从实例访问，请从实例输入以下命令：

   $ lspci -nn | grep <gpu_name>

流程

1. 要确定每种 passthrough 设备类型的供应商 ID 和产品 ID，请在具有 PCI 卡的物理服务器中输入以下命令：

   # lspci -nn | grep -i <gpu_name>

   例如，要决定 NVIDIA GPU 的厂商和产品 ID，请输入以下命令：

   # lspci -nn | grep -i nvidia
   3b:00.0 3D controller [0302]: NVIDIA Corporation TU104GL [Tesla T4] [10de:1eb8] (rev a1)
   d8:00.0 3D controller [0302]: NVIDIA Corporation TU104GL [Tesla T4] [10de:1db4] (rev a1)

2. 要确定每个 PCI 设备是否有单根 I/O 虚拟化(SR-IOV)功能，请在具有 PCI 卡的物理服务器中输入以下命令：

   # lspci -v -s 3b:00.0
   3b:00.0 3D controller: NVIDIA Corporation TU104GL [Tesla T4] (rev a1)
             ...
             Capabilities: [bcc] Single Root I/O Virtualization (SR-IOV)
             ...

3. 要在 overcloud 上为 PCI 透传配置 Controller 节点，请创建一个环境文件，如 pci_passthru_controller.yaml。

4. 将 PciPassthroughFilter 添加到 pci_passthru_controller.yaml 中的 NovaSchedulerDefaultFilters 参数中：

   parameter_defaults:
     NovaSchedulerDefaultFilters: ['AvailabilityZoneFilter','ComputeFilter','ComputeCapabilitiesFilter','ImagePropertiesFilter','ServerGroupAntiAffinityFilter','ServerGroupAffinityFilter','PciPassthroughFilter','NUMATopologyFilter']

5. 要为 Controller 节点上的设备指定 PCI 别名，请在 pci_passthru_controller.yaml 中添加以下配置：

   • 如果 PCI 设备具有 SR-IOV 功能：

     ControllerExtraConfig:
       nova::pci::aliases:
         - name: "t4"
           product_id: "1eb8"
           vendor_id: "10de"
           device_type: "type-PF"
         - name: "v100"
           product_id: "1db4"
           vendor_id: "10de"
           device_type: "type-PF"

   • 如果 PCI 设备没有 SR-IOV 功能：

     ControllerExtraConfig:
       nova::pci::aliases:
         - name: "t4"
           product_id: "1eb8"
           vendor_id: "10de"
         - name: "v100"
           product_id: "1db4"
           vendor_id: "10de"

     有关配置 device_type 字段的更多信息，请参阅 PCI passthrough 设备类型字段。

     注意

     如果 nova-api 服务在 Controller 以外的角色中运行，则将 ControllerExtraConfig 替换为用户角色，格式为 < Role>ExtraConfig。

6. 要在 overcloud 上为 PCI 透传配置 Compute 节点，请创建一个环境文件，如 pci_passthru_compute.yaml。

7. 要为 Compute 节点上的设备指定可用的 PCI，请将以下内容添加到 pci_passthru_compute.yaml 中：

   parameter_defaults:
     NovaPCIPassthrough:
       - vendor_id: "10de"
         product_id: "1eb8"

8. 您必须在 Compute 节点上为实例迁移和调整大小操作创建 PCI 别名副本。要为 Compute 节点上的设备指定 PCI 别名，请将以下内容添加到 pci_passthru_compute.yaml 中：

   • 如果 PCI 设备具有 SR-IOV 功能：

     ComputeExtraConfig:
       nova::pci::aliases:
         - name: "t4"
           product_id: "1eb8"
           vendor_id: "10de"
           device_type: "type-PF"
         - name: "v100"
           product_id: "1db4"
           vendor_id: "10de"
           device_type: "type-PF"

   • 如果 PCI 设备没有 SR-IOV 功能：

     ComputeExtraConfig:
       nova::pci::aliases:
         - name: "t4"
           product_id: "1eb8"
           vendor_id: "10de"
         - name: "v100"
           product_id: "1db4"
           vendor_id: "10de"

     注意

     Compute 节点别名必须与 Controller 节点上的别名相同。

9. 要在 Compute 节点的服务器 BIOS 中启用 IOMMU 来支持 PCI 透传，请将 KernelArgs 参数添加到 pci_passthru_compute.yaml 中：

   parameter_defaults:
     ...
     ComputeParameters:
       KernelArgs: "intel_iommu=on iommu=pt"

10. 使用其他环境文件将自定义环境文件添加到堆栈中，并部署 overcloud：

    (undercloud)$ openstack overcloud deploy --templates \
      -e [your environment files] \
      -e /home/stack/templates/pci_passthru_controller.yaml \
      -e /home/stack/templates/pci_passthru_compute.yaml

11. 配置类别以请求 PCI 设备。以下示例请求两个设备，每个设备供应商 ID 为 10de，产品 ID 为 13f2 ：

    # openstack flavor set m1.large \
     --property "pci_passthrough:alias"="t4:2"

验证

1. 使用 PCI 透传设备创建实例：

   # openstack server create --flavor m1.large \
    --image <custom_gpu> --wait test-pci

   将 < custom_gpu > 替换为安装所需 GPU 驱动程序的自定义实例镜像的名称。

2. 以云用户身份登录实例。

3. 要验证 GPU 是否可从实例访问，请从实例输入以下命令：

   $ lspci -nn | grep <gpu_name>

4. 要检查 NVIDIA System Management Interface 状态，从实例输入以下命令：

   $ nvidia-smi

   输出示例：

   -----------------------------------------------------------------------------
   | NVIDIA-SMI 440.33.01    Driver Version: 440.33.01    CUDA Version: 10.2     |
   |---------------------------------------------------------------------------+
   | GPU  Name        Persistence-M| Bus-Id        Disp.A | Volatile Uncorr. ECC |
   | Fan  Temp  Perf  Pwr:Usage/Cap|         Memory-Usage | GPU-Util  Compute M. |
   |===========================================================================|
   |   0  Tesla T4            Off  | 00000000:01:00.0 Off |                    0 |
   | N/A   43C    P0    20W /  70W |      0MiB / 15109MiB |      0%      Default |
   ---------------------------------------------------------------------------
   
   -----------------------------------------------------------------------------
   | Processes:                                                       GPU Memory |
   |  GPU       PID   Type   Process name                             Usage      |
   |=============================================================================|
   |  No running processes found                                                 |
   -----------------------------------------------------------------------------

流程

1. 要构建实时 overcloud 镜像，您必须为 RT-KVM 启用 rhel-8-for-x86_64-nfv-rpms 存储库。要检查将从存储库中安装哪些软件包，请输入以下命令：

   $ dnf repo-pkgs rhel-8-for-x86_64-nfv-rpms list
   Loaded plugins: product-id, search-disabled-repos, subscription-manager
   Available Packages
   kernel-rt.x86_64                   4.18.0-80.7.1.rt9.153.el8_0               rhel-8-for-x86_64-nfv-rpms
   kernel-rt-debug.x86_64             4.18.0-80.7.1.rt9.153.el8_0               rhel-8-for-x86_64-nfv-rpms
   kernel-rt-debug-devel.x86_64       4.18.0-80.7.1.rt9.153.el8_0               rhel-8-for-x86_64-nfv-rpms
   kernel-rt-debug-kvm.x86_64         4.18.0-80.7.1.rt9.153.el8_0               rhel-8-for-x86_64-nfv-rpms
   kernel-rt-devel.x86_64             4.18.0-80.7.1.rt9.153.el8_0               rhel-8-for-x86_64-nfv-rpms
   kernel-rt-doc.noarch               4.18.0-80.7.1.rt9.153.el8_0               rhel-8-for-x86_64-nfv-rpms
   kernel-rt-kvm.x86_64               4.18.0-80.7.1.rt9.153.el8_0               rhel-8-for-x86_64-nfv-rpms
   [ output omitted…]

2. 要为 Real-time Compute 节点构建 overcloud 镜像，请在 undercloud 上安装 libguestfs-tools 软件包以获取 virt-customize 工具：

   (undercloud)$ sudo dnf install libguestfs-tools

   重要

   如果在 undercloud 上安装 libguestfs-tools 软件包，请禁用 iscsid.socket 以避免 undercloud 上的 tripleo_iscsid 服务的端口冲突：

   $ sudo systemctl disable --now iscsid.socket

3. 提取镜像：

   (undercloud)$ tar -xf /usr/share/rhosp-director-images/overcloud-full.tar
   (undercloud)$ tar -xf /usr/share/rhosp-director-images/ironic-python-agent.tar

4. 复制默认镜像：

   (undercloud)$ cp overcloud-full.qcow2 overcloud-realtime-compute.qcow2

5. 注册镜像并配置所需的订阅：

   (undercloud)$ virt-customize -a overcloud-realtime-compute.qcow2 --run-command 'subscription-manager register --username=<username> --password=<password>'
   [  0.0] Examining the guest ...
   [ 10.0] Setting a random seed
   [ 10.0] Running: subscription-manager register --username=<username> --password=<password>
   [ 24.0] Finishing off

   使用您的红帽客户帐户替换 username 和 password 的值。

   有关构建实时 overcloud 镜像的常规信息，请参阅使用 virt-customize 修改 Red Hat Enterprise Linux OpenStack Platform Overcloud 镜像 的知识库文章。

6. 查找 Red Hat OpenStack Platform for Real Time 订阅的 SKU。SKU 可能位于已注册到 Red Hat Subscription Manager 的系统中，并使用相同的帐户和凭证：

   $ sudo subscription-manager list

7. 将 Red Hat OpenStack Platform for Real Time 订阅附加到镜像：

   (undercloud)$  virt-customize -a overcloud-realtime-compute.qcow2 --run-command 'subscription-manager attach --pool [subscription-pool]'

8. 创建在镜像中配置 rt 的脚本：

   (undercloud)$ cat rt.sh
     #!/bin/bash
   
     set -eux
   
     subscription-manager repos --enable=[REPO_ID]
     dnf -v -y --setopt=protected_packages= erase kernel.$(uname -m)
     dnf -v -y install kernel-rt kernel-rt-kvm tuned-profiles-nfv-host
   
     # END OF SCRIPT

9. 运行脚本来配置实时镜像：

   (undercloud)$ virt-customize -a overcloud-realtime-compute.qcow2 -v --run rt.sh 2>&1 | tee virt-customize.log

10. 重新标记 SELinux：

    (undercloud)$ virt-customize -a overcloud-realtime-compute.qcow2 --selinux-relabel

11. 提取 vmlinuz 和 initrd。例如：

    (undercloud)$ mkdir image
    (undercloud)$ guestmount -a overcloud-realtime-compute.qcow2 -i --ro image
    (undercloud)$ cp image/boot/vmlinuz-4.18.0-80.7.1.rt9.153.el8_0.x86_64 ./overcloud-realtime-compute.vmlinuz
    (undercloud)$ cp image/boot/initramfs-4.18.0-80.7.1.rt9.153.el8_0.x86_64.img ./overcloud-realtime-compute.initrd
    (undercloud)$ guestunmount image

    注意

    vmlinuz 和 initramfs 文件名中的软件版本与内核版本不同。

12. 上传镜像：

    (undercloud)$ openstack overcloud image upload \
     --update-existing --os-image-name
     overcloud-realtime-compute.qcow2

    现在，您有一个实时镜像，可用于选择 Compute 节点上的 ComputeRealTime 可组合角色。

13. 要减少 Real-time Compute 节点上的延迟，您必须修改 Compute 节点上的 BIOS 设置。您应该在 Compute 节点 BIOS 设置中禁用以下组件的所有选项：

    • 电源管理
    • Hyper-Threading
    • CPU 睡眠状态

    • 逻辑处理器

      有关这些设置的描述及其禁用它们的影响，请参阅设置 BIOS 参数。有关如何更改 BIOS 设置的详情，请查看您的硬件制造商文档。

流程

1. 基于 /usr/share/openstack-tripleo-heat-templates/environments/compute-real-time-example.yaml 文件，创建一个 compute-real-time.yaml 环境文件，该文件为 ComputeRealTime 角色设置参数。

   cp /usr/share/openstack-tripleo-heat-templates/environments/compute-real-time-example.yaml /home/stack/templates/compute-real-time.yaml

   该文件必须包含以下参数的值：

   • IsolCpusList 和 NovaComputeCpuDedicatedSet ：隔离 CPU 内核和虚拟 CPU 列表，以便为实时工作负载保留。这个值取决于您的实时 Compute 节点的 CPU 硬件。
   • NovaComputeCpuSharedSet ：要为仿真程序线程保留的主机 CPU 列表。
   • KernelArgs ：用来传递给 Real-time Compute 节点的内核的参数。例如，您可以使用 default_hugepagesz=1G hugepagesz=1G hugepages=<number_of_1G_pages_to_reserve> hugepagesz=2M hugepages=<number_of_2M_pages> 定义具有多个大小的客户机的内存要求。在这个示例中，默认大小为 1GB，但您也可以保留 2M 巨页。
   • NovaComputeDisableIrqBalance ：确保为 Real-time Compute 节点将此参数设置为 true，因为 tuned 服务为实时部署管理 IRQ 平衡，而不是 irqbalance 服务。

2. 将 ComputeRealTime 角色添加到您的角色数据文件并重新生成该文件。例如：

   $ openstack overcloud roles generate -o /home/stack/templates/rt_roles_data.yaml Controller Compute ComputeRealTime

   此命令生成 ComputeRealTime 角色，其内容类似以下示例，并将 ImageDefault 选项设置为 overcloud-realtime-compute。

   - name: ComputeRealTime
     description: |
       Compute role that is optimized for real-time behaviour. When using this role
       it is mandatory that an overcloud-realtime-compute image is available and
       the role specific parameters IsolCpusList, NovaComputeCpuDedicatedSet and
       NovaComputeCpuSharedSet are set accordingly to the hardware of the real-time compute nodes.
     CountDefault: 1
     networks:
       InternalApi:
         subnet: internal_api_subnet
       Tenant:
         subnet: tenant_subnet
       Storage:
         subnet: storage_subnet
     HostnameFormatDefault: '%stackname%-computerealtime-%index%'
     ImageDefault: overcloud-realtime-compute
     RoleParametersDefault:
       TunedProfileName: "realtime-virtual-host"
       KernelArgs: ""      # these must be set in an environment file
       IsolCpusList: ""    # or similar according to the hardware
       NovaComputeCpuDedicatedSet: ""  # of real-time nodes
       NovaComputeCpuSharedSet: ""     #
       NovaLibvirtMemStatsPeriodSeconds: 0
     ServicesDefault:
       - OS::TripleO::Services::Aide
       - OS::TripleO::Services::AuditD
       - OS::TripleO::Services::BootParams
       - OS::TripleO::Services::CACerts
       - OS::TripleO::Services::CephClient
       - OS::TripleO::Services::CephExternal
       - OS::TripleO::Services::CertmongerUser
       - OS::TripleO::Services::Collectd
       - OS::TripleO::Services::ComputeCeilometerAgent
       - OS::TripleO::Services::ComputeNeutronCorePlugin
       - OS::TripleO::Services::ComputeNeutronL3Agent
       - OS::TripleO::Services::ComputeNeutronMetadataAgent
       - OS::TripleO::Services::ComputeNeutronOvsAgent
       - OS::TripleO::Services::Docker
       - OS::TripleO::Services::Fluentd
       - OS::TripleO::Services::IpaClient
       - OS::TripleO::Services::Ipsec
       - OS::TripleO::Services::Iscsid
       - OS::TripleO::Services::Kernel
       - OS::TripleO::Services::LoginDefs
       - OS::TripleO::Services::MetricsQdr
       - OS::TripleO::Services::MySQLClient
       - OS::TripleO::Services::NeutronBgpVpnBagpipe
       - OS::TripleO::Services::NeutronLinuxbridgeAgent
       - OS::TripleO::Services::NeutronVppAgent
       - OS::TripleO::Services::NovaCompute
       - OS::TripleO::Services::NovaLibvirt
       - OS::TripleO::Services::NovaLibvirtGuests
       - OS::TripleO::Services::NovaMigrationTarget
       - OS::TripleO::Services::ContainersLogrotateCrond
       - OS::TripleO::Services::OpenDaylightOvs
       - OS::TripleO::Services::Podman
       - OS::TripleO::Services::Rhsm
       - OS::TripleO::Services::RsyslogSidecar
       - OS::TripleO::Services::Securetty
       - OS::TripleO::Services::SensuClient
       - OS::TripleO::Services::SkydiveAgent
       - OS::TripleO::Services::Snmp
       - OS::TripleO::Services::Sshd
       - OS::TripleO::Services::Timesync
       - OS::TripleO::Services::Timezone
       - OS::TripleO::Services::TripleoFirewall
       - OS::TripleO::Services::TripleoPackages
       - OS::TripleO::Services::Vpp
       - OS::TripleO::Services::OVNController
       - OS::TripleO::Services::OVNMetadataAgent

   有关自定义角色和 roles-data.yaml 的常规信息，请参阅 角色。

3. 创建 compute-realtime 类别，以标记您要为实时工作负载指定的节点。例如：

   $ source ~/stackrc
   $ openstack flavor create --id auto --ram 6144 --disk 40 --vcpus 4 compute-realtime
   $ openstack flavor set --property "cpu_arch"="x86_64" --property "capabilities:boot_option"="local" --property "capabilities:profile"="compute-realtime" compute-realtime

4. 使用 compute-realtime 配置集标记您要为实时工作负载指定的每个节点。

   $ openstack baremetal node set --property capabilities='profile:compute-realtime,boot_option:local' <node_uuid>

5. 通过创建包含以下内容的环境文件，将 ComputeRealTime 角色映射到 compute-realtime 类别：

   parameter_defaults:
     OvercloudComputeRealTimeFlavor: compute-realtime

6. 使用其他环境文件将环境文件和新角色文件添加到堆栈中，并部署 overcloud：

   (undercloud)$ openstack overcloud deploy --templates \
    -e [your environment files] \
    -r /home/stack/templates/rt~/my_roles_data.yaml \
    -e home/stack/templates/compute-real-time.yaml

流程

1. 使用以下参数创建 compute-real-time.yaml 文件：

   parameter_defaults:
     ComputeRealTimeParameters:
       IsolCpusList: "1"
       NovaComputeCpuDedicatedSet: "1"
       NovaComputeCpuSharedSet: "0"
       KernelArgs: "default_hugepagesz=1G hugepagesz=1G hugepages=16"
       NovaComputeDisableIrqBalance: true

2. 使用 ComputeRealTime 角色创建一个新的 rt_roles_data.yaml 文件：

   $ openstack overcloud roles generate \
    -o ~/rt_roles_data.yaml Controller ComputeRealTime

3. 使用其他环境文件将 compute-real-time.yaml 和 rt_roles_data.yaml 添加到堆栈中，并部署 overcloud：

   (undercloud)$ openstack overcloud deploy --templates \
     -r /home/stack/rt_roles_data.yaml \
     -e [your environment files] \
     -e /home/stack/templates/compute-real-time.yaml

   此命令部署一个 Controller 节点和一个 Real-time Compute 节点。

4. 登录到 Real-time Compute 节点并检查以下参数：

   [root@overcloud-computerealtime-0 ~]# uname -a
   Linux overcloud-computerealtime-0 4.18.0-80.7.1.rt9.153.el8_0.x86_64 #1 SMP PREEMPT RT Wed Dec 13 13:37:53 UTC 2017 x86_64 x86_64 x86_64 GNU/Linux
   [root@overcloud-computerealtime-0 ~]# cat /proc/cmdline
   BOOT_IMAGE=/boot/vmlinuz-4.18.0-80.7.1.rt9.153.el8_0.x86_64 root=UUID=45ae42d0-58e7-44fe-b5b1-993fe97b760f ro console=tty0 crashkernel=auto console=ttyS0,115200 default_hugepagesz=1G hugepagesz=1G hugepages=16
   [root@overcloud-computerealtime-0 ~]# tuned-adm active
   Current active profile: realtime-virtual-host
   [root@overcloud-computerealtime-0 ~]# grep ^isolated_cores /etc/tuned/realtime-virtual-host-variables.conf
   isolated_cores=1
   [root@overcloud-computerealtime-0 ~]# cat /usr/lib/tuned/realtime-virtual-host/lapic_timer_adv_ns
   4000 # The returned value must not be 0
   [root@overcloud-computerealtime-0 ~]# cat /sys/module/kvm/parameters/lapic_timer_advance_ns
   4000 # The returned value must not be 0
   # To validate hugepages at a host level:
   [root@overcloud-computerealtime-0 ~]# cat /proc/meminfo | grep -E HugePages_Total|Hugepagesize
   HugePages_Total:      64
   Hugepagesize:    1048576 kB
   # To validate hugepages on a per NUMA level (below example is a two NUMA compute host):
   [root@overcloud-computerealtime-0 ~]# cat /sys/devices/system/node/node0/hugepages/hugepages-1048576kB/nr_hugepages
   32
   [root@overcloud-computerealtime-0 ~]# cat /sys/devices/system/node/node1/hugepages/hugepages-1048576kB/nr_hugepages
   32
   [root@overcloud-computerealtime-0 ~]# crudini --get /var/lib/config-data/puppet-generated/nova_libvirt/etc/nova/nova.conf compute cpu_dedicated_set
   1
   [root@overcloud-computerealtime-0 ~]# crudini --get /var/lib/config-data/puppet-generated/nova_libvirt/etc/nova/nova.conf compute cpu_shared_set
   0
   [root@overcloud-computerealtime-0 ~]# systemctl status irqbalance
   ● irqbalance.service - irqbalance daemon
      Loaded: loaded (/usr/lib/systemd/system/irqbalance.service; enabled; vendor preset: enabled)
      Active: inactive (dead) since Tue 2021-03-30 13:36:31 UTC; 2s ago

流程

1. 启动实时实例：

   # openstack server create  --image <rhel> \
    --flavor r1.small --nic net-id=<dpdk_net> test-rt

2. 可选：验证实例是否使用分配的仿真程序线程：

   # virsh dumpxml <instance_id> | grep vcpu -A1
   <vcpu placement='static'>4</vcpu>
   <cputune>
     <vcpupin vcpu='0' cpuset='1'/>
     <vcpupin vcpu='1' cpuset='3'/>
     <vcpupin vcpu='2' cpuset='5'/>
     <vcpupin vcpu='3' cpuset='7'/>
     <emulatorpin cpuset='0-1'/>
     <vcpusched vcpus='2-3' scheduler='fifo'
     priority='1'/>
   </cputune>