流程

1. 在 RHOSP 部署中登录到具有您要配置的 Mellanox NIC 的 Compute 节点。

2. 使用 mstflint 程序查询 ESWITCH_IPV4_TTL_MODIFY_ENABLE Mellanox 固件参数。

   [root@compute-1 ~]# yum install -y mstflint
   [root@compute-1 ~]# mstconfig -d <PF PCI BDF> q ESWITCH_IPV4_TTL_MODIFY_ENABLE

3. 如果 ESWITCH_IPV4_TTL_MODIFY_ENABLE 参数已启用并设置为 1，则将值设为 0 来禁用它。

   [root@compute-1 ~]# mstconfig -d <PF PCI BDF> s ESWITCH_IPV4_TTL_MODIFY_ENABLE=0`

4. 重新引导节点。

流程

1. 使用 Content Delivery Network 注册您的系统，在提示时输入您的客户门户网站用户名和密码。

   [stack@director ~]$ sudo subscription-manager register

2. 确定 Red Hat OpenStack Platform director 的权利池 ID，如以下命令中的 {Pool ID} 和输出：

   [stack@director ~]$ sudo subscription-manager list --available --all --matches="Red Hat OpenStack"
   Subscription Name:   Name of SKU
   Provides:            Red Hat Single Sign-On
                        Red Hat Enterprise Linux Workstation
                        Red Hat CloudForms
                        Red Hat OpenStack
                        Red Hat Software Collections (for RHEL Workstation)
                        Red Hat Virtualization
   SKU:                 SKU-Number
   Contract:            Contract-Number
   Pool ID:             {Pool-ID}-123456
   Provides Management: Yes
   Available:           1
   Suggested:           1
   Service Level:       Support-level
   Service Type:        Service-Type
   Subscription Type:   Sub-type
   Ends:                End-date
   System Type:         Physical

3. 在以下命令中包括 池 ID 值来附加 Red Hat OpenStack Platform 16.2 权利。

   [stack@director ~]$ sudo subscription-manager attach --pool={Pool-ID}-123456

4. 禁用默认软件仓库。

   subscription-manager repos --disable=*

5. 使用 NFV 启用 Red Hat OpenStack Platform 所需的软件仓库。

   $ sudo subscription-manager repos --enable=rhel-8-for-x86_64-baseos-eus-rpms \
   --enable=rhel-8-for-x86_64-appstream-eus-rpms \
   --enable=rhel-8-for-x86_64-highavailability-eus-rpms \
   --enable=ansible-2.9-for-rhel-8-x86_64-rpms \
   --enable=openstack-16.2-for-rhel-8-x86_64-rpms \
   --enable=rhel-8-for-x86_64-nfv-rpms \
   --enable=fast-datapath-for-rhel-8-x86_64-rpms

6. 更新您的系统，以便您拥有最新的基本系统软件包。

   [stack@director ~]$ sudo dnf update -y
   [stack@director ~]$ sudo reboot

流程

1. 以 stack 用户的身份登录 undercloud。

2. Source stackrc 文件：

   [stack@director ~]$ source ~/stackrc

3. 生成一个名为 roles_data_compute_sriov.yaml 的新角色数据文件，其中包含 Controller 和 ComputeSriov 角色：

   (undercloud)$ openstack overcloud roles \
    generate -o /home/stack/templates/roles_data_compute_sriov.yaml \
    Controller ComputeSriov

   ComputeSriov 是由 RHOSP 安装提供的自定义角色，它还包含 NeutronSriovAgent、NeutronSriovHostConfig 服务，以及默认的计算服务。

4. 要准备 SR-IOV 容器，请在生成 overcloud_images.yaml 文件时包括 neutron-sriov.yaml 和 roles_data_compute_sriov.yaml 文件。

   $ sudo openstack tripleo container image prepare \
     --roles-file ~/templates/roles_data_compute_sriov.yaml \
     -e /usr/share/openstack-tripleo-heat-templates/environments/services/neutron-sriov.yaml \
     -e ~/containers-prepare-parameter.yaml \
     --output-env-file=/home/stack/templates/overcloud_images.yaml

   如需有关容器镜像准备的更多信息，请参阅 Director 安装和使用指南中的准备容器镜像。

5. 在环境文件目录中，创建 /usr/share/openstack-tripleo-heat-templates/environments/network-environment.yaml 文件的副本：

   $ cp /usr/share/openstack-tripleo-heat-templates/environments/network-environment.yaml /home/stack/templates/network-environment-sriov.yaml

6. 在您的 network-environment-sriov.yaml 文件的 parameter_defaults 下添加以下参数，为您的集群和硬件配置 SR-IOV 节点：

     NeutronNetworkType: 'vlan'
     NeutronNetworkVLANRanges:
       - tenant:22:22
       - tenant:25:25
     NeutronTunnelTypes: ''

7. 要确定每个 PCI 设备类型的 vendor_id 和 product_id，请在具有 PCI 卡的物理服务器中使用以下命令之一：

   • 要从部署的 overcloud 返回 vendor_id 和 product_id，请使用以下命令：

     # lspci -nn -s  <pci_device_address>
     3b:00.0 Ethernet controller [0200]: Intel Corporation Ethernet Controller X710 for 10GbE SFP+ [<vendor_id>: <product_id>] (rev 02)

   • 如果您尚未部署 overcloud，返回 vendor_id 和 product_id (PF)，请使用以下命令：

     (undercloud) [stack@undercloud-0 ~]$ openstack baremetal introspection data save <baremetal_node_name> | jq '.inventory.interfaces[] | .name, .vendor, .product'

8. 在 network-environment-sriov.yaml 文件中为 SR-IOV 计算节点配置角色特定参数：

     ComputeSriovParameters:
       IsolCpusList: "1-19,21-39"
       KernelArgs: "default_hugepagesz=1GB hugepagesz=1G hugepages=32 iommu=pt intel_iommu=on isolcpus=1-19,21-39"
       TunedProfileName: "cpu-partitioning"
       NeutronBridgeMappings:
         - tenant:br-link0
       NeutronPhysicalDevMappings:
         - tenant:p7p1
       NovaComputeCpuDedicatedSet: '1-19,21-39'
       NovaReservedHostMemory: 4096

   注意

   NovaVcpuPinSet 参数现已弃用，并被用于专用固定工作负载的 NovaComputeCpuDedicatedSet 替代。

9. 在 network-environment-sriov.yaml 文件中为 SR-IOV 计算节点配置 PCI 透传设备：

     ComputeSriovParameters:
       ...
       NovaPCIPassthrough:
         - vendor_id: "<vendor_id>"
           product_id: "<product_id>"
           address: <NIC_address>
           physical_network: "<physical_network>"
       ...

   • 将 <vendor_id > 替换为 PCI 设备的厂商 ID。
   • 将 <product_id > 替换为 PCI 设备的产品 ID。
   • 将 <NIC_address > 替换为 PCI 设备的地址。有关如何配置 address 参数的详情，请参考 Configuring the Compute Service for Instance Creation 中的 Guidelines for configuring NovaPCIPassthrough 部分。

   • 使用 PCI 设备所在的物理网络的名称替换 <physical_network>。

     注意

     在配置 PCI 透传时不要使用 devname 参数，因为 NIC 的设备名称可能会改变。要在 PF 上创建 Networking 服务(neutron)端口，请指定 vendor_id、product_id 以及 NovaPCIPassthrough 中的 PCI 设备地址，并使用 --vnic-type direct-physical 选项创建端口。要在虚拟功能(VF)上创建网络服务端口，在 NovaPCIPassthrough 中指定 vendor_id 和 product_id，并使用 --vnic-type direct 选项创建端口。vendor_id 和 product_id 参数的值可能在物理功能(PF)和 VF 上下文之间不同。有关如何配置 NovaPCIPassthrough 的更多信息，请参阅 Configuring the Compute Service for Instance Creation 指南中的 Guidelines for configuring NovaPCIPassthrough。

10. 在 compute.yaml 网络配置模板中配置启用了 SR-IOV 的接口。要创建 SR-IOV VF，将接口配置为独立 NIC：

                 - type: sriov_pf
                    name: p7p3
                    mtu: 9000
                    numvfs: 10
                    use_dhcp: false
                    defroute: false
                    nm_controlled: true
                    hotplug: true
                    promisc: false
    
                  - type: sriov_pf
                    name: p7p4
                    mtu: 9000
                    numvfs: 10
                    use_dhcp: false
                    defroute: false
                    nm_controlled: true
                    hotplug: true
                    promisc: false

    注意

    numvfs 参数取代了网络配置 模板中的 NeutronSriovNum VFs 参数。红帽不支持在部署后修改 NeutronSriovNumVFs 参数或 numvfs 参数。如果在部署后修改任一参数，这可能会给该 PF 上带有 SR-IOV 端口的运行实例造成中断。在这种情况下，您必须硬重启这些实例，以便 SR-IOV PCI 设备再次可用。

11. 确保默认过滤器列表包含 AggregateInstanceExtraSpecsFilter 的值：

    NovaSchedulerDefaultFilters: ['AvailabilityZoneFilter','ComputeFilter','ComputeCapabilitiesFilter','ImagePropertiesFilter','ServerGroupAntiAffinityFilter','ServerGroupAffinityFilter','PciPassthroughFilter','AggregateInstanceExtraSpecsFilter']

12. 运行 overcloud_deploy.sh 脚本。

流程

1. 为您选择的角色打开 NIC 配置文件。

2. 为接口类型 sriov_pf 添加一个条目，以配置主机可使用的物理功能：

           - type: sriov_pf
               name: <interface name>
               use_dhcp: false
               numvfs: <number of vfs>
               promisc: <true/false> #optional (Defaults to true)

   注意

   numvfs 参数取代了网络配置 模板中的 NeutronSriovNum VFs 参数。红帽不支持在部署后修改 NeutronSriovNumVFs 参数或 numvfs 参数。如果在部署后修改任一参数，这可能会给该物理功能(PF)上运行 SR-IOV 端口的正在运行的实例造成中断。在这种情况下，您必须硬重启这些实例，以便 SR-IOV PCI 设备再次可用。

3. 为接口类型 sriov_vf 添加条目，以配置主机可以使用的虚拟功能：

    - type: <bond_type>
      name: internal_bond
      bonding_options: mode=<bonding_option>
      use_dhcp: false
      members:
      - type: sriov_vf
          device: <pf_device_name>
          vfid: <vf_id>
      - type: sriov_vf
          device:  <pf_device_name>
          vfid: <vf_id>
   
    - type: vlan
      vlan_id:
        get_param: InternalApiNetworkVlanID
      spoofcheck: false
      device: internal_bond
      addresses:
      - ip_netmask:
          get_param: InternalApiIpSubnet
      routes:
        list_concat_unique:
        - get_param: InternalApiInterfaceRoutes

   • 将 <bond_type > 替换为所需的绑定类型，如 linux_bond。您可以在绑定中为其他绑定应用 VLAN 标签，如 ovs_bond。

   • 将 <bonding_option > 替换为以下支持的绑定模式之一：

     • active-backup

     • balance-slb

       注意

       不支持 LACP 绑定。

   • 在 members 部分中，指定 sriov_vf 作为绑定的接口类型。

     注意

     如果将 OVS 网桥用作接口类型，则可以在 sriov_pf 设备的 sriov_vf 上配置一个 OVS 网桥。单个 sriov_pf 设备中的多个 OVS 网桥可能会导致跨 VF 进行数据包重复，并降低性能。

   • 将 <pf_device_name > 替换为 PF 设备的名称。
   • 如果使用 linux_bond，则必须分配 VLAN 标签。
   • 将 <vf_id > 替换为 VF 的 ID。适用的 VF ID 范围从零开始，并以最大 VF 数结束。
4. 禁用 spoof 检查，并在 sriov_vf 上针对 VF 上的 linux_bond 应用 VLAN 标签。

5. 要为实例保留 VF，请在环境文件中包括 NovaPCIPassthrough 参数，例如：

   NovaPCIPassthrough:
    - address: "0000:19:0e.3"
      trusted: "true"
      physical_network: "sriov1"
    - address: "0000:19:0e.0"
      trusted: "true"
      physical_network: "sriov2"

   director 识别主机 VF，并生成可供实例使用的 VF 的 PCI 地址。

6. 在所有需要 NIC 分区的节点中启用 IOMMU。例如，如果要为 Compute 节点进行 NIC 分区，请在该角色中使用 KernelArgs 参数启用 IOMMU。

   parameter_defaults:
     ComputeParameters:
       KernelArgs: "intel_iommu=on iommu=pt"

   注意

   当您首次在角色配置中添加 KernelArgs 参数时，overcloud 节点会自动重启。如果需要，您可以禁用自动重新引导节点，然后在每个 overcloud 部署后手动执行节点重启。如需更多信息，请参阅配置手动节点重新引导以定义 KernelArgs。

7. 将您的角色文件和环境文件添加到堆栈中，使用其他环境文件并部署 overcloud：
   

   (undercloud)$ openstack overcloud deploy --templates \
     -r os-net-config.yaml
     -e [your environment files] \
     -e /home/stack/templates/<compute_environment_file>.yaml

验证

1. 检查 VF 的数量。

   [root@overcloud-compute-0 heat-admin]# cat /sys/class/net/p4p1/device/sriov_numvfs
   10
   [root@overcloud-compute-0 heat-admin]# cat /sys/class/net/p4p2/device/sriov_numvfs
   10

2. 检查 Linux 绑定。

   [heat-admin@overcloud-computeovsdpdksriov-1 ~]$ cat /proc/net/bonding/<bond_name>
   Ethernet Channel Bonding Driver: v3.7.1 (April 27, 2011)
   
   Bonding Mode: fault-tolerance (active-backup)
   Primary Slave: None
   Currently Active Slave: eno3v1
   MII Status: up
   MII Polling Interval (ms): 0
   Up Delay (ms): 0
   Down Delay (ms): 0
   Peer Notification Delay (ms): 0
   
   Slave Interface: eno3v1
   MII Status: up
   Speed: 10000 Mbps
   Duplex: full
   Link Failure Count: 0
   Permanent HW addr: 4e:77:94:bd:38:d2
   Slave queue ID: 0
   
   Slave Interface: eno4v1
   MII Status: up
   Speed: 10000 Mbps
   Duplex: full
   Link Failure Count: 0
   Permanent HW addr: 4a:74:52:a7:aa:7c
   Slave queue ID: 0

3. 列出 OVS 绑定。

   [heat-admin@overcloud-computeovsdpdksriov-1 ~]# sudo ovs-appctl bond/show
   ---- dpdkbond0 ----
   bond_mode: balance-slb
   bond may use recirculation: no, Recirc-ID : -1
   bond-hash-basis: 0
   updelay: 0 ms
   downdelay: 0 ms
   next rebalance: 9491 ms
   lacp_status: off
   lacp_fallback_ab: false
   active slave mac: ce:ee:c7:58:8e:b2(dpdk1)
   
   slave dpdk0: enabled
     may_enable: true
   
   slave dpdk1: enabled
     active slave
     may_enable: true

4. 显示 OVS 连接。

   [root@overcloud-compute-0 heat-admin]# ovs-vsctl show
   b6567fa8-c9ec-4247-9a08-cbf34f04c85f
       Manager "ptcp:6640:127.0.0.1"
           is_connected: true
       Bridge br-sriov2
           Controller "tcp:127.0.0.1:6633"
               is_connected: true
           fail_mode: secure
           datapath_type: netdev
           Port phy-br-sriov2
               Interface phy-br-sriov2
                   type: patch
                   options: {peer=int-br-sriov2}
           Port br-sriov2
               Interface br-sriov2
                   type: internal
       Bridge br-sriov1
           Controller "tcp:127.0.0.1:6633"
               is_connected: true
           fail_mode: secure
           datapath_type: netdev
           Port phy-br-sriov1
               Interface phy-br-sriov1
                   type: patch
                   options: {peer=int-br-sriov1}
           Port br-sriov1
               Interface br-sriov1
                   type: internal
       Bridge br-ex
           Controller "tcp:127.0.0.1:6633"
               is_connected: true
           fail_mode: secure
           datapath_type: netdev
           Port br-ex
               Interface br-ex
                   type: internal
           Port phy-br-ex
               Interface phy-br-ex
                   type: patch
                   options: {peer=int-br-ex}
       Bridge br-tenant
           Controller "tcp:127.0.0.1:6633"
               is_connected: true
           fail_mode: secure
           datapath_type: netdev
           Port br-tenant
               tag: 305
               Interface br-tenant
                   type: internal
           Port phy-br-tenant
               Interface phy-br-tenant
                   type: patch
                   options: {peer=int-br-tenant}
           Port dpdkbond0
               Interface dpdk0
                   type: dpdk
                   options: {dpdk-devargs="0000:18:0e.0"}
               Interface dpdk1
                   type: dpdk
                   options: {dpdk-devargs="0000:18:0a.0"}
       Bridge br-tun
           Controller "tcp:127.0.0.1:6633"
               is_connected: true
           fail_mode: secure
           datapath_type: netdev
           Port vxlan-98140025
               Interface vxlan-98140025
                   type: vxlan
                   options: {df_default="true", egress_pkt_mark="0", in_key=flow, local_ip="152.20.0.229", out_key=flow, remote_ip="152.20.0.37"}
           Port br-tun
               Interface br-tun
                   type: internal
           Port patch-int
               Interface patch-int
                   type: patch
                   options: {peer=patch-tun}
           Port vxlan-98140015
               Interface vxlan-98140015
                   type: vxlan
                   options: {df_default="true", egress_pkt_mark="0", in_key=flow, local_ip="152.20.0.229", out_key=flow, remote_ip="152.20.0.21"}
           Port vxlan-9814009f
               Interface vxlan-9814009f
                   type: vxlan
                   options: {df_default="true", egress_pkt_mark="0", in_key=flow, local_ip="152.20.0.229", out_key=flow, remote_ip="152.20.0.159"}
           Port vxlan-981400cc
               Interface vxlan-981400cc
                   type: vxlan
                   options: {df_default="true", egress_pkt_mark="0", in_key=flow, local_ip="152.20.0.229", out_key=flow, remote_ip="152.20.0.204"}
       Bridge br-int
   
           Controller "tcp:127.0.0.1:6633"
               is_connected: true
           fail_mode: secure
           datapath_type: netdev
           Port int-br-tenant
               Interface int-br-tenant
                   type: patch
                   options: {peer=phy-br-tenant}
           Port int-br-ex
               Interface int-br-ex
                   type: patch
                   options: {peer=phy-br-ex}
           Port int-br-sriov1
               Interface int-br-sriov1
                   type: patch
                   options: {peer=phy-br-sriov1}
           Port patch-tun
               Interface patch-tun
                   type: patch
                   options: {peer=patch-int}
           Port br-int
               Interface br-int
                   type: internal
           Port int-br-sriov2
               Interface int-br-sriov2
                   type: patch
                   options: {peer=phy-br-sriov2}
           Port vhu4142a221-93
               tag: 1
               Interface vhu4142a221-93
                   type: dpdkvhostuserclient
                   options: {vhost-server-path="/var/lib/vhost_sockets/vhu4142a221-93"}
       ovs_version: "2.13.2"

流程

1. 为基于 Compute 角色的 OVS 硬件卸载生成 overcloud 角色：

   openstack overcloud roles generate -o roles_data.yaml Controller Compute:ComputeOvsHwOffload

2. 可选：更改 HostnameFormatDefault: '%stackname%-compute-%index%' 名称，用于 ComputeOvsHwOffload 角色。
3. 将 OvsHwOffload 参数添加到角色特定参数下，值设为 true。
4. 要将 neutron 配置为使用 iptables/hybrid 驱动实现，请包括： NeutronOVSFirewallDriver: iptables_hybrid。有关 NeutronOVSFirewallDriver 的更多信息，请参阅高级 Overcloud 自定义指南中的 使用 Open vSwitch 防火墙。

5. 配置 physical_network 参数以匹配您的环境。

   • 对于 VLAN，将 physical_network 参数设置为部署后您在 neutron 中创建的网络名称。这个值也应在 NeutronBridgeMappings 中。

   • 对于 VXLAN，将 physical_network 参数设置为 null。

     例如：

     parameter_defaults:
       NeutronOVSFirewallDriver: iptables_hybrid
       ComputeSriovParameters:
         IsolCpusList: 2-9,21-29,11-19,31-39
         KernelArgs: "default_hugepagesz=1GB hugepagesz=1G hugepages=128 intel_iommu=on iommu=pt"
         OvsHwOffload: true
         TunedProfileName: "cpu-partitioning"
         NeutronBridgeMappings:
           - tenant:br-tenant
         NovaPCIPassthrough:
           - vendor_id: <vendor-id>
             product_id: <product-id>
             address: <address>
             physical_network: "tenant"
           - vendor_id: <vendor-id>
             product_id: <product-id>
             address: <address>
             physical_network: "null"
         NovaReservedHostMemory: 4096
         NovaComputeCpuDedicatedSet: 1-9,21-29,11-19,31-39

   • 将 <vendor-id > 替换为物理 NIC 的供应商 ID。
   • 将 <product-id > 替换为 NIC VF 的产品 ID。

   • 将 < address> 替换为物理 NIC 的地址。

     有关如何配置 NovaPCIPassthrough 的更多信息，请参阅 Configuring the Compute Service for Instance Creation 指南中的 Guidelines for configuring NovaPCIPassthrough。

6. 确保默认过滤器列表包含 NUMATopologyFilter ：

     NovaSchedulerDefaultFilters: [\'AvailabilityZoneFilter',\'ComputeFilter',\'ComputeCapabilitiesFilter',\'ImagePropertiesFilter',\'ServerGroupAntiAffinityFilter',\'ServerGroupAffinityFilter',\'PciPassthroughFilter',\'NUMATopologyFilter']

   注意

   可选： 有关如何在带有 Mellanox ConnectX5 NIC 的 RHOSP 16.2 中排除和配置 OVS 硬件卸载问题的详细信息，请参阅 2.2 故障排除硬件卸载。

7. 在 compute-sriov.yaml 配置文件中配置用于硬件卸载的一个或多个网络接口：

     - type: ovs_bridge
       name: br-tenant
       mtu: 9000
       members:
       - type: sriov_pf
         name: p7p1
         numvfs: 5
         mtu: 9000
         primary: true
         promisc: true
         use_dhcp: false
         link_mode: switchdev

   注意

   • 在配置 Open vSwitch 硬件卸载时，不要使用 NeutronSriovNumVFs 参数。使用 os-net-config 使用的网络配置文件中的 numvfs 参数来指定虚拟功能的数量。红帽不支持在更新或重新部署过程中修改 numvfs 设置。
   • 不要将 Mellanox 网络接口配置为 nic-config 接口类型 ovs-vlan，因为这可防止 VXLAN 等隧道端点因为驱动程序限制而传递流量。

8. 在 overcloud deploy 命令中包含 ovs-hw-offload.yaml 文件：

   TEMPLATES_HOME=”/usr/share/openstack-tripleo-heat-templates”
   CUSTOM_TEMPLATES=”/home/stack/templates”
   
   openstack overcloud deploy --templates \
     -r ${CUSTOM_TEMPLATES}/roles_data.yaml \
     -e ${TEMPLATES_HOME}/environments/ovs-hw-offload.yaml \
     -e ${CUSTOM_TEMPLATES}/network-environment.yaml \
     -e ${CUSTOM_TEMPLATES}/neutron-ovs.yaml

流程

1. 要从一个启用了 switchdev 的 NIC 中分配一个端口，以 admin 用户身份登录，创建一个带有值为 binding-profile 的 capabilities，并禁用端口安全性：

   $ openstack port create --network private --vnic-type=direct --binding-profile '{"capabilities": ["switchdev"]}' direct_port1 --no-security-group --disable-port-security

流程

1. 使用 director 在 OVS 上应用以下配置：

   $ sudo ovs-vsctl set Open_vSwitch . other_config:hw-offload=true

2. 重新启动 以启用 HW Offload。

流程

1. 应用以下配置：如果您没有显式配置 tc-policy，则这是默认选项：

   $ sudo ovs-vsctl set Open_vSwitch . other_config:tc-policy=none

2. 重启 OVS。

流程

1. 在部署过程中，使用主机网络配置工具 os-net-config 启用 hw-tc-offload。
2. 每当您重新引导 Compute 节点时，在 sriov_config 服务上启用 hw-tc-offload。

3. 将附加到绑定的 NIC 的 hw-tc-offload 参数设置为 on ：

   [root@overcloud-computesriov-0 ~]# ethtool -k ens1f0 | grep tc-offload
   hw-tc-offload: on

流程

1. 将 eswitch 模式设置为 switchdev 用于 HW 卸载的接口。
2. 使用主机网络配置工具 os-net-config 在部署期间启用 eswitch。

3. 每当您重新引导 Compute 节点时，在 sriov_config 服务中启用 eswitch。

   [root@overcloud-computesriov-0 ~]# devlink dev eswitch show pci/$(ethtool -i ens1f0 | grep bus-info | cut -d ':' -f 2,3,4 | awk '{$1=$1};1')

流程

1. 要获得 Broadcom 芯片表内容，请使用 bcmcmd 命令。

   root@dni-7448-26:~# cl-bcmcmd l2 show
   
   mac=00:02:00:00:00:08 vlan=2000 GPORT=0x2 modid=0 port=2/xe1
   mac=00:02:00:00:00:09 vlan=2000 GPORT=0x2 modid=0 port=2/xe1 Hit

2. 检查流量控制(TC)层。

   # tc -s filter show dev p5p1_1 ingress
   …
   filter block 94 protocol ip pref 3 flower chain 5
   filter block 94 protocol ip pref 3 flower chain 5 handle 0x2
     eth_type ipv4
     src_ip 172.0.0.1
     ip_flags nofrag
     in_hw in_hw_count 1
           action order 1: mirred (Egress Redirect to device eth4) stolen
           index 3 ref 1 bind 1 installed 364 sec used 0 sec
           Action statistics:
           Sent 253991716224 bytes 169534118 pkt (dropped 0, overlimits 0 requeues 0)
           Sent software 43711874200 bytes 30161170 pkt
           Sent hardware 210279842024 bytes 139372948 pkt
           backlog 0b 0p requeues 0
           cookie 8beddad9a0430f0457e7e78db6e0af48
           no_percpu

3. 检查此输出中的 in_hw 标志和统计数据。词语 硬件 表示硬件处理网络流量。如果使用 tc-policy=none，您可以检查此输出或 tcpdump 以调查硬件或软件处理数据包的时间。当驱动程序无法卸载数据包时，您可以在 dmesg 或 ovs-vswitch.log 中看到对应的日志消息。

4. 例如，在 Mellanox 中，日志条目与 dmesg 中的 syndrome 消息类似。

   [13232.860484] mlx5_core 0000:3b:00.0: mlx5_cmd_check:756:(pid 131368): SET_FLOW_TABLE_ENTRY(0x936) op_mod(0x0) failed, status bad parameter(0x3), syndrome (0x6b1266)

   在本例中，错误代码(0x6b1266)代表以下行为：

   0x6B1266 |  set_flow_table_entry: pop vlan and forward to uplink is not allowed

流程

1. 确定系统上已启用 SR-IOV 和 VT-d。
2. 通过在内核参数中添加 intel_iommu=on 来启用 IOMMU，例如使用 GRUB。

流程

1. 要启用卸载模块的日志记录，并获取此故障的额外日志信息，请在 Compute 节点上使用以下命令：

   ovs-appctl vlog/set dpif_netlink:file:dbg
   # Module name changed recently (check based on the version used
   ovs-appctl vlog/set netdev_tc_offloads:file:dbg [OR] ovs-appctl vlog/set netdev_offload_tc:file:dbg
   ovs-appctl vlog/set tc:file:dbg

2. 再次检查 ovs-vswitchd 日志，以查看与该问题相关的其他详细信息。

   在以下示例中，因为不支持的属性标记，卸载会失败。

    2020-01-31T06:22:11.218Z|00471|dpif_netlink(handler402)|DBG|system@ovs-system: put[create] ufid:61bd016e-eb89-44fc-a17e-958bc8e45fda recirc_id(0),dp_hash(0/0),skb_priority(0/0),in_port(7),skb_mark(0),ct_state(0/0),ct_zone(0/0),ct_mark(0/0),ct_label(0/0),eth(src=fa:16:3e:d2:f5:f3,dst=fa:16:3e:c4:a3:eb),eth_type(0x0800),ipv4(src=10.1.1.8/0.0.0.0,dst=10.1.1.31/0.0.0.0,proto=1/0,tos=0/0x3,ttl=64/0,frag=no),icmp(type=0/0,code=0/0), actions:set(tunnel(tun_id=0x3d,src=10.10.141.107,dst=10.10.141.124,ttl=64,tp_dst=4789,flags(df|key))),6
   
   2020-01-31T06:22:11.253Z|00472|netdev_tc_offloads(handler402)|DBG|offloading attribute pkt_mark isn't supported
   
   2020-01-31T06:22:11.257Z|00473|dpif_netlink(handler402)|ERR|failed to offload flow: Operation not supported: p6p1_5

1. 创建类别。

   $ openstack flavor create <flavor> --ram <MB> --disk <GB> --vcpus <#>

   提示

   您可以通过在您的类别中添加额外 spec hw:pci_numa_affinity_policy 来为 PCI 透传设备和 SR-IOV 接口指定 NUMA 关联性策略。有关更多信息，请参阅配置实例创建 指南中的 类别服务元数据。

2. 创建 网络。

   $ openstack network create net1 --provider-physical-network tenant --provider-network-type vlan --provider-segment <VLAN-ID>
   $ openstack subnet create subnet1 --network net1 --subnet-range 192.0.2.0/24 --dhcp

3. 创建端口。

   • 使用 vnic-type direct 创建 SR-IOV 虚拟功能(VF)端口。

     $ openstack port create --network net1 --vnic-type direct sriov_port

   • 使用以下命令来创建带有硬件卸载的虚拟功能。您必须是一个 admin 用户来设置 --binding-profile。

     $ openstack port create --network net1 --vnic-type direct --binding-profile '{"capabilities": ["switchdev"]} sriov_hwoffload_port

   • 使用 vnic-type direct-physical 创建专用于单个实例的 SR-IOV 物理功能(PF)端口。这个 PF 端口是 Networking 服务(neutron)端口，但不由网络服务控制，不作为网络适配器可见，因为它是一个通过实例传递给实例的 PCI 设备。

     $ openstack port create --network net1 --vnic-type direct-physical sriov_port

4. 部署实例。

   $ openstack server create --flavor <flavor> --image <image> --nic port-id=<id> <instance name>

1. 您可以通过部署模板中的 heat 参数 NovaSchedulerDefaultFilters（在 parameter_defaults in your deployment templates. 下），配置 AggregateInstanceExtraSpecsFilter 值和其他必要的过滤。

     parameter_defaults:
       NovaSchedulerDefaultFilters: ['AggregateInstanceExtraSpecsFilter','AvailabilityZoneFilter','ComputeFilter','ComputeCapabilitiesFilter','ImagePropertiesFilter','ServerGroupAntiAffinityFilter','ServerGroupAffinityFilter','PciPassthroughFilter','NUMATopologyFilter']

   注意

   要将此参数添加到现有集群的配置中，您可以将其添加到 heat 模板，然后再次运行原始部署脚本。

2. 为 SR-IOV 创建聚合组，并添加相关主机。定义与定义的类别元数据匹配的元数据，如 sriov=true。

   # openstack aggregate create sriov_group
   # openstack aggregate add host sriov_group compute-sriov-0.localdomain
   # openstack aggregate set --property sriov=true sriov_group

3. 创建类别。

   # openstack flavor create <flavor> --ram <MB> --disk <GB> --vcpus <#>

4. 设置其他类别属性。请注意，定义的元数据 sriov=true 与 SR-IOV 聚合上的定义元数据匹配。

   # openstack flavor set --property sriov=true --property hw:cpu_policy=dedicated --property hw:mem_page_size=1GB <flavor>

1. 将 usr/share/openstack-tripleo-heat-templates/plan-environment-derived-params.yaml 文件复制到本地目录，并设置输入参数以适合您的环境。

     workflow_parameters:
       tripleo.derive_params.v1.derive_parameters:
         # DPDK Parameters #
         # Specifies the minimum number of CPU physical cores to be allocated for DPDK
         # PMD threads. The actual allocation will be based on network config, if
         # the a DPDK port is associated with a numa node, then this configuration
         # will be used, else 1.
         num_phy_cores_per_numa_node_for_pmd: 1
         # Amount of memory to be configured as huge pages in percentage. Ouf the
         # total available memory (excluding the NovaReservedHostMemory), the
         # specified percentage of the remaining is configured as huge pages.
         huge_page_allocation_percentage: 50

2. 运行 openstack overcloud deploy 命令并包含以下信息：

   • update-plan-only 选项
   • 角色文件和所有环境文件特定于您的环境

   • 带有 --plan-environment-file 可选参数的 plan-environment-derived-parms.yaml 文件

     $ openstack overcloud deploy --templates --update-plan-only \
     -r /home/stack/roles_data.yaml \
     -e /home/stack/<environment-file> \
     ... _#repeat as necessary_ ...
     **-p /home/stack/plan-environment-derived-params.yaml**

1. 将 deploy 命令输出中派生的参数复制到 network-environment.yaml 文件中。

     # DPDK compute node.
     ComputeOvsDpdkParameters:
       KernelArgs: default_hugepagesz=1GB hugepagesz=1G hugepages=32 iommu=pt intel_iommu=on
       TunedProfileName: "cpu-partitioning"
       IsolCpusList: "1,2,3,4,5,6,7,9,10,17,18,19,20,21,22,23,11,12,13,14,15,25,26,27,28,29,30,31"
       NovaComputeCpuDedicatedSet: ['2,3,4,5,6,7,18,19,20,21,22,23,10,11,12,13,14,15,26,27,28,29,30,31']
       NovaReservedHostMemory: 4096
       OvsDpdkSocketMemory: "1024,1024"
       OvsDpdkMemoryChannels: "4"
       OvsPmdCoreList: "1,17,9,25"

   注意

   这些参数适用于特定的角色 ComputeOvsDpdk。您可以在全局范围内应用这些参数，但特定于角色的参数会覆盖任何全局参数。

2. 使用角色文件和特定于您的环境的所有环境文件来部署 overcloud。

1. 在 network-environment.yaml 文件中设置 NeutronGlobalPhysnetMtu 参数。

   parameter_defaults:
     # MTU global configuration
     NeutronGlobalPhysnetMtu: 9000

   注意

   确保 network-environment.yaml 文件中的 OvsDpdkSocketMemory 值足够大，以支持巨型帧。详情请查看 第 7.4.2 节 “内存参数”。

2. 将网桥上的 MTU 值设为 controller.yaml 文件中的 Compute 节点。

     -
       type: ovs_bridge
       name: br-link0
       use_dhcp: false
       members:
         -
           type: interface
           name: nic3
           mtu: 9000

3. 在 compute.yaml 文件中设置 OVS-DPDK 绑定的 MTU 值：

   - type: ovs_user_bridge
     name: br-link0
     use_dhcp: false
     members:
       - type: ovs_dpdk_bond
         name: dpdkbond0
         mtu: 9000
         rx_queue: 2
         members:
           - type: ovs_dpdk_port
             name: dpdk0
             mtu: 9000
             members:
               - type: interface
                 name: nic4
           - type: ovs_dpdk_port
             name: dpdk1
             mtu: 9000
             members:
               - type: interface
                 name: nic5

流程

1. 将 OvsPmdAutoLb 参数的值更改为 true 以启用自动 PMD 负载均衡：

   parameter_defaults:
   OvsPmdAutoLb: true

2. 指定触发 PMD 与 OvsPmdLoadThreshold 参数的 PMD 负载均衡的百分比限制：

   parameter_defaults:
   OvsPmdAutoLb: true
     OvsPmdLoadThreshold: <load_threshold>

   将 <load_threshold > 替换为 0 到 100 之间的数字，表示触发自动负载均衡的 PMD 线程负载的最小百分比。

3. 指定跨非隔离 PMD 线程（触发 PMD Auto Load Balance OvsPmdImprovementThreshold 参数）的最小评估百分比：

   parameter_defaults:
   OvsPmdAutoLb: true
     OvsPmdLoadThreshold: <load_threshold>
     OvsPmdImprovementThreshold: <improvement_threshold>

   将 <improvement_threshold > 替换为 0 到 100 之间的数字，表示触发自动负载均衡的已评估的最小百分比。

4. 使用 OvsPmdRebalInterval 参数指定两个连续 PMD 自动载入操作之间的最短时间：

   parameter_defaults:
   OvsPmdAutoLb: true
     OvsPmdLoadThreshold: <load_threshold>
     OvsPmdImprovementThreshold: <improvement_threshold>
     OvsPmdRebalInterval: <interval>

   将 <interval > 替换为 0 到 20,000 之间的数字，以表示时间（以分钟为单位）。

5. 将您的 OVS PMD 环境文件添加到堆栈中，并部署 overcloud：

   (undercloud)$ openstack overcloud deploy --templates \
    -e [your environment files] \
    -e /home/stack/templates/auto_ovs_pmd.yaml

1. 创建聚合组，并为 OVS-DPDK 添加相关主机。定义与定义的类别元数据匹配的元数据，如 dpdk=true。

    # openstack aggregate create dpdk_group
    # openstack aggregate add host dpdk_group [compute-host]
    # openstack aggregate set --property dpdk=true dpdk_group

   注意

   固定 CPU 实例可以位于与未固定实例相同的 Compute 节点上。如需更多信息，请参阅配置实例创建指南中的在 Compute 节点上配置 CPU 固定。

2. 创建类别。

   # openstack flavor create <flavor> --ram <MB> --disk <GB> --vcpus <#>

3. 设置类别属性。请注意，定义的元数据 dpdk=true 与 DPDK 聚合中定义的元数据匹配。

   # openstack flavor set <flavor> --property dpdk=true --property hw:cpu_policy=dedicated --property hw:mem_page_size=1GB --property hw:emulator_threads_policy=isolate

   有关性能改进的仿真程序线程策略的详情，请参考 配置仿真程序线程。

4. 创建 网络。

   # openstack network create net1 --provider-physical-network tenant --provider-network-type vlan --provider-segment <VLAN-ID>
   # openstack subnet create subnet1 --network net1 --subnet-range 192.0.2.0/24 --dhcp

5. 可选：如果您在 OVS-DPDK 中使用多队列，请在您要用于创建实例的镜像上设置 hw_vif_multiqueue_enabled 属性：

   # openstack image set --property hw_vif_multiqueue_enabled=true <image>

6. 部署实例。

   # openstack server create --flavor <flavor> --image <glance image> --nic net-id=<network ID> <server_name>

1. 检查网桥配置，并确认网桥具有 datapath_type=netdev。

   # ovs-vsctl list bridge br0
   _uuid               : bdce0825-e263-4d15-b256-f01222df96f3
   auto_attach         : []
   controller          : []
   datapath_id         : "00002608cebd154d"
   datapath_type       : netdev
   datapath_version    : "<built-in>"
   external_ids        : {}
   fail_mode           : []
   flood_vlans         : []
   flow_tables         : {}
   ipfix               : []
   mcast_snooping_enable: false
   mirrors             : []
   name                : "br0"
   netflow             : []
   other_config        : {}
   ports               : [52725b91-de7f-41e7-bb49-3b7e50354138]
   protocols           : []
   rstp_enable         : false
   rstp_status         : {}
   sflow               : []
   status              : {}
   stp_enable          : false

2. 另外，您可以查看错误的日志，如容器无法启动。

   # less /var/log/containers/neutron/openvswitch-agent.log

3. 确认 ovs-dpdk 的 Poll Mode Driver CPU 掩码已固定到 CPU。如果是超线程，请使用同级 CPU。

   例如，要检查 CPU4 的同级设备，请运行以下命令：

   # cat /sys/devices/system/cpu/cpu4/topology/thread_siblings_list
   4,20

   CPU4 的同级是 CPU20，因此使用以下命令：

   # ovs-vsctl set Open_vSwitch . other_config:pmd-cpu-mask=0x100010

   显示状态：

   # tuna -t ovs-vswitchd -CP
   thread  ctxt_switches pid SCHED_ rtpri affinity voluntary nonvoluntary       cmd
   3161	OTHER 	0    	6	765023      	614	ovs-vswitchd
   3219   OTHER 	0    	6     	1        	0   	handler24
   3220   OTHER 	0    	6     	1        	0   	handler21
   3221   OTHER 	0    	6     	1        	0   	handler22
   3222   OTHER 	0    	6     	1        	0   	handler23
   3223   OTHER 	0    	6     	1        	0   	handler25
   3224   OTHER 	0    	6     	1        	0   	handler26
   3225   OTHER 	0    	6     	1        	0   	handler27
   3226   OTHER 	0    	6     	1        	0   	handler28
   3227   OTHER 	0    	6     	2        	0   	handler31
   3228   OTHER 	0    	6     	2        	4   	handler30
   3229   OTHER 	0    	6     	2        	5   	handler32
   3230   OTHER 	0    	6	953538      	431   revalidator29
   3231   OTHER 	0    	6   1424258      	976   revalidator33
   3232   OTHER 	0    	6   1424693      	836   revalidator34
   3233   OTHER 	0    	6	951678      	503   revalidator36
   3234   OTHER 	0    	6   1425128      	498   revalidator35
   *3235   OTHER 	0    	4	151123       	51       	pmd37*
   *3236   OTHER 	0   	20	298967       	48       	pmd38*
   3164   OTHER 	0    	6 	47575        	0  dpdk_watchdog3
   3165   OTHER 	0    	6	237634        	0   vhost_thread1
   3166   OTHER 	0    	6  	3665        	0       	urcu2

1. 在 undercloud 上安装 ceph-ansible。

   $ sudo yum install ceph-ansible -y

2. 为 ComputeHCI 角色生成 roles_data.yaml 文件。

   $ openstack overcloud roles generate -o ~/<templates>/roles_data.yaml Controller \
    ComputeHCIOvsDpdk

3. 使用 openstack flavor create 和 openstack flavor set 命令创建和配置新类别。有关创建类别的更多信息，请参阅高级 Overcloud 自定义指南中的创建新角色。

4. 使用您生成的自定义 roles_data.yaml 文件部署 overcloud。

   # time openstack overcloud deploy --templates \
    --timeout 360 \
    -r ~/<templates>/roles_data.yaml \
    -e /usr/share/openstack-tripleo-heat-templates/environments/ceph-ansible/ceph-ansible.yaml \
    -e /usr/share/openstack-tripleo-heat-templates/environments/network-isolation.yaml \
    -e /usr/share/openstack-tripleo-heat-templates/environments/services-docker/neutron-ovs-dpdk.yaml \
    -e ~/<templates>/<custom environment file>

1. 在 resource_registry 下为 OVS-DPDK 添加自定义资源：

     resource_registry:
       # Specify the relative/absolute path to the config files you want to use for override the default.
       OS::TripleO::ComputeOvsDpdkSriov::Net::SoftwareConfig: nic-configs/computeovsdpdksriov.yaml
       OS::TripleO::Controller::Net::SoftwareConfig: nic-configs/controller.yaml

2. 在 parameter_defaults 下，将隧道类型设置为 vxlan，并将网络类型设置为 vxlan,vlan ：

   NeutronTunnelTypes: 'vxlan'
   NeutronNetworkType: 'vxlan,vlan'

3. 在 parameters_defaults 下，设置网桥映射：

   # The OVS logical->physical bridge mappings to use.
   NeutronBridgeMappings:
     - dpdk-mgmt:br-link0

4. 在 parameter_defaults 下，为 ComputeOvsDpdkSriov 角色设置特定于角色的参数：

     ##########################
     # OVS DPDK configuration #
     ##########################
     ComputeOvsDpdkSriovParameters:
       KernelArgs: "default_hugepagesz=1GB hugepagesz=1G hugepages=32 iommu=pt intel_iommu=on isolcpus=2-19,22-39"
       TunedProfileName: "cpu-partitioning"
       IsolCpusList: "2-19,22-39"
       NovaComputeCpuDedicatedSet: ['4-19,24-39']
       NovaReservedHostMemory: 4096
       OvsDpdkSocketMemory: "3072,1024"
       OvsDpdkMemoryChannels: "4"
       OvsPmdCoreList: "2,22,3,23"
       NovaComputeCpuSharedSet: [0,20,1,21]
       NovaLibvirtRxQueueSize: 1024
       NovaLibvirtTxQueueSize: 1024

   注意

   要防止客户机创建过程中故障，在每个 NUMA 节点上至少分配一个带有同级线程的 CPU。在示例中，OvsPmdCoreList 参数的值代表来自 NUMA 0 的核心 2 和 22，以及来自 NUMA 1 的内核 3 和 23。

   注意

   这些巨页由虚拟机消耗，由 OVS-DPDK 使用 OvsDpdkSocketMemory 参数，如此过程所示。可用于虚拟机的巨页数量是 引导参数，减去 OvsDpdkSocketMemory。

   您还必须将 hw:mem_page_size=1GB 添加到与 DPDK 实例关联的类别。

   注意

   OvsDpdkMemoryChannels 是这个流程的必要设置。对于最佳操作，请确保使用适当的参数和值部署 DPDK。

5. 为 SR-IOV 配置特定于角色的参数：

     NovaPCIPassthrough:
       - vendor_id: "8086"
         product_id: "1528"
         address: "0000:06:00.0"
         trusted: "true"
         physical_network: "sriov-1"
       - vendor_id: "8086"
         product_id: "1528"
         address: "0000:06:00.1"
         trusted: "true"
         physical_network: "sriov-2"

1. 为隔离的网络创建 control-plane Linux 绑定。

     - type: linux_bond
       name: bond_api
       bonding_options: "mode=active-backup"
       use_dhcp: false
       dns_servers:
         get_param: DnsServers
       members:
       - type: interface
         name: nic2
         primary: true

2. 将 VLAN 分配给此 Linux 绑定。

     - type: vlan
       vlan_id:
         get_param: InternalApiNetworkVlanID
       device: bond_api
       addresses:
       - ip_netmask:
           get_param: InternalApiIpSubnet
   
     - type: vlan
       vlan_id:
         get_param: StorageNetworkVlanID
       device: bond_api
       addresses:
       - ip_netmask:
           get_param: StorageIpSubnet
   
     - type: vlan
       vlan_id:
         get_param: StorageMgmtNetworkVlanID
       device: bond_api
       addresses:
       - ip_netmask:
           get_param: StorageMgmtIpSubnet
   
     - type: vlan
       vlan_id:
         get_param: ExternalNetworkVlanID
       device: bond_api
       addresses:
       - ip_netmask:
           get_param: ExternalIpSubnet
       routes:
       - default: true
         next_hop:
           get_param: ExternalInterfaceDefaultRoute

3. 创建 OVS 网桥，以访问 neutron-dhcp-agent 和 neutron-metadata-agent 服务。

     - type: ovs_bridge
       name: br-link0
       use_dhcp: false
       mtu: 9000
       members:
       - type: interface
         name: nic3
         mtu: 9000
       - type: vlan
         vlan_id:
           get_param: TenantNetworkVlanID
         mtu: 9000
         addresses:
         - ip_netmask:
             get_param: TenantIpSubnet

1. 为隔离的网络创建 control-plane Linux 绑定。

     - type: linux_bond
       name: bond_api
       bonding_options: "mode=active-backup"
       use_dhcp: false
       dns_servers:
         get_param: DnsServers
       members:
       - type: interface
         name: nic3
         primary: true
       - type: interface
         name: nic4

2. 将 VLAN 分配给此 Linux 绑定。

     - type: vlan
       vlan_id:
         get_param: InternalApiNetworkVlanID
       device: bond_api
       addresses:
       - ip_netmask:
           get_param: InternalApiIpSubnet
   
     - type: vlan
       vlan_id:
         get_param: StorageNetworkVlanID
       device: bond_api
       addresses:
       - ip_netmask:
           get_param: StorageIpSubnet

3. 设置带有 DPDK 端口的网桥，以链接到控制器。

     - type: ovs_user_bridge
       name: br-link0
       use_dhcp: false
       ovs_extra:
         - str_replace:
             template: set port br-link0 tag=_VLAN_TAG_
             params:
               _VLAN_TAG_:
                  get_param: TenantNetworkVlanID
       addresses:
         - ip_netmask:
             get_param: TenantIpSubnet
       members:
         - type: ovs_dpdk_bond
           name: dpdkbond0
           mtu: 9000
           rx_queue: 2
           members:
             - type: ovs_dpdk_port
               name: dpdk0
               members:
                 - type: interface
                   name: nic7
             - type: ovs_dpdk_port
               name: dpdk1
               members:
                 - type: interface
                   name: nic8

   注意

   要包含多个 DPDK 设备，请为您要添加的每个 DPDK 设备重复 类型 代码部分。

   注意

   使用 OVS-DPDK 时，同一 Compute 节点上的所有网桥都必须是 ovs_user_bridge 类型。Red Hat OpenStack Platform 不支持同一节点上的 ovs_bridge 和 ovs_user_bridge。

1. 运行 overcloud_deploy.sh 脚本：