第 7 章 测试 InfiniBand 网络

7.1. 测试早期 InfiniBand RDMA 操作

InfiniBand 为远程直接内存访问(RDMA)提供低延迟和高性能。

注意

除了 InfiniBand 外，如果您使用基于 IP 的设备，如Internet Wide-area Remote Protocol(iWARP) 或 RDMA over Converged Ethernet (RoCE)或 InfiniBand over Ethernet (IBoE)设备，请参阅：

先决条件

  • 您已配置了 rdma 服务。
  • 您已安装了 libibverbs-utils 和 infiniband-diags 软件包。

流程

  1. 列出可用的 InfiniBand 设备： 

    # ibv_devices

    device                 node GUID
    ------              ----------------
    mlx4_0              0002c903003178f0
    mlx4_1              f4521403007bcba0

  2. 显示 mlx4_1 设备的信息： 

    # ibv_devinfo -d mlx4_1

hca_id: mlx4_1
     transport:                  InfiniBand (0)
     fw_ver:                     2.30.8000
     node_guid:                  f452:1403:007b:cba0
     sys_image_guid:             f452:1403:007b:cba3
     vendor_id:                  0x02c9
     vendor_part_id:             4099
     hw_ver:                     0x0
     board_id:                   MT_1090120019
     phys_port_cnt:              2
          port:   1
                state:              PORT_ACTIVE (4)
                max_mtu:            4096 (5)
                active_mtu:         2048 (4)
                sm_lid:             2
                port_lid:           2
                port_lmc:           0x01
                link_layer:         InfiniBand

          port:   2
                state:              PORT_ACTIVE (4)
                max_mtu:            4096 (5)
                active_mtu:         4096 (5)
                sm_lid:             0
                port_lid:           0
                port_lmc:           0x00
                link_layer:         Ethernet

  3. 显示 mlx4_1 设备的状态： 

    # ibstat mlx4_1

CA 'mlx4_1'
     CA type: MT4099
     Number of ports: 2
     Firmware version: 2.30.8000
     Hardware version: 0
     Node GUID: 0xf4521403007bcba0
     System image GUID: 0xf4521403007bcba3
     Port 1:
           State: Active
           Physical state: LinkUp
           Rate: 56
           Base lid: 2
           LMC: 1
           SM lid: 2
           Capability mask: 0x0251486a
           Port GUID: 0xf4521403007bcba1
           Link layer: InfiniBand
     Port 2:
           State: Active
           Physical state: LinkUp
           Rate: 40
           Base lid: 0
           LMC: 0
           SM lid: 0
           Capability mask: 0x04010000
           Port GUID: 0xf65214fffe7bcba2
           Link layer: Ethernet

  4. ibping 程序 ping InfiniBand 地址，并作为客户端/服务器运行。

    1. 要在主机上启动服务器模式，请在带有 -C InfiniBand 证书颁发机构(CA)名称的端口号 -P 上使用 -S： 

      # ibping -S -C mlx4_1 -P 1

    2. 要在另一个主机上启动客户端模式，请使用带有-L 本地标识符(LID)的 -C InfiniBand 证书颁发机构(CA)名称，在端口号 -P 上发送一些数据包-c： 

      # ibping -c 50 -C mlx4_0 -P 1 -L 2

其它资源

  • ibping(8) 手册页