手順

1. /sys/kernel/config/rdma_cm/mlx5_0/ ディレクトリーを作成します。

   # mkdir /sys/kernel/config/rdma_cm/mlx5_0/

2. デフォルトの RoCE モードを表示します。

   # cat /sys/kernel/config/rdma_cm/mlx5_0/ports/1/default_roce_mode
   
   RoCE v2

3. デフォルトの RoCE モードをバージョン 1 に変更します。

   # echo "IB/RoCE v1" > /sys/kernel/config/rdma_cm/mlx5_0/ports/1/default_roce_mode

手順

1. iproute パッケージ、libibverbs パッケージ、libibverbs-utils パッケージ、および infiniband-diags パッケージをインストールします。

   # yum install iproute libibverbs libibverbs-utils infiniband-diags

2. RDMA リンクを表示します。

   # rdma link show

3. rdma_rxe カーネルモジュールをロードし、enp0s1 インターフェイスを使用する rxe0 という名前の新しい rxe デバイスを追加します。

   # rdma link add rxe0 type rxe netdev enp1s0

検証

1. すべての RDMA リンクの状態を表示します。

   # rdma link show
   
   link rxe0/1 state ACTIVE physical_state LINK_UP netdev enp1s0

2. 利用可能な RDMA デバイスをリスト表示します。

   # ibv_devices
   
       device          	   node GUID
       ------          	----------------
       rxe0            	505400fffed5e0fb

3. ibstat ユーティリティーを使用して詳細なステータスを表示することができます。

   # ibstat rxe0
   
   CA 'rxe0'
   	CA type:
   	Number of ports: 1
   	Firmware version:
   	Hardware version:
   	Node GUID: 0x505400fffed5e0fb
   	System image GUID: 0x0000000000000000
   	Port 1:
   		State: Active
   		Physical state: LinkUp
   		Rate: 100
   		Base lid: 0
   		LMC: 0
   		SM lid: 0
   		Capability mask: 0x00890000
   		Port GUID: 0x505400fffed5e0fb
   		Link layer: Ethernet

手順

1. iproute パッケージ、libibverbs パッケージ、libibverbs-utils パッケージ、および infiniband-diags パッケージをインストールします。

   # yum install iproute libibverbs libibverbs-utils infiniband-diags

2. RDMA リンクを表示します。

   # rdma link show

3. siw カーネルモジュールをロードします。

   # modprobe siw

4. enp0s1 インターフェイスを使用する、siw0 という名前の新しい siw デバイスを追加します。

   # rdma link add siw0 type siw netdev enp0s1

検証

1. すべての RDMA リンクの状態を表示します。

   # rdma link show
   
   link siw0/1 state ACTIVE physical_state LINK_UP netdev enp0s1

2. 利用可能な RDMA デバイスをリスト表示します。

   # ibv_devices
   
    device                 node GUID
    ------              ----------------
    siw0                0250b6fffea19d61

3. ibv_devinfo ユーティリティーを使用して、詳細なステータスを表示することができます。

   # ibv_devinfo siw0
   
       hca_id:               siw0
       transport:            iWARP (1)
       fw_ver:               0.0.0
       node_guid:            0250:b6ff:fea1:9d61
       sys_image_guid:       0250:b6ff:fea1:9d61
       vendor_id:            0x626d74
       vendor_part_id:       1
       hw_ver:               0x0
       phys_port_cnt:          1
           port:               1
               state:          PORT_ACTIVE (4)
               max_mtu:        1024 (3)
               active_mtu:     1024 (3)
               sm_lid:         0
               port_lid:       0
               port_lmc:       0x00
               link_layer:     Ethernet

手順

1. デバイス ib0 のハードウェアアドレスを表示します。

   # ip link show ib0
   8: ib0: >BROADCAST,MULTICAST,UP,LOWER_UP< mtu 65520 qdisc pfifo_fast state UP mode DEFAULT qlen 256
       link/infiniband 80:00:02:00:fe:80:00:00:00:00:00:00:00:02:c9:03:00:31:78:f2 brd 00:ff:ff:ff:ff:12:40:1b:ff:ff:00:00:00:00:00:00:ff:ff:ff:ff

   アドレスの最後の 8 バイトは、次のステップで udev ルールを作成するために必要です。

2. 00:02:c9:03:00:31:78:f2 のハードウェアアドレスを持つデバイスの名前を mlx4_ib0 に変更するルールを設定するには、/etc/udev/rules.d/70-persistent-ipoib.rules ファイルを編集して ACTION ルールを追加してください。

   ACTION=="add", SUBSYSTEM=="net", DRIVERS=="?*", ATTR{type}=="32", ATTR{address}=="?*00:02:c9:03:00:31:78:f2", NAME="mlx4_ib0"

3. ホストを再起動します。

   # reboot

検証

1. /etc/security/limits.conf ファイルの編集後、rdma グループのメンバーとしてログインします。

   Red Hat Enterprise Linux は、ユーザーのログイン時に、更新された ulimit の設定を適用することに注意してください。

2. ulimit -l コマンドを使用して制限を表示します。

   $ ulimit -l
   unlimited

   コマンドが unlimited を返す場合、ユーザーはメモリーのピニングを無制限に行うことができます。

手順

1. /etc/rdma/modules/rdma.conf ファイルを編集し、有効にするモジュールのコメントを解除します。

   # These modules are loaded by the system if any RDMA devices is installed
   
   # iSCSI over RDMA client support
   ib_iser
   
   # iSCSI over RDMA target support
   ib_isert
   
   # SCSI RDMA Protocol target driver
   ib_srpt
   
   # User access to RDMA verbs (supports libibverbs)
   ib_uverbs
   
   # User access to RDMA connection management (supports librdmacm)
   rdma_ucm
   
   # RDS over RDMA support
   # rds_rdma
   
   # NFS over RDMA client support
   xprtrdma
   
   # NFS over RDMA server support
   svcrdma

2. サービスを再起動して変更を有効にします。

   # systemctl restart <rdma-load-modules@rdma.service>

手順

1. rdma-core パッケージをインストールします。

   # yum install rdma-core

2. /etc/rdma/modules/rdma.conf ファイル内で xprtrdma および svcrdma を含む行がコメントアウトされていないことを確認します。

   # NFS over RDMA client support
   xprtrdma
   # NFS over RDMA server support
   svcrdma

3. NFS サーバーで、ディレクトリー /mnt/nfsordma を作成し、それを /etc/exports にエクスポートします。

   # mkdir /mnt/nfsordma
   # echo "/mnt/nfsordma *(fsid=0,rw,async,insecure,no_root_squash)" >> /etc/exports

4. NFS クライアントで、サーバーの IP アドレスを使用して nfs-share をマウントします (例: 172.31.0.186)。

   # mount -o rdma,port=20049 172.31.0.186:/mnt/nfs-share /mnt/nfs

5. nfs-server サービスを再起動します。

   # systemctl restart nfs-server

手順

1. opensm パッケージをインストールします。

   # yum install opensm

2. デフォルトのインストールがご使用の環境と一致しない場合に備えて、OpenSM を設定します。

   InfiniBand ポートが 1 つしかないため、ホストはカスタムの変更を必要としないマスターサブネットマネージャーとして機能します。デフォルト設定は変更せずに動作します。

3. opensm サービスを有効にして開始します。

   # systemctl enable --now opensm

手順

1. ibstat ユーティリティーを使用して、ポートの GUID を取得します。

   # ibstat -d mlx4_0
   
   CA 'mlx4_0'
      CA type: MT4099
      Number of ports: 2
      Firmware version: 2.42.5000
      Hardware version: 1
      Node GUID: 0xf4521403007be130
      System image GUID: 0xf4521403007be133
      Port 1:
         State: Active
         Physical state: LinkUp
         Rate: 56
         Base lid: 3
         LMC: 0
         SM lid: 1
         Capability mask: 0x02594868
         Port GUID: 0xf4521403007be131
         Link layer: InfiniBand
      Port 2:
         State: Down
         Physical state: Disabled
         Rate: 10
         Base lid: 0
         LMC: 0
         SM lid: 0
         Capability mask: 0x04010000
         Port GUID: 0xf65214fffe7be132
         Link layer: Ethernet

   注記

   一部の InfiniBand アダプターでは、ノード、システム、およびポートに、同じ GUID を使用します。

2. /etc/sysconfig/opensm ファイルを編集し、GUIDS パラメーターで GUID を設定します。

   GUIDS="GUID_1 GUID_2"

3. サブネットで複数のサブネットマネージャーが使用可能な場合は、PRIORITY パラメーターを設定できます。以下に例を示します。

   PRIORITY=15

手順

1. /etc/rdma/opensm.conf ファイルを編集し、お使いの環境に合わせて設定をカスタマイズします。

   opensm パッケージを更新した後、yum ユーティリティーは /etc/rdma/opensm.conf をオーバーライドし、新しい OpenSM 設定ファイル /etc/rdma/opensm.conf.rpmnew であるコピーを作成します。したがって、以前のファイルと新しいファイルを比較して変更を識別し、それらをファイル opensm.conf に手動で組み込むことができます。

2. opensm サービスを再起動します。

   # systemctl restart opensm

手順

1. /etc/rdma/opensm.conf ファイルを /etc/rdma/opensm.conf.orig ファイルにコピーします。

   # cp /etc/rdma/opensm.conf /etc/rdma/opensm.conf.orig

   更新した opensm パッケージをインストールすると、yum ユーティリティーが /etc/rdma/opensm.conf をオーバーライドします。この手順で作成したコピーで、以前のファイルと新しいファイルを比較して変更を特定し、インスタンス固有の opensm.conf ファイルに手動で取り入れることができます。

2. /etc/rdma/opensm.conf ファイルのコピーを作成します。

   # cp /etc/rdma/opensm.conf /etc/rdma/opensm.conf.1

   インスタンスごとに、一意の連続した番号を作成し、設定ファイルのコピーに追加します。

   opensm パッケージを更新した後、yum ユーティリティーは新しい OpenSM 設定ファイルを /etc/rdma/opensm.conf.rpmnew として保存します。このファイルを、カスタマイズした /etc/rdma/opensm.conf.\* ファイルと比較して、手動で変更を加えます。

3. 前の手順で作成したコピーを編集し、お使いの環境に合わせて、インスタンスの設定をカスタマイズします。たとえば、guid パラメーター、subnet_prefix パラメーター、および logdir パラメーターを設定します。
4. 必要に応じて、このサブネット専用の一意の名前で partitions.conf ファイルを作成し、opensm.conf ファイルの対応するコピーの partition_config_file パラメーターでそのファイルを参照します。
5. 作成するインスタンスごとに、前の手順を繰り返します。

6. opensm サービスを開始します。

   # systemctl start opensm

   opensm サービスは、/etc/rdma/ ディレクトリー内の opensm.conf.* ファイルごとに一意のインスタンスを自動的に開始します。複数の opensm.conf.* ファイルが存在する場合、サービスは /etc/sysconfig/opensm ファイルおよびベースファイル /etc/rdma/opensm.conf の設定を無視します。

手順

1. /etc/rdma/partitions.conf ファイルを編集し、以下のようにパーティションを設定します。

   注記

   すべてのファブリックには 0x7fff パーティションが含まれ、すべてのスイッチとすべてのホストがそのファブリックに属する必要があります。

   次のコンテンツをファイルに追加して、10 Gbps の低速で 0x7fff のデフォルトパーティションを作成し、40 Gbps の速度でパーティション 0x0002 を作成します。

   # For reference:
   # IPv4 IANA reserved multicast addresses:
   #   http://www.iana.org/assignments/multicast-addresses/multicast-addresses.txt
   # IPv6 IANA reserved multicast addresses:
   #   http://www.iana.org/assignments/ipv6-multicast-addresses/ipv6-multicast-addresses.xml
   #
   # mtu =
   #   1 = 256
   #   2 = 512
   #   3 = 1024
   #   4 = 2048
   #   5 = 4096
   #
   # rate =
   #   2  = 2.5 GBit/s
   #   3  = 10   GBit/s
   #   4  = 30   GBit/s
   #   5  = 5   GBit/s
   #   6  = 20   GBit/s
   #   7  = 40   GBit/s
   #   8  = 60   GBit/s
   #   9  = 80   GBit/s
   #   10 = 120   GBit/s
   
   Default=0x7fff, rate=3, mtu=4, scope=2, defmember=full:
       ALL, ALL_SWITCHES=full;
   Default=0x7fff, ipoib, rate=3, mtu=4, scope=2:
       mgid=ff12:401b::ffff:ffff   # IPv4 Broadcast address
       mgid=ff12:401b::1           # IPv4 All Hosts group
       mgid=ff12:401b::2           # IPv4 All Routers group
       mgid=ff12:401b::16          # IPv4 IGMP group
       mgid=ff12:401b::fb          # IPv4 mDNS group
       mgid=ff12:401b::fc          # IPv4 Multicast Link Local Name Resolution group
       mgid=ff12:401b::101         # IPv4 NTP group
       mgid=ff12:401b::202         # IPv4 Sun RPC
       mgid=ff12:601b::1           # IPv6 All Hosts group
       mgid=ff12:601b::2           # IPv6 All Routers group
       mgid=ff12:601b::16          # IPv6 MLDv2-capable Routers group
       mgid=ff12:601b::fb          # IPv6 mDNS group
       mgid=ff12:601b::101         # IPv6 NTP group
       mgid=ff12:601b::202         # IPv6 Sun RPC group
       mgid=ff12:601b::1:3         # IPv6 Multicast Link Local Name Resolution group
       ALL=full, ALL_SWITCHES=full;
   
   ib0_2=0x0002, rate=7, mtu=4, scope=2, defmember=full:
           ALL, ALL_SWITCHES=full;
   ib0_2=0x0002, ipoib, rate=7, mtu=4, scope=2:
       mgid=ff12:401b::ffff:ffff   # IPv4 Broadcast address
       mgid=ff12:401b::1           # IPv4 All Hosts group
       mgid=ff12:401b::2           # IPv4 All Routers group
       mgid=ff12:401b::16          # IPv4 IGMP group
       mgid=ff12:401b::fb          # IPv4 mDNS group
       mgid=ff12:401b::fc          # IPv4 Multicast Link Local Name Resolution group
       mgid=ff12:401b::101         # IPv4 NTP group
       mgid=ff12:401b::202         # IPv4 Sun RPC
       mgid=ff12:601b::1           # IPv6 All Hosts group
       mgid=ff12:601b::2           # IPv6 All Routers group
       mgid=ff12:601b::16          # IPv6 MLDv2-capable Routers group
       mgid=ff12:601b::fb          # IPv6 mDNS group
       mgid=ff12:601b::101         # IPv6 NTP group
       mgid=ff12:601b::202         # IPv6 Sun RPC group
       mgid=ff12:601b::1:3         # IPv6 Multicast Link Local Name Resolution group
       ALL=full, ALL_SWITCHES=full;

手順

1. InfiniBand 接続を作成して、Connected トランスポートモードで mlx4_ib0 インターフェイスを使用し、最大 MTU が 65520 バイトになるようにします。

   # nmcli connection add type infiniband con-name mlx4_ib0 ifname mlx4_ib0 transport-mode Connected mtu 65520

2. また、mlx4_ib0 接続の P_Key インターフェイスとして 0x8002 を設定することも可能です。

   # nmcli connection modify mlx4_ib0 infiniband.p-key 0x8002

3. IPv4 を設定するには、mlx4_ib0 接続の静的 IPv4 アドレス、ネットワークマスク、デフォルトゲートウェイ、および DNS サーバーを設定します。

   # nmcli connection modify mlx4_ib0 ipv4.addresses 192.0.2.1/24
   # nmcli connection modify mlx4_ib0 ipv4.gateway 192.0.2.254
   # nmcli connection modify mlx4_ib0 ipv4.dns 192.0.2.253
   # nmcli connection modify mlx4_ib0 ipv4.method manual

4. IPv6 を設定するには、mlx4_ib0 接続の静的 IPv6 アドレス、ネットワークマスク、デフォルトゲートウェイ、および DNS サーバーを設定します。

   # nmcli connection modify mlx4_ib0 ipv6.addresses 2001:db8:1::1/32
   # nmcli connection modify mlx4_ib0 ipv6.gateway 2001:db8:1::fffe
   # nmcli connection modify mlx4_ib0 ipv6.dns 2001:db8:1::fffd
   # nmcli connection modify mlx4_ib0 ipv6.method manual

5. mlx4_ib0 接続をアクティブ化するには、以下を実行します。

   # nmcli connection up mlx4_ib0

手順

1. ~/IPoIB.yml などの Playbook ファイルを次の内容で作成します。

   ---
   - name: Configure the network
     hosts: managed-node-01.example.com
     tasks:
     - name: Configure IPoIB
       include_role:
         name: rhel-system-roles.network
   
       vars:
         network_connections:
   
           # InfiniBand connection mlx4_ib0
           - name: mlx4_ib0
             interface_name: mlx4_ib0
             type: infiniband
   
           # IPoIB device mlx4_ib0.8002 on top of mlx4_ib0
           - name: mlx4_ib0.8002
             type: infiniband
             autoconnect: yes
             infiniband:
               p_key: 0x8002
               transport_mode: datagram
             parent: mlx4_ib0
             ip:
               address:
                 - 192.0.2.1/24
                 - 2001:db8:1::1/64
             state: up

   この例のように p_key パラメーターを設定する場合は、IPoIB デバイスで interface_name パラメーターを設定しないでください。

2. Playbook の構文を検証します。

   # ansible-playbook ~/IPoIB.yml --syntax-check

   このコマンドは構文を検証するだけであり、有効だが不適切な設定から保護するものではないことに注意してください。

3. Playbook を実行します。

   # ansible-playbook ~/IPoIB.yml

検証

1. managed-node-01.example.com ホストで、mlx4_ib0.8002 デバイスの IP 設定を表示します。

   # ip address show mlx4_ib0.8002
   ...
   inet 192.0.2.1/24 brd 192.0.2.255 scope global noprefixroute ib0.8002
      valid_lft forever preferred_lft forever
   inet6 2001:db8:1::1/64 scope link tentative noprefixroute
      valid_lft forever preferred_lft forever

2. mlx4_ib0.8002 デバイスのパーティションキー (P_Key) を表示します。

   # cat /sys/class/net/mlx4_ib0.8002/pkey
   0x8002

3. mlx4_ib0.8002 デバイスのモードを表示します。

   # cat /sys/class/net/mlx4_ib0.8002/mode
   datagram

手順

1. コマンドを入力します。

   $ nm-connection-editor

2. + ボタンをクリックして、新しい接続を追加します。
3. InfiniBand 接続タイプを選択し、Create をクリックします。

4. InfiniBand タブで以下を行います。

   1. 必要に応じて、接続名を変更します。
   2. トランスポートモードを選択します。
   3. デバイスを選択します。
   4. 必要に応じて MTU を設定します。
5. IPv4 Settings タブで、IPv4 設定を設定します。たとえば、静的な IPv4 アドレス、ネットワークマスク、デフォルトゲートウェイ、および DNS サーバーを設定します。
6. IPv6 Settings タブで、IPv6 設定を設定します。たとえば、静的な IPv6 アドレス、ネットワークマスク、デフォルトゲートウェイ、および DNS サーバーを設定します。
7. Save をクリックして、チーム接続を保存します。
8. nm-connection-editor を閉じます。

9. P_Key インターフェイスを設定することができます。この設定は nm-connection-editor では利用できないため、コマンドラインでこのパラメーターを設定する必要があります。

   たとえば、mlx4_ib0 接続の P_Key インターフェイスとして 0x8002 を設定するには、以下のコマンドを実行します。

   # nmcli connection modify mlx4_ib0 infiniband.p-key 0x8002

手順

1. 利用可能な InfiniBand デバイスのリストを表示します。

   # ibv_devices
   
       device                 node GUID
       ------              ----------------
       mlx4_0              0002c903003178f0
       mlx4_1              f4521403007bcba0

2. mlx4_1 デバイスの情報を表示します。

   # ibv_devinfo -d mlx4_1
   
   hca_id: mlx4_1
        transport:                  InfiniBand (0)
        fw_ver:                     2.30.8000
        node_guid:                  f452:1403:007b:cba0
        sys_image_guid:             f452:1403:007b:cba3
        vendor_id:                  0x02c9
        vendor_part_id:             4099
        hw_ver:                     0x0
        board_id:                   MT_1090120019
        phys_port_cnt:              2
             port:   1
                   state:              PORT_ACTIVE (4)
                   max_mtu:            4096 (5)
                   active_mtu:         2048 (4)
                   sm_lid:             2
                   port_lid:           2
                   port_lmc:           0x01
                   link_layer:         InfiniBand
   
             port:   2
                   state:              PORT_ACTIVE (4)
                   max_mtu:            4096 (5)
                   active_mtu:         4096 (5)
                   sm_lid:             0
                   port_lid:           0
                   port_lmc:           0x00
                   link_layer:         Ethernet

3. mlx4_1 デバイスのステータスを表示します。

   # ibstat mlx4_1
   
   CA 'mlx4_1'
        CA type: MT4099
        Number of ports: 2
        Firmware version: 2.30.8000
        Hardware version: 0
        Node GUID: 0xf4521403007bcba0
        System image GUID: 0xf4521403007bcba3
        Port 1:
              State: Active
              Physical state: LinkUp
              Rate: 56
              Base lid: 2
              LMC: 1
              SM lid: 2
              Capability mask: 0x0251486a
              Port GUID: 0xf4521403007bcba1
              Link layer: InfiniBand
        Port 2:
              State: Active
              Physical state: LinkUp
              Rate: 40
              Base lid: 0
              LMC: 0
              SM lid: 0
              Capability mask: 0x04010000
              Port GUID: 0xf65214fffe7bcba2
              Link layer: Ethernet

4. ibping ユーティリティーは、InfiniBand アドレスに ping を実行し、クライアント/サーバーとして動作します。

   1. ホストでサーバーモードを開始するには、ポート番号 -P の -S パラメーターを -C InfiniBand 認証局 (CA) 名で使用します。

      # ibping -S -C mlx4_1 -P 1

   2. 別のホストでクライアントモードを開始するには、-C InfiniBand 認証局 (CA) 名と -L ローカル識別子 (LID) を使用して、ポート番号 -P でいくつかのパケット -c を送信します。

      # ibping -c 50 -C mlx4_0 -P 1 -L 2

手順

1. サーバーとして機能するオプションを指定せずに、いずれかのホストで qperf を起動します。

   # qperf

2. クライアントで以下のコマンドを使用します。コマンドは、クライアントの mlx4_0 ホストチャネルアダプターのポート 1 を使用して、サーバーの InfiniBand アダプターに割り当てられた IP アドレス 192.0.2.1 に接続します。

   1. ホストチャネルアダプターの設定を表示します。

      # qperf -v -i mlx4_0:1 192.0.2.1 conf
      
      conf:
          loc_node   =  rdma-dev-01.lab.bos.redhat.com
          loc_cpu    =  12 Cores: Mixed CPUs
          loc_os     =  Linux 4.18.0-187.el8.x86_64
          loc_qperf  =  0.4.11
          rem_node   =  rdma-dev-00.lab.bos.redhat.com
          rem_cpu    =  12 Cores: Mixed CPUs
          rem_os     =  Linux 4.18.0-187.el8.x86_64
          rem_qperf  =  0.4.11

   2. Reliable Connection (RC) ストリーミングの双方向帯域幅を表示します。

      # qperf -v -i mlx4_0:1 192.0.2.1 rc_bi_bw
      
      rc_bi_bw:
          bw             =  10.7 GB/sec
          msg_rate       =   163 K/sec
          loc_id         =  mlx4_0
          rem_id         =  mlx4_0:1
          loc_cpus_used  =    65 % cpus
          rem_cpus_used  =    62 % cpus

   3. RC ストリーミングの一方向帯域幅を表示します。

      # qperf -v -i mlx4_0:1 192.0.2.1 rc_bw
      
      rc_bw:
          bw              =  6.19 GB/sec
          msg_rate        =  94.4 K/sec
          loc_id          =  mlx4_0
          rem_id          =  mlx4_0:1
          send_cost       =  63.5 ms/GB
          recv_cost       =    63 ms/GB
          send_cpus_used  =  39.5 % cpus
          recv_cpus_used  =    39 % cpus