RHEL6 に Mellanox Infiniband ハードウェアのサポートをインストールする

Resolution

Does Red Hat Enterprise Linux support FDR Infiniband devices? によると、QDR (Quad Data Rate) Mellanox ハードウェアは Red Hat Enterprise Linux 6 でサポートされており、FDR (Fourteen Data Rate) ハードウェアは Red Hat Enterprise Linux 6 Update 3 以降でサポートされています。

Red Hat Enterprise Linux 6 の Mellanox ハードウェアに Infiniband サポートをインストールする前に以下を実行する必要があります。

1) 必要なパッケージをインストールして再起動します。

[root@serv]# yum groupinstall "Infiniband Support"
[root@serv]# yum install infiniband-diags perftest qperf opensm
[root@serv]# chkconfig rdma on
[root@serv]# chkconfig opensm on
[root@serv]# shutdown -r now

2) IB ポートが利用できるかどうか確認します (出力内容は異なります)。

[root@serv]# for i in `ls /sys/class/infiniband/*/ports/*/state`; do echo $i; cat $i; done
/sys/class/infiniband/mlx4_0/ports/1/state
4:ACTIVE
/sys/class/infiniband/mlx4_0/ports/2/state
1:DOWN

3) 現在の IB HCA ステータスとトポロジーを取得します (出力結果は異なります)。

(トポロジーに IB ホストノードが表示されます)

[root@serv]# ibhosts

(fabric ですべてのリンクに対してリンク情報を報告します)

[root@serv]# iblinkinfo
Switch 0x0002c9020041e0b8 Infiniscale-IV Mellanox Technologies:
2 1[ ] ==( 4X 2.5 Gbps Down/ Polling)==> [ ] "" ( )
...skip...
2 31[ ] ==( 4X 10.0 Gbps Active/ LinkUp)==> 16 1[ ] "serv-2 HCA-1" ( )
2 32[ ] ==( 4X 10.0 Gbps Active/ LinkUp)==> 17 1[ ] "serv HCA-1" ( )

4) (任意) テストコマンドを実行して接続を確認します (出力結果とコマンドの引数は異なります)。

[root@serv]# ibtracert 16 17
[root@serv]# ibping -S -v
[root@serv]# ibping -c 30 16

5) (任意) bnx2 ネットワークカードがある場合は MSI を無効にします。

[root@serv]# cat /etc/modprobe.d/bnx2-msi.conf
options bnx2 disable_msi=1

詳細は How do I disable MSI for the Broadcom bnx2 kernel module on Red Hat Enterprise Linux 6 ? を参照してください。

6) 追加の設定手順

ドライバーをインストールして Infiniband 接続を確認したら How can I get started using Infiniband on Red Hat Enterprise Linux ? を参照してください。