RHEL6 に Mellanox Infiniband ハードウェアのサポートをインストールする

Solution Verified - Updated -

Environment

Red Hat Enterprise Linux 6
Mellanox Infiniband ハードウェア

Issue

RHEL6 における Mellanox Infiniband ハードウェアサポートは、使用する前に適切にインストールしておく必要があります。ハードウェアドライバーおよび Infiniband 関連パッケージはデフォルトではインストールされません。

Resolution

Does Red Hat Enterprise Linux support FDR Infiniband devices? によると、QDR (Quad Data Rate) Mellanox ハードウェアは Red Hat Enterprise Linux 6 でサポートされており、FDR (Fourteen Data Rate) ハードウェアは Red Hat Enterprise Linux 6 Update 3 以降でサポートされています。

Red Hat Enterprise Linux 6 の Mellanox ハードウェアに Infiniband サポートをインストールする前に以下を実行する必要があります。

1) 必要なパッケージをインストールして再起動します。

[root@serv]# yum groupinstall "Infiniband Support"
[root@serv]# yum install infiniband-diags perftest qperf opensm
[root@serv]# chkconfig rdma on
[root@serv]# chkconfig opensm on
[root@serv]# shutdown -r now

2) IB ポートが利用できるかどうか確認します (出力内容は異なります)。

[root@serv]# for i in `ls /sys/class/infiniband/*/ports/*/state`; do echo $i; cat $i; done
/sys/class/infiniband/mlx4_0/ports/1/state
4:ACTIVE
/sys/class/infiniband/mlx4_0/ports/2/state
1:DOWN

3) 現在の IB HCA ステータスとトポロジーを取得します (出力結果は異なります)。

(トポロジーに IB ホストノードが表示されます)

[root@serv]# ibhosts

(fabric ですべてのリンクに対してリンク情報を報告します)

[root@serv]# iblinkinfo
Switch 0x0002c9020041e0b8 Infiniscale-IV Mellanox Technologies:
2 1[ ] ==( 4X 2.5 Gbps Down/ Polling)==> [ ] "" ( )
...skip...
2 31[ ] ==( 4X 10.0 Gbps Active/ LinkUp)==> 16 1[ ] "serv-2 HCA-1" ( )
2 32[ ] ==( 4X 10.0 Gbps Active/ LinkUp)==> 17 1[ ] "serv HCA-1" ( )

4) (任意) テストコマンドを実行して接続を確認します (出力結果とコマンドの引数は異なります)。

[root@serv]# ibtracert 16 17
[root@serv]# ibping -S -v
[root@serv]# ibping -c 30 16

5) (任意) bnx2 ネットワークカードがある場合は MSI を無効にします。

[root@serv]# cat /etc/modprobe.d/bnx2-msi.conf
options bnx2 disable_msi=1

詳細は How do I disable MSI for the Broadcom bnx2 kernel module on Red Hat Enterprise Linux 6 ? を参照してください。

6) 追加の設定手順

ドライバーをインストールして Infiniband 接続を確認したら How can I get started using Infiniband on Red Hat Enterprise Linux ? を参照してください。

This solution is part of Red Hat’s fast-track publication program, providing a huge library of solutions that Red Hat engineers have created while supporting our customers. To give you the knowledge you need the instant it becomes available, these articles may be presented in a raw and unedited form.