はじめてのInfiniBand

先日、InfiniBnadのカードを借りることができたのでさっそく自宅のマシンに入れてみました。マシン構成としてはWindows 7とCentOS 5.6の２台の間をInfiniBandで接続しました。

CentOSの方は適当にlibib*とかlibrdma*とか必要そうなものをいれてopenibdとopensmdを動かせばＯＫ。

IPoIBを行うために、
/etc/sysconfig/network-scripts/ifcfg-ib0
に適当にIP Address振ってifup ib0とかすればＯＫ。

Windows 7の方は
http://www.mellanox.com/content/pages.php?pg=products_dyn&product_family=32&menu_section=34
からドライバとツールが一式になっているので、落としてきてインストール。

あとはこちらもIPoIBを行うためにIP Addressの設定を行えば通信できます。

で、CentOS側にSambaを入れてみました。
それをWindows 7側でマウントしてベンチマークをとってみました。また、ディスクの性能に引っ張られないようにCentOS側はtmpfsを使っています。

Samba on InfiniBand (10Gbps)

Samba on Ethernet (1Gbps)

さすがに10倍とはいかないですが、1Gbpsを超えた値が出てます。またInfiniBandを使っているとはsmbのCPU負荷が80%を超えていたりするので、CPUパワーが足りないかもしれないです。