Infiniband的驱动安装与配置

网上虽然有许多IB的教程但是大多数比较乱，这里结合自己的实际使用整理了下从安装驱动到配置的过程。

驱动安装

1.从官网上找到适合自己硬件的驱动：

http://www.mellanox.com/page/software_overview_ib



文末选择自己的OS环境



文末勾选I Have Read the Above End User License Agreement.

点击接受获得下载链接。

2.以用户名root登录系统安装驱动

检查主机是否安装了HCA：

lspci -v | grep Mellanox

挂载MLNX_OFED镜像

mount -o ro,loop MLNX_OFED_LINUX-2.1-1.0.0-rhel6.4-x86_64.iso /mnt

在/mnt目录下执行如下命令:

./mlnxofedinstall

ps.

1.如果最后显示Failed to update Firmware.是不影响正常使用的。

2.安装过程中不要断网，不然有可能会出错。

会报一堆依赖缺少，安装工具会提醒你用yum install指令，直接复制粘贴搞定。

sudo yum intstall 缺少的部分

3.启动openibd并设为开机启动：

service openibd start
chkconfig openibd on

5.启动子网管理器opensmd并设为开机启动：

service opensmd start
chkconfig opensmd on

6.查看HCA端口状态，若State为Active，则表示正常。

ibstat

7.还可以用如下命令查看HCA端口：

hca_self_test.ofed

8.重启系统

reboot

用如下命令卸载驱动：

/usr/sbin/ofed_uninstall.sh

IPoIB配置

1.查看HCA端口状态，若State为Active，则表示正常，方可继续执行后面的步骤。

ibstat

2.创建文件/etc/sysconfig/network-scripts/ifcfg-ib0，文件内容如下：

DEVICE=ib0
BOOTPROTO=static
IPADDR=10.0.0.5
NETMASK=255.255.255.0
BROADCAST=10.0.0.255
NETWORK=10.0.0.0
ONBOOT=yes

3.重启网络接口ib0

ifdown ib0
ifup ib0

4.查看ib0的网络配置

ifconfig ib0

5.在两台机器上按如上步骤配置后（不同机器只需更改IPADDR的值即可），可以使用命令ping测试配置是否成功。

6.实际的使用方式和IPv4基本没有区别，如果想要集群之间通过IB通信只需要用IPoIB的地址就行。

e.g.

ssh 10.0.0.5

参考链接：

http://www.xuebuyuan.com/2068505.html

http://www.ithao123.cn/content-8676305.html