infiniband網卡安裝、使用總結

下載驅動，進入網站選擇相應系統和軟件版本，archive versions這里可以下載舊版本驅動

http://www.mellanox.com/page/software_overview_ib

ubuntu16.04平台5.0-2.1.8.0的下載鏈接為：
```
wget http://content.mellanox.com/ofed/MLNX_OFED-5.0-2.1.8.0/MLNX_OFED_LINUX-5.0-2.1.8.0-ubuntu16.04-x86_64.iso
```
版本5.1之后鏈接細微變化，ubuntu18.04平台5.1-2.5.8.0的下載鏈接為：
```
wget https://www.mellanox.com/downloads/ofed/MLNX_OFED-5.1-2.5.8.0/MLNX_OFED_LINUX-5.1-2.5.8.0-ubuntu18.04-x86_64.iso
```
其它平台和版本的驅動，可以自己修改。
掛載或解壓，如果下載的iso則掛載，若是tgz就解壓，下面是掛載命令：
```
sudo mount -o ro,loop MLNX_OFED_LINUX-5.0-2.1.8.0-ubuntu16.04-x86_64.iso /mnt
```
安裝
```
cd /mnt
sudo ./mlnxofedinstall
```
可能會提示你安裝一堆東西，復制，安裝就可以了。

安裝成功截圖：

執行以下命令：

sudo /etc/init.d/openibd restart
sudo /etc/init.d/opensmd restart

查看網卡狀態：

sudo hca_self_test.ofed

沒有 failed 就對了。

一些其它查看網卡信息的命令：

ibstat
ibstatus
ibv_devinfo
ibv_devices	#查看本主機的infiniband設備
ibnodes	#查看網絡中的infiniband設備

配置ip

ubuntu執行：

sudo vim /etc/network/interfaces

在文件中添加如下內容：

auto enp1s0
iface enp1s0 inet static
address 172.16.0.104
netmask 255.255.255.0
broadcast 172.16.0.255

enp1s0是網卡名稱，通過ifconfig查看，address是要給infiniband網卡配置的ip地址。

重啟網絡服務：

sudo service networking restart

centos執行：

sudo vim /etc/sysconfig/network-scripts/ifcfg-ib0

添加如下內容：

DEVICE=ib0
BOOTPROTO=static
IPADDR=172.16.0.104
NETMASK=255.255.255.0
BROADCAST=172.16.0.255
NETWORK=172.16.0.0
ONBOOT=yes

重啟網口：

sudo ifdown ib0
sudo ifup ib0

3. 性能測試

服務端運行：
```
ib_send_bw -a -c UD -d mlx4_0 -i 1
```
注意，參數 -i 指定端口，在一個網卡有多個網口的時候，需要指定測試的端口，具體哪個端口，通過 ibstatus 可以看到。
客戶端運行：
```
ib_send_bw -a -c UD -d mlx4_0 -i 1 172.16.0.102
```
最后面的ip地址是服務端infiniband網卡的ip地址。
1. 其他測試項
```
ib_atomic_bw   ib_atomic_lat  ib_read_bw     ib_read_lat    ib_send_bw     ib_send_lat    ib_write_bw    ib_write_lat
```
  bw表示測試帶寬，lat表示測試延遲，參數同上，可以i通過 --help 查看。