1. 查看有沒有IB卡
lspci |grep Mell
即說明服務器上有IB卡
2. 下載IB 驅動包
官網地址:https://cn.mellanox.com/products/infiniband-drivers/linux/mlnx_ofed
很有可能下載不下來
可使用:https://www.pianshen.com/article/21971554062/
進行下載對應版本,這里下載的是Ubuntu18.04版本的tar包
3. 解壓運行
tar -xvf MLNX_OFED_LINUX-5.0-2.1.8.0-ubuntu18.04-x86_64.tgz
sudo ./mlnxofedinstall --force
即安裝成功,提醒重新加載驅動
sudo /etc/init.d/openibd restart
4. 查看IB
成功安裝IB驅動之后,使用命令ifocnfig,可以看見ib0
配置IB的ip
sudo vim /etc/network/interfaces
ibstat 查看信息:
或者使用ibstatus查看ib網卡信息:
5. 測試IB
或者:
服務器1:ib_write_bw -a -d mlx5_0
服務器2:ib_write_bw -a -F 服務器1的ip -d mlx5_0 --report_gbits
ib_write_bw -a -F 192.168.207.12 -d mlx5_0 --report_gbits
一些其它查看網卡信息的命令:
ibstat
ibstatus
ibv_devinfo
ibv_devices #查看本主機的infiniband設備
ibnodes #查看網絡中的infiniband設備
RDMA編程示例:https://github.com/animeshtrivedi/rdma-example
參考文檔:
https://www.jianshu.com/p/31a6808aa79c
https://blog.csdn.net/ljlfather/article/details/102833847
https://blog.csdn.net/xztjhs/article/details/51487467
https://www.freesion.com/article/8178539487/