目錄
原文：https://www.cnblogs.com/sctb/p/13179542.html
最近多次安裝、使用infiniband網卡，每次都要到處尋找相關資料，所以決定做此總結，方便查找。
1. 基礎知識
首先，得了解什么是RDMA，貼幾個資料：
RDMA技術詳解（二）：RDMA Send Receive操作
然后得了解如何實現，這兩個可以有個初步了解：
RDMA read and write with IB verbs
編程過程，真正有用的還是官方的手冊：
RDMA Aware Networks Programming User Manual
mellanox官方社區能找到很多你需要的東西：
https://community.mellanox.com/s/
也下了個中文版，但我感覺英文版看着更好。中文版下載：
百度雲: https://pan.baidu.com/s/1BkbinPMy6fwN7J5BPFadDw 提取碼: rm8i
藍奏雲：https://wwa.lanzous.com/iXUd6jm7qla 密碼: 4aps
RDMA編程入門可參考的項目：
https://github.com/tarickb/the-geek-in-the-corner
https://github.com/jcxue/RDMA-Tutorial
2. 驅動安裝
-
下載驅動，進入網站選擇相應系統和軟件版本，archive versions這里可以下載舊版本驅動
http://www.mellanox.com/page/software_overview_ib
ubuntu16.04平台5.0-2.1.8.0的下載鏈接為：
wget http://content.mellanox.com/ofed/MLNX_OFED-5.0-2.1.8.0/MLNX_OFED_LINUX-5.0-2.1.8.0-ubuntu16.04-x86_64.iso
版本5.1之后鏈接細微變化，ubuntu18.04平台5.1-2.5.8.0的下載鏈接為：
wget https://www.mellanox.com/downloads/ofed/MLNX_OFED-5.1-2.5.8.0/MLNX_OFED_LINUX-5.1-2.5.8.0-ubuntu18.04-x86_64.iso
其它平台和版本的驅動，可以自己修改。
-
掛載或解壓，如果下載的iso則掛載，若是tgz就解壓，下面是掛載命令：
sudo mount -o ro,loop MLNX_OFED_LINUX-5.0-2.1.8.0-ubuntu16.04-x86_64.iso /mnt
-
安裝
cd /mnt sudo ./mlnxofedinstall
可能會提示你安裝一堆東西，復制，安裝就可以了。
安裝成功截圖：
-
執行以下命令：
sudo /etc/init.d/openibd restart sudo /etc/init.d/opensmd restart
-
查看網卡狀態：
sudo hca_self_test.ofed
沒有 failed 就對了。
一些其它查看網卡信息的命令：
ibstat ibstatus ibv_devinfo ibv_devices #查看本主機的infiniband設備 ibnodes #查看網絡中的infiniband設備
3.配置IP
自己的實踐
service network status 查看活動狀態
重啟：
ifdown enp61s0f0 關閉網卡
ifup enp61s0f0 開啟網卡
ethtool enp61s0f0 查看當前狀態
vim /etc/sysconfig/network-scripts/ifcfg-enp61s0f0
TYPE=Ethernet
PROXY_METHOD=none
BROWSER_ONLY=no
BOOTPROTO=static
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_FAILURE_FATAL=no
IPV6_ADDR_GEN_MODE=stable-privacy
NAME=enp61s0f0
UUID=e95aa0ab-7fab-47ab-8536-de06f982807a
DEVICE=enp61s0f0
ONBOOT=yes
IPADDR=182.200.31.59
NETMASK=255.255.255.0
重啟：
ifdown enp61s0f0 關閉網卡
ifup enp61s0f0 開啟網卡
-
ubuntu執行：
sudo vim /etc/network/interfaces
在文件中添加如下內容：
auto enp1s0 iface enp1s0 inet static address 172.16.0.104 netmask 255.255.255.0 broadcast 172.16.0.255
enp1s0是網卡名稱，通過ifconfig查看，address是要給infiniband網卡配置的ip地址。
重啟網絡服務：
sudo service networking restart
-
centos執行：
sudo vim /etc/sysconfig/network-scripts/ifcfg-ib0
添加如下內容：
DEVICE=ib0 BOOTPROTO=static IPADDR=172.16.0.104 NETMASK=255.255.255.0 BROADCAST=172.16.0.255 NETWORK=172.16.0.0 ONBOOT=yes
重啟網口：
sudo ifdown ib0 sudo ifup ib0
4. 性能測試
-
服務端運行：
ib_send_bw -a -c UD -d mlx4_0 -i 1
注意，參數 -i 指定端口，在一個網卡有多個網口的時候，需要指定測試的端口，具體哪個端口，通過 ibstatus 可以看到。
-
客戶端運行：
ib_send_bw -a -c UD -d mlx4_0 -i 1 172.16.0.102
最后面的ip地址是服務端infiniband網卡的ip地址。
-
其他測試項
ib_atomic_bw ib_atomic_lat ib_read_bw ib_read_lat ib_send_bw ib_send_lat ib_write_bw ib_write_lat
bw表示測試帶寬，lat表示測試延遲，參數同上，可以i通過 --help 查看。
-
其他測試工具說明：https://community.mellanox.com/s/topic/0TO50000000g1zZGAQ/infinibandroce-tools?tabset-dea0d=2
測試工具源碼：https://github.com/linux-rdma/perftest
5. 其他問題
更換網卡工作模式：
有些網卡，當你安裝好驅動后，通過 ibstatus 命令，會出現下面的情況：
可以看到，該網卡現在處於 Ethernet 的工作模式，如果想要切換成infiniband模式，參考如下鏈接：
https://community.mellanox.com/s/article/howto-change-port-type-in-mellanox-connectx-3-adapter
查看當前工作模式：
sudo /sbin/connectx_port_config -s
輸入以下命令切換工作模式：
sudo /sbin/connectx_port_config
如果提示如圖，說明不支持infiniband模式，否則，就切換成功了，再次使用一下命令可以驗證：
sudo /sbin/connectx_port_config -s
不能切換到infiniband工作模式，並不代表不支持RDMA，處於Ethernet模式的網卡使用 RoCE 協議工作。
RDMA 協議：底層可以是以太網（ RoCE 或者 iWARP ）或者 Infiniband
有些網卡只支持Ethernet（RoCE），不支持Infiniband模式，也就是想從Ethernet切換到Infiniband模式時不能成功，這個要提前了解好。我目前了解到的，Connectx-3只支持Ethernet模式。
RDMA 、InfiniBand、IB卡、IB驅動的關系
1、RDMA 是一種技術（遠程直接內存訪問技術），如何實現這種技術呢？
2、實現這種技術你可以選擇用 Infiniband 協議。（當然你也可以使用其他協議，eg：roce、iwarp）
3、如果你使用 Infiniband 協議，這個協議作為一個新一代網絡協議。它必須依靠專門的硬件才能實現。eg：專用INC（網卡）—— IB卡，或者專用交換機。
4、當你在服務器上安裝了IB卡之后，你還得安裝 IB驅動，才能使用 infiniband 。
原文鏈接：https://blog.csdn.net/ljlfather/article/details/102930714
ibdump 用法說明
[root @ rdma64 ibdump-master]＃ibdump -h
ibdump-dump Mellanox Technologies ConnectX 網卡的 Infiniband 數據包
可以生成文件給Wireshark進行圖形流量分析
用法：
ibdump [選項]
選項：
-d，--ib-dev = <dev>使用IB設備<dev>（找到默認的第一個設備）
-i， --ib-port = <端口>使用IB設備的端口<端口>（默認1）
-w，-write = <文件> 結果保存到文件（默認為“ sniffer.pcap”）
“-”代表標准輸出-啟用管道傳輸到tcpdump或tshark。
-o，--output = <文件>是-w選項的別名。不使用-為了向后兼容
-b，--max-burst = <log2突發> log2的最大突發大小
捕獲而沒有數據包丟失。
每個條目占用〜MTU字節的內存（默認12-4096個條目）
-s，-silent不打印進度指示。
-T，--conti使用連續頁面。
-M，--mem-mode <大小>（指定時），僅在抓包動作停止后才將包寫入文件，它比默認模式快（丟包更少）
，但占用更多內存。在這種模式下，ibdump在捕獲<size>個字節后停止
-p，--writer-thread <大小>使用特定線程將數據寫入磁盤。為了使用此功能，您必須指定
兩個臨時緩沖區的大小，用於保存數據給線程寫入磁盤
--decap 解封裝端口鏡像的headers。用於捕獲RSPAN流量時需要啟用。
-h，--help顯示此幫助屏幕。
-v，--version打印版本信息。
用法：https://community.mellanox.com/s/article/MLNX2-117-2647kn
[root@tuki1 ~]# ibdump -d mlx5_0 -i 1
其他文章《Infiniband的驅動安裝與配置》：https://blog.csdn.net/oPrinceme/article/details/51001849