目錄
簡介和區別
測試:
帶寬、延遲、抖動、數據包丟失率、最大傳輸單元等統計信息。
不同：
qperf和iperf/netperf一樣可以評測兩個節點之間的帶寬和延時，相比netperf和iperf，支持RDMA是qperf工具的獨有特性。（qperf -h 可以看到qpperf有很多測試RDMA的選項）
一、qperf
特點：第一可以支持RDMA測量，第二可進行循環遍歷測試。
-
qperf安裝
可以直接通過yum源安裝。#yun install qperf
同時會安裝兩個依賴包(libibverbs, librdmacm),是直接和rdma功能相關的，不然無法啟動rdma功能。也可以通過，https://pkgs.org/download/qperf 官方網頁下載安裝。
-
qperf使用
-
服務端節點
直接運行如下，無需任何參數
#qperf
默認開啟端口號：19765
通過netstat查看，如下:
#netstat –tunlup
tcp 0 0 0.0.0.0:19765 0.0.0.0:* LISTEN 53755/qperf -
客戶端
TCP帶寬測試
#qperf 11.165.67.18 tcp_bw
（11.165.67.18：服務端的IP，tcp_bw：本次測試的命名）
TCP延時測試
#qperf 11.165.67.18 tcp_lat
同時測試tcp帶寬和延時
#qperf 11.165.67.18 tcp_bw tcp_lat
UDP協議測試同TCP協議測試類似，只需命令參數中將tcp_bw和tcp_lat改成udp_bw和udp_lat即可。
指定測試運行時間（使用-t參數）來實現
測試10秒tcp帶寬：
#qperf 11.165.67.18 -t 10 tcp_bw
循環loop遍歷測試 （遞增測試）
在做網卡性能摸底測試的時候，很多時候需要得到網卡的帶寬和延時性能曲線。通過qperf提供的循環loop測試，可以一個命令得到所有數據。循環多次測試，每次改變消息大小
例如從16K增加到64K，每次大小翻倍直到64K。
#qperf 11.165.67.18 -oo msg_size:1:64K:*2 -vu tcp_bw tcp_lat
tcp_bw:
bw = 3.06 MB/sec
msg_size = 1 bytes
tcp_bw:
bw = 6.15 MB/sec
msg_size = 2 bytes
tcp_bw:
bw = 12 MB/sec
……
可以最后將測試數據圖形化。得到msg_size從1到64K變化的過程中，帶寬,延時增長趨勢和臨界點。這個臨界點對於服務器性能評估是很有幫助的。
RDMA測試
如果網卡支持RDMA功能，例如IB卡，那么可以進行RDMA性能測試：
為了使用 RoCE 運行 qperf，應該在客戶端添加 -cm1 標志。(mellonx)
#qperf 11.165.67.18 ud_bw
服務端：
qperf
客戶端
qperf -cm1 172.17.31.51 rc_lat
qperf -cm1 172.17.31.51 rc_bw
數據包size： -m
qperf -cm1 172.17.31.51 -m 1M rc_bw
數據包數量： -n
qperf -cm1 172.17.31.51 -m 1M -n 1000 rc_bw
polling或者wait event模式：-cp 0 wait 其他poll
qperf -cm1 172.17.31.51 -m 1M -cp 0 rc_bw 或者用-cp1 表示開啟polling模式
設置持續時間：-t 默認是s， 加m、h、d 可表示分鍾、小時、天
qperf -cm1 172.17.31.51 -m 1M -t 20 rc_bw #20s
qperf -cm1 172.17.31.51 -m 1M -t 20m rc_bw #20分鍾
使用rdam_cm apo: -cm1 Use RDMA Connection Manager
qperf -cm1 172.17.31.51 -m 1M -t 20 rc_bw
qperf -h 可以看到qpperf有很多測試RDMA的選項
[root@rdma63 test]# qperf --help tests
Miscellaneous
conf Show configuration
quit Cause the server to quit
Socket Based
rds_bw RDS streaming one way bandwidth
rds_lat RDS one way latency
sctp_bw SCTP streaming one way bandwidth
sctp_lat SCTP one way latency
tcp_bw TCP streaming one way bandwidth
tcp_lat TCP one way latency
udp_bw UDP streaming one way bandwidth
udp_lat UDP one way latency
RDMA Send/Receive
rc_bi_bw RC streaming two way bandwidth
rc_bw RC streaming one way bandwidth
rc_lat RC one way latency
uc_bi_bw UC streaming two way bandwidth
uc_bw UC streaming one way bandwidth
uc_lat UC one way latency
ud_bi_bw UD streaming two way bandwidth
ud_bw UD streaming one way bandwidth
ud_lat UD one way latency
xrc_bi_bw XRC streaming two way bandwidth
xrc_bw XRC streaming one way bandwidth
xrc_lat XRC one way latency
RDMA
rc_rdma_read_bw RC RDMA read streaming one way bandwidth
rc_rdma_read_lat RC RDMA read one way latency
rc_rdma_write_bw RC RDMA write streaming one way bandwidth
rc_rdma_write_lat RC RDMA write one way latency
rc_rdma_write_poll_lat RC RDMA write one way polling latency
uc_rdma_write_bw UC RDMA write streaming one way bandwidth
uc_rdma_write_lat UC RDMA write one way latency
uc_rdma_write_poll_lat UC RDMA write one way polling latency
InfiniBand Atomics
rc_compare_swap_mr RC compare and swap messaging rate
rc_fetch_add_mr RC fetch and add messaging rate
Verification
ver_rc_compare_swap Verify RC compare and swap
ver_rc_fetch_add Verify RC fetch and add
二、iperf/iperf3
（1）TCP方面
1 測試網絡帶寬。
2 支持多線程，在客戶端與服務端支持多重連接。
3 報告MSS/MTU值的大小。
4 支持TCP窗口值自定義並可通過套接字緩沖。
（2）UDP方面
1 可以設置指定帶寬的UDP數據流
2 可以測試網絡抖動值、丟包數
3 支持多播測試
4 支持多線程，在客戶端與服務端支持多重連接。
安裝iperf
yum install iperf
使用iperf
iperf3 同理
TCP
服務端-s：
iperf -s
客戶端-c：
iperf -c 198.51.100.5
UDP
服務端-s：
iperf -s -u
客戶端-c：
iperf -c 198.51.100.5 -u
默認情況下，iperf講UDP客戶端的帶寬限制為每秒1Mbit，可以用-b標志更改此值，將數字替換為要測試的最大帶寬速率。如果需要測試網絡速度，可以將數字設置為高於網絡提供商提供的最大帶寬上限：
iperf -c 198.51.100.5 -u -b 1000m
這將告訴客戶端我們希望盡可能達到每秒1000Mbits的最大值，該-b標志僅在使用UDP連接時有效，因為iperf未在TCP客戶端上設置帶寬限制。
雙向測試
在某些情況下，可能希望測試兩台服務器以獲得最大吞吐量。使用iperf提供的內置雙向測試功能可以輕松完成此測試。
服務端-s：
iperf -s
客戶端-c：
iperf -c 198.51.100.5 -d
該命令使得iperf將在服務器上啟server和client (198.51.100.6)連接--即當客戶端又當服務端，iperf會將iperf服務器連接到客戶端，該連接現在既充當服務器連接又充當客戶端連接。
測試單線程TCP
iperf -s -p 12345 -i 1 -M
iperf -c server-ip -p server-port -i 1 -t 10 -w 20K
-c：客戶端模式，后接服務器ip
-p：后接服務端監聽的端口
-i：設置帶寬報告的時間間隔，單位為秒
-t：設置測試的時長，單位為秒
-w：設置tcp窗口大小，一般可以不用設置，默認即可
測試多線程TCP （-P）
在客戶端添加-P參即可測試多線程的TCP性能，如下為使用兩個線程的測試情況
iperf -c server-ip -p server-port -i 1 -t 10 -w 20K -P 2
測試單線程UDP（默認帶寬）
服務端
iperf -s -u -p 12345 -i 1
客戶端
iperf -c server-ip -p server-port -i 1 -t 10 -b，其中參數說明如下：
-c：客戶端模式，后接服務器ip
-p：后接服務端監聽的端口
-i：設置帶寬報告的時間間隔，單位為秒
-t：設置測試的時長，單位為秒
-b：設置udp的發送帶寬，單位bit/s
測試單線程UDP（帶寬為10Mbit/s）
設置客戶端帶寬為10M即可，使用參數-b指定
返回信息：
其中，Jitter為抖動，lost/total為丟包數量，Datagrams為包數量。
Iperf參數介紹
| 命令行選項 |
描述 |
| 客戶端與服務器共用選項 |
|
| -f, --format [bkmaBKMA] |
格式化帶寬數輸出。支持的格式有： |
| -i, --interval # |
設置每次報告之間的時間間隔，單位為秒。如果設置為非零值，就會按照此時間間隔輸出測試報告。默認值為零。 |
| -l, --len #[KM] |
設置讀寫緩沖區的長度。TCP方式默認為8KB，UDP方式默認為1470字節。 |
| -m, --print_mss |
輸出TCP MSS值（通過TCP_MAXSEG支持）。MSS值一般比MTU值小40字節。通常情況 |
| -p, --port # |
設置端口，與服務器端的監聽端口一致。默認是5001端口，與ttcp的一樣。 |
| -u, --udp |
使用UDP方式而不是TCP方式。參看-b選項。 |
| -w, --window #[KM] |
設置套接字緩沖區為指定大小。對於TCP方式，此設置為TCP窗口大小。對於UDP方式，此設置為接受UDP數據包的緩沖區大小，限制可以接受數據包的最大值。 |
| -B, --bind host |
綁定到主機的多個地址中的一個。對於客戶端來 說，這個參數設置了出棧接口。對於服務器端來說，這個參數設置入棧接口。這個參數只用於具有多網絡接口的主機。在Iperf的UDP模式下，此參數用於綁 定和加入一個多播組。使用范圍在224.0.0.0至239.255.255.255的多播地址。參考-T參數。 |
| -C, --compatibility |
與低版本的Iperf使用時，可以使用兼容模式。不需要兩端同時使用兼容模式，但是強烈推薦兩端同時使用兼容模式。某些情況下，使用某些數據流可以引起1.7版本的服務器端崩潰或引起非預期的連接嘗試。 |
| -M, --mss #[KM} |
通過TCP_MAXSEG選項嘗試設置TCP最大信息段的值。MSS值的大小通常是TCP/IP頭減去40字節。在以太網中，MSS值 為1460字節（MTU1500字節）。許多操作系統不支持此選項。 |
| -N, --nodelay |
設置TCP無延遲選項，禁用Nagle's運算法則。通常情況此選項對於交互程序，例如telnet，是禁用的。 |
| -V (from v1.6 or higher) |
綁定一個IPv6地址。 |
| 服務器端專用選項 |
|
| -s, --server |
Iperf服務器模式 |
| -D (v1.2或更高版本) |
Unix平台下Iperf作為后台守護進程運行。在Win32平台下，Iperf將作為服務運行。 |
| -R(v1.2或更高版本，僅用於Windows) |
卸載Iperf服務（如果它在運行）。 |
| -o(v1.2或更高版本，僅用於Windows) |
重定向輸出到指定文件 |
| -c, --client host |
如果Iperf運行在服務器模式，並且用-c參數指定一個主機，那么Iperf將只接受指定主機的連接。此參數不能工作於UDP模式。 |
| -P, --parallel # |
服務器關閉之前保持的連接數。默認是0，這意味着永遠接受連接。（客戶端：線程數。指定客戶端與服務端之間使用的線程數。默認是1線程。需要客戶端與服務器端同時使用此參數。） |
| 客戶端專用選項 |
|
| -b, --bandwidth #[KM] |
UDP模式使用的帶寬，單位bits/sec。此選項與-u選項相關。默認值是1 Mbit/sec。 |
| -c, --client host |
運行Iperf的客戶端模式，連接到指定的Iperf服務器端。 |
| -d, --dualtest |
運行雙測試模式。這將使服務器端反向連接到客戶端，使用-L 參數中指定的端口（或默認使用客戶端連接到服務器端的端口）。這些在操作的同時就立即完成了。如果你想要一個交互的測試，請嘗試-r參數。 |
| -n, --num #[KM] |
傳送的緩沖器數量。通常情況，Iperf按照10秒鍾發送數據。-n參數跨越此限制，按照指定次數發送指定長度的數據，而不論該操作耗費多少時間。參考-l與-t選項。 |
| -r, --tradeoff |
往復測試模式。當客戶端到服務器端的測試結束時，服務器端通過-l選項指定的端口（或默認為客戶端連接到服務器端的端口），反向連接至客戶端。當客戶端連接終止時，反向連接隨即開始。如果需要同時進行雙向測試，請嘗試-d參數。 |
| -t, --time # |
設置傳輸的總時間。Iperf在指定的時間內，重復的發送指定長度的數據包。默認是10秒鍾。參考-l與-n選項。 |
| -L, --listenport # |
指定服務端反向連接到客戶端時使用的端口。默認使用客戶端連接至服務端的端口。 |
| -P, --parallel # |
線程數。指定客戶端與服務端之間使用的線程數。默認是1線程。需要客戶端與服務器端同時使用此參數。 |
| -S, --tos # |
出棧數據包的服務類型。許多路由器忽略TOS字段。你可以指定這個值，使用以"0x"開始的16進制數，或以"0"開始的8進制數或10進制數。 |
| -T, --ttl # |
出棧多播數據包的TTL值。這本質上就是數據通過路由器的跳數。默認是1，鏈接本地。 |
| -F (from v1.2 or higher) |
使用特定的數據流測量帶寬，例如指定的文件。 |
| -I (from v1.2 or higher) |
與-F一樣，由標准輸入輸出文件輸入數據。 |
| 雜項 |
|
| -h, --help |
顯示命令行參考並退出 。 |
| -v, --version |
顯示版本信息和編譯信息並退出。 |