目錄
RoCE和RRoCE
RRoCE = Routable RoCE
Since RoCEv2 packets are routable the RoCE v2 protocol is sometimes called Routable RoCE or RRoCE
一、數據組成
UC send
RoCE
1911 1.704461 GID: fe80::9a03:9bff:fe92:1ae6 GID: fe80::9a03:9bff:fe9a:4296 RoCE 134 UC Send Only QP=0x00fd47
RC send
RoCE
17 0.000203 GID: fe80::9a03:9bff:fe92:1ae6 GID: fe80::9a03:9bff:fe9a:2b3a RoCE 114 RC Send Only QP=0x00f798
RRoCE
14584 0.041138 192.169.31.53 192.169.31.54 RRoCE 1082 RC Send Middle QP=0x00d684
二、各部分組成詳細
UC send 詳細
RoCE
RC send 詳細
RoCE
RRoCE
14584 0.041138 192.169.31.53 192.169.31.54 RRoCE 1082 RC Send Middle QP=0x00d684
三、mellonx如何設置RoCEv1和RoCEv2
-
- RoCEv1或RoCEv2的設置
Mellonx查看當前是RoCEv1還是RoCEv2
cma_roce_mode -d mlx5_0 -p 1
RoCE Modes Parameters
在RoCEv1 模式下，發送的msg 是RoCE 格式
在RoCEv2 模式下，發送的msg 是RRoCE 格式
-
-
- 配置文件設置RoCE模式
-
ConnectX®-3 僅支持 RoCEv1，而 ConnectX®-3 Pro 支持 RoCEv1 和 RoCEv2。可以使用 /etc/modprobe.d/mlx4_core.conf 文件中的“roce_mode”參數設置 RoCE 模式。
以下是可能的 RoCE 模式值：
如果設置為“0”，則驅動程序將所有 GID 索引關聯到 RoCEv1
如果設置為“2”，則驅動程序將所有 GID 索引關聯到 RoCEv2（從固件 v2.32.5100 起在 ConnectX-3 Pro 中受支持）
如果設置為“4”，則驅動程序將所有 GID 索引關聯到 RoCEv1 和 RoCEv2，每個 RoCE 版本的單個條目（從固件 v2.34.5000 起在 ConnectX-3 Pro 中受支持）
ConnectX-3 Pro 中的 RoCE 模式值示例：
options mlx4_core roce_mode=2
ConnectX®-4 支持 RoCEv1 和 RoCEv2。默認情況下，驅動程序將所有 GID 索引關聯到 RoCEv1 和 RoCEv2，因此，每個 RoCE 版本都有一個條目。
有關更多信息，請參閱如何配置 RoCEv2 社區帖子。
-
-
- 創建QP時指定RoCE模式
- 為隊列對 (QP) 設置 RoCE 模式
- 創建QP時指定RoCE模式
-
對於 RC/UC QP（連接的 QP 類型）和 UD QP，為支持兩種 RoCE 模式的設備設置 RoCE 模式是不同的。
要將 RC/UC QP（連接 QP）從 INIT 修改為 RTR，必須提供地址向量 (AV)。在其他屬性中，AV 應該為 QP 的源 GID 指定端口 GID 表的索引。該索引中的 GID 類型將用於設置 QP 的 RoCE 類型。
要修改 UD QP，必須使用 mlx4_core 模塊參數“ud_gid_type”的值來為設備上的所有 UD QP 設置 RoCE 模式。允許的值為：
| RoCE Mode |
Allowed Value |
| RoCE v1 |
0 (Default) |
| RoCE v2 |
2 |
https://docs.mellanox.com/pages/viewpage.action?pageId=12013422#RDMAoverConvergedEthernet(RoCE)-RoCEv2
-
-
-
- 設置 RDMA_CM 應用程序的 RoCE 模式
-
-
https://docs.mellanox.com/pages/viewpage.action?pageId=12013422#RDMAoverConvergedEthernet(RoCE)-RoCEv2