NVLink
NVLink主要加速CPU和NVIDIA GPU之間的互聯速度，需要CPU的支持，例如IBM的Power的某些CPU支持，intel的CPU不支持；
也用於加速NVIDIA GPU和NVIDIA GPU之間的互聯速度；
也用於加速NVIDIA GPU和NVIDIA GPU之間的互聯速度；
是一種點對點結構的串行通信協議；
| 版本 | 速度 | Lans Per Link |
單向速度 Per Link |
Link數 | In Speed | Out Speed |
| 2014年 NVLink 1.0 |
20GT/s | 8+8 In + Out |
8bit*20GT/s=20GB/s | 4 Links | 80GB/s | 80GB/s |
| 2018年 NVLink 2.0 |
25GT/s | 8+8 In + Out |
8bit*25GT/s=25GB/s | 6 Links | 150GB/s | 150GB/s |
PCIe Gen3 X16的速度是16bit*8GT/s=16GB/s
eg1: GPU與GPU通過NVLink1.0互聯
eg2: GPU與GPU通過NVLink1.0互聯
NVSwitch
NVSwitch是的1個Server支持16個GPU
8對GPU之間的帶寬都是300GB/s，那么合計的帶寬就是300GB/s*8=2.4TB/s
一個NVLink是6個Link，8個NVLink就是48Link，單向速度也可以這樣計算48Link*25GB/s=1.2TB/s
Switch存在的作用是避免GPU和GPU之間的通信會存在多跳；
