從Infinity Fabric到Infinity Architecture

1st Gen Infinity Fabric

Infinity Fabric簡稱為IF，是AMD用在第一代的EPYC處理器上的互聯的技術。

從通信平面看，IF被分為兩個部分：

• 第一個是Scalable Data Fabric，也就是數據平面；主要是實現數據流的連通；
• 第二個是Scalable Control Fabric，也就是控制平面，主要是溫度，電源管理，測試，安全和第三方IP的控制；

SDF連接了核心，以及周邊設備例如內存控制器和IO控制器；

SDF上的時鍾是Coherent AMD socKet Extender簡稱為CAKE；當前的CAKE時鍾和DRAM的時鍾相同以消除時鍾交叉延時；

SDF上有兩種SerDes，IFOP和IFIS。

• IF On Package，實現片上的Die 2 Die的互聯，ISOP也是依賴CAKE的倍頻傳遞數據，並且位寬可以是例如32bit等；
• 假設CAKE是DDR4@2666的頻率，ISOP是四倍頻@32bit位寬，那么ISOP的單向的帶寬是：2666/2*4*32/8=21.328GB/s；
• IF Inter Socket，實現片間的Chip 2 Chip的互聯；IFIS可以被復用為PCIe或者SATA；
• 假設CAKE是DDR4@2666的頻率，ISIS是八倍頻@16bit位寬，那么ISIS的單向的帶寬是：2666/2*8*16/8=21.328GB/s；不考慮轉化率；

2nd Gen Infinity Architecture

第一代的IF是實現了CPU的互聯；

第二代的變成了Infinity Architecture，計划實現CPU和GPU的互聯；

第三代的Infinity Architecture，實現CPU和GPU的一致性互聯；

第二代EPYC相對第一代實現了一個Io Die，其他的計算die通過IA連接到ID Die上，並沒有實現CPU和AMD GPU的IA互聯，而是PCIe Gen4的互聯；

但是GPU2GPU可以用IA互聯，目前可以實現四個GPU的環形互聯；可以知道每個Instinct GPU上應當是有2個IF Link的；

每個Link的帶寬是92GB/s;相對X16的PCIe Gen4雙向帶寬是2*16GT/s*16/8=64GB/s，優勢不大；

 

 

參考文獻：

wikichip對IF的介紹： https://en.wikichip.org/wiki/amd/infinity_fabric

anandtech對IF的Roadmap的介紹： https://www.anandtech.com/show/15596/amd-moves-from-infinity-fabric-to-infinity-architecture-connecting-everything-to-everything

Instinct卡的規格中宣稱每個卡2個IF Links: https://www.amd.com/zh-hans/products/professional-graphics/instinct-mi50-32gb#%E4%B8%BB%E8%A6%81%E7%89%B9%E6%80%A7

4GPU環形互聯應該是橋接： https://www.amd.com/system/files/styles/992px/private/2018-10/172884_radeon_instinct_mi50_multi_1260x709.jpg?itok=jf8l4i9X