在高性能雷達信號處理機研制中，高速串行總線正逐步取代並行總線。業界廣泛使用的Xilinx公司Virtex-6系列FPGA支持多種高速串行通信協議，本文針對其中較為常用的Aurora 8B/10B和PCI Express 2.0，Serial RapidIO 2.0三種協議進行了測試及對比分析。首先搭建了基於Virtex-6 FPGA的高速串行協議測試平台；然后設計並分別實現了三種協議的高速數據通信，測算了協議的實際傳輸速率；最后結合測試結果，從協議層次結構、鏈路數目、鏈路線速率、數據傳輸方式、協議開銷、拓撲結構、設備尋址方式、應用領域等方面對三種協議進行了比較。本文研究工作可為三種協議的選用、測試和工程實現提供參考。
1 引言
隨着雷達帶寬和AD采樣率的提高，在高性能雷達信號處理機研制中，系統對數據傳輸帶寬的要求不斷增加，高速串行總線正逐步取代傳統的並行總線。
Xilinx公司推出的Virtex-6系列FPGA，在片上集成了固化的GTX模塊，以提供高速串行通信支持。同時Xilinx公司提供有多種串行通信協議IP核，便於用戶進行開發。Aurora 8B/10B，PCI Express 2.0和Serial RapidIO 2.0是其中較為常用的三種協議。目前已有眾多文獻涉及到三種協議基於FPGA的實現方案。然而這些方案未能充分發揮協議性能，存在線速率較低（僅為2.5Gb/s）或未實現多通道綁定。針對上述問題，本文基於Virtex-6 FPGA，分別實現了三種協議在4x鏈路，5.0Gb/s線速率模式下的數據通信，測得協議的實際傳輸速率，並對三種協議的特點與應用進行了對比分析。
2 測試平台簡介
本文以實驗室自行開發設計的PCIe光纖接收處理板（以下簡稱測試電路板）為測試平台。測試電路板的結構圖和實物圖分別如圖1，圖2所示。其中，FPGA選用XC6VLX240T-2FF1156，該芯片含20個GTX收發器，鏈路線速率可達6.6Gb/s。DSP選用TMS320C6678，該芯片含有SRIO接口，支持1x、2x和4x鏈路。光電轉換模塊選用FCBG410QB1C10，它包含4條鏈路，帶寬可達40Gb/s。故而測試電路板的硬件設計符合本測試對數據傳輸速率的要求。
圖1 測試電路板模塊結構和鏈路連接圖
圖2 測試電路板實物圖
如圖3所示，將測試電路板插入服務器主板的PCIe插槽中，並將光纖接入測試電路板，完成測試平台的搭建。本測試中，PCI Express 2.0協議用於實現FPGA與服務器的數據通信，Serial RapidIO 2.0協議用於實現FPGA與DSP的數據通信，Aurora 8B/10B協議用於實現FPGA的光纖自發自收通信。由於三種協議都在物理層進行8B/10B編碼，故在本測試工作模式下，它們的極限速率均為
圖3 測試平台搭建
3 AURORA 8B/10B通信測試
Aurora 8B/10B協議是Xilinx公司針對高速傳輸開發的一種可裁剪的輕量級鏈路層協議，通過一條或多條串行鏈路實現兩設備間的數據傳輸。協議Aurora協議可以支持流和幀兩種數據傳輸模式，以及全雙工、單工等數據通信方式。
本測試中，Aurora 8B/10B IP核配置為雙工、流模式，參考時鍾頻率250MHz。
使用ChipScope軟件觀察FPGA相關信號如圖4所示。觀察RX_SRC_RDY_N可以發現，平均每4992周期出現7個周期的數據無效信號。由於接收數據時鍾頻率為250MHz，數據位寬為64bit，故本測試中，Aurora 8B/10B協議單向傳輸速率為，
圖4 Aurora 8B/10B協議通信測試信號波形
下面分析協議理論傳輸速率和實際通信效率。該協議的幀格式比較簡單，除2字節的起始標志，2字節終止標志和至多1字節的填裝字符外，其余為數據部分。本測試采用的流模式是以無結尾的幀方式實現。故協議除8B/10B編碼外，基本上不存在其他開銷。故根據(1)式可得，協議的理論速率為2.0GB/s，協議的實際通信效率為99.75%。
4 PCI Express 2.0通信測試
PCI Express(簡稱PCIe)總線技術是取代PCI的第三代I/O技術。PCIe采用串行點對點互連，允許每個設備擁有專屬的一條連接，不爭奪帶寬資源，同時保證了數據的完整性。PCI Express 2.0協議的鏈路線速率達到5Gb/s，最高支持32x鏈路。
本測試中，PCIe 2.0通信測試通過FPGA對服務器內存的DMA讀/寫操作來實現。
服務器方面，本測試選用Windriver軟件進行PCIe驅動程序的開發。利用該軟件提供的PCIe驅動程序及用戶接口函數，編寫符合本測試功能需求的程序。
FPGA方面，本測試通過設計用戶模塊，實現對PCIe IP核的控制，完成DMA讀/寫操作。FPGA模塊結構如圖5所示。
圖5 PCIe 2.0通信測試FPGA模塊結構
為便於服務器對測試電路板FPGA進行控制，在FPGA的PCIe存儲空間模塊中，定義了若干控制/狀態寄存器，這些寄存器的作用有：DMA讀/寫初始化，控制DMA讀/寫的啟動與停止，標志一次DMA傳輸是否完成，設置一次DMA傳輸的數據量等。
服務器通過PCIe接口對測試板FPGA控制/狀態寄存器進行讀/寫操作，來控制DMA的進程。每次DMA完成后，處理板FPGA會向服務器CPU發送一次中斷。服務器對測試電路板FPGA DMA傳輸的控制流程如圖6所示。
圖6 PCIe 2.0 DMA傳輸控制流程圖
本測試將TLP包載荷數設為256Bytes（IP核允許的最大值），每次DMA傳輸的TLP包的數量為16384，故每次DMA傳輸的數據量為4MB。使用ChipScope軟件觀察FPGA內部的PCIe 2.0 DMA讀/寫相關信號，如圖7，圖8所示。本測試開發了PCIe讀寫功能測試軟件，實現PCIe傳輸數據量和傳輸速率的實時顯示。傳輸速率通過１s內DMA傳輸完成的次數來計算。測試結果如圖9(a)、(b)所示。PCIe 2.0 DMA讀的數據傳輸速率為1.770GB/s，DMA寫的數據傳輸速率為1.820GB/s。
圖7 PCIe 2.0 DMA讀測試信號波形
圖8 PCIe 2.0 DMA寫測試信號波形
圖9 PCIe 2.0 DMA讀寫速率測試結果(a)DMA讀測試(b)DMA寫測試
下面分析並計算本測試條件下PCIe 2.0 DMA讀／寫的理論傳輸速率和實際通信效率。
PCIe 2.0協議主要開銷為8B/10B編碼開銷和數據包傳送開銷。PCIe總線以包的形式在不同器件之間交換信息。數據在進入處理層后會被封裝一個包頭，該包頭長度在32bit地址下為12字節（本測試采用32bit地址）。當數據包進入數據鏈路層后，會添加2字節的序列號和4字節的LCRC字段。數據包進入物理層后，使用1字節的開始字符和1字節的結束字符將其封裝成幀。
在DMA寫測試中，FPGA每發送一次存儲器寫報文（含256字節數據）會帶來20字節的額外開銷。在DMA讀測試中，FPGA向服務器發送存儲器讀報文，並由服務器返回完成報文（含256字節數據）。每返回一次完成報文會帶來20字節的額外開銷。由於PCIe 2.0定義了流量控制緩存管理機制，允許服務器返回完成報文的同時接收FPGA發來的存儲器讀報文，故DMA讀測試中可忽略FPGA發送存儲器讀報文帶來的開銷。
故PCIe 2.0 DMA讀/寫的理論速率相同，均為
DMA讀的實際通信效率為
DMA寫的實際通信效率為
5 Serial RapidIO 2.0通信測試
RapidIO是針對嵌入式系統芯片間和板間互連而設計的一種開放式的基於包交換的高速串行標准，已在電信、國防等行業大量使用。
Serial RapidIO（簡稱SRIO）是物理層采用串行差分模擬信號傳輸的RapidIO標准。SRIO 2.0協議性能進一步增強，鏈路線速率可達6.25Gb/s，在電氣層支持熱插拔，並新添了控制符號和空閑模式功能。
本測試以測試電路板FPGA作為發起端，以測試電路板DSP作為目標端。通過FPGA向DSP發送SWRITE包，進行SRIO 2.0寫測試，通過FPGA向DSP發送NREAD包，DSP向FPGA返回RESPONSE包，進行SRIO 2.0讀測試。
FPGA模塊結構如圖10所示。通過VIO控制模塊，可對包事務類型、包載荷、發送地址等參數進行設置。本測試將包載荷設為256字節，讀/寫內存空間設為DSP的MSM(Multi-core Shared Memory)空間。
圖10 SRIO 2.0通信測試FPGA模塊結構
DSP方面，需要進行相關寄存器的配置，完成SRIO的初始化，使DSP作為目標端處理FPGA發來的SRIO讀/寫請求。DSP主要配置流程包括使能SRIO接口，串並轉換模塊，鏈路數目，鏈路線速率，設備ID等參數的設置。
使用ChipScope軟件觀察FPGA相關信號，如圖11，圖12所示。
圖11 SRIO 2.0讀測試信號波形
圖12 SRIO 2.0寫測試信號波形
本測試中，FPGA每連續發送16384個SWRITE或NREAD包后，都會向DSP再發送1個門鈴消息。因此，可以通過計算DSP收到的相鄰兩個門鈴的時間間隔來計算SRIO讀/寫速率。
經測算，當FPGA執行SRIO讀/寫操作時， DSP接收的相鄰兩個門鈴的平均時間間隔為分別為2.490ms，2.266ms。故SRIO 2.0讀操作的數據傳輸速率為，
SRIO 2.0寫操作的數據傳輸速率為，
下面計算本測試條件下SRIO讀/寫的理論數據傳輸速率和實際通信效率。
SRIO 2.0協議的主要開銷為物理層編碼開銷和數據包開銷。本測試采用8位路由和34位偏移地址。該條件下SWRITE事務、RESPONSE事務的數據包結構分別如圖13、圖14所示。
圖13 SRIO 2.0 SWRITE包結構
圖14 SRIO 2.0 RESPONSE包結構
由圖13可知，FPGA每發送一個SWRITE包，會帶來10字節的開銷，另外，DSP會返回一個4字節確認接收符號。故本測試中SRIO寫操作的理論數據傳輸速率為，
SRIO寫操作的實際通信速率為，
與PCIe 2.0類似，SRIO 2.0可以流水地處理多個未完成的操作，應答開銷與發送開銷之間沒有競爭。故而SRIO 2.0讀操作可只考慮RESPONSE包開銷而忽略NREAD包開銷。由圖14可知，DSP每返回一個RESPONSE包，會帶來8字節的開銷。另外，DSP接收到NREAD包后，會返回一個4字節確認接收符號，FPGA接收到響應包后，也會返回一個4字節確認接收符號。故本測試中SRIO讀操作的理論數據傳輸速率為，
SRIO讀操作的實際通信效率為，
SRIO讀操作的實際通信效率較低的原因是DSP響應FPGA讀請求的時間較長。
6 三種協議的分析比較
本測試中，Aurora 8B/10B、PCIe 2.0、SRIO 2.0均實現了在4x模式下的高速數據傳輸。下面將結合測試結果和協議的具體內容，從以下各方面對三種協議進行比較。
（1）協議分層結構
Aurora 8B/10B協議僅定義了鏈路層和物理層。屬於較為底層的協議。SRIO 2.0協議定義了物理層，傳輸層和邏輯層，PCIe 2.0協議定義了物理層，數據鏈路層，事務層和軟件層，這兩種協議的內容和功能均比Aurora 8B/10B協議復雜。
（2）鏈路數目和鏈路線速率
Aurora 8B/10B協議在鏈路數目和鏈路線速率選擇上比較靈活，鏈路數目可以在1x至16x之間自由選擇，鏈路線速率可以在0.5Gb/s到6.6Gb/s間自由選擇。PCIe 2.0支持1x，2x，4x，8x，12x，16x，32x鏈路，鏈路線速率支持2.5Gb/s和5.0Gb/s。SRIO 2.0支持1x、2x、4x、8x和16x鏈路，鏈路線速率支持1.25Gb/s、2.5Gb/s、3.125Gb/s、5.0Gb/s和6.25Gb/s。
綜上可知，在鏈路線速率選擇范圍的廣泛性和靈活性上，
Aurora 8B/10B>Srio 2.0>Pcie 2.0，
鏈路數目選擇的靈活性上，
Aurora 8B/10B>Pcie 2.0>Srio 2.0。
最大允許的鏈路數目上，
Pcie 2.0>Aurora 8B/10B=Srio 2.0。
（3）數據傳輸方式
Aurora 8B/10B協議在數據封裝過程中未添加地址，設備號等信息，不能對目標設備的存儲空間進行讀寫。
PCIe 2.0可通過Memory Write，Memory Read，I/O Write，I/O Read事務對目標設備地址空間進行讀寫，但必須具備對目標設備地址空間的可見性。
SRIO 2.0數據傳輸方式更為靈活。在具備對目標設備地址空間可見性的情況下，可通過NWRITE，NWRITE_R，SWRITE，NREAD，ASTOMIC等事務對目標設備的地址空間進行直接讀寫。在不具備目標設備地址空間可見性的情況下，SRIO還提供了消息傳遞機制。用戶將數據和信箱號通過MESSAGE事務發至目標設備，目標設備根據信箱號與自身存儲空間的映射關系將數據寫入存儲空間。
綜上可知，數據傳輸方式的靈活性上，SRIO 2.0>PCIe 2.0>Aurora 8B/10B。
（4）協議開銷和數據傳輸速率
三種協議均在物理層有20%的8B/10B編碼開銷。Aurora 8B/10B協議除此之外基本上無其它開銷，而PCIe 2.0，SRIO 2.0還存在數據包開銷。與PCIe 2.0相比，SRIO 2.0的數據包格式更為簡潔，在相同的包載荷大小下，開銷更低。以256B包載荷為例，SRIO 2.0的數據包開銷最低為5.4%（SWRITE事務），而PCIe 2.0的數據包開銷最低為7.3%（Memory Write事務）。然而，PCIe 2.0協議最大允許的包載荷為4KB，而SRIO最大允許的包載荷為256B。故PCIe 2.0協議可通過增大包載荷來達到更低的數據包開銷。（4KB包載荷下，PCIe 2.0的數據包開銷為0.5%）
協議的理論傳輸速率由通道帶寬和協議開銷決定，而協議的實際傳輸速率還受設備本身性能的影響。本測試中， PCIe 2.0 DMA讀操作數據傳輸速率速率高於SRIO 2.0 NREAD的主要原因是服務器對FPGA的PCIe讀請求的響應要快於DSP對FPGA的SRIO讀請求響應。
（5）設備尋址
PCIe協議中，各設備共享一個PCIe地址空間。整個PCIe地址空間先被分成塊，根據后來的下級總線這些塊再進一步划分。樹形結構中的每個設備在整個地址空間映射中被指定一個地址空間，通過執行全部地址譯碼來查找設備。在支持帶有大容量存儲器的設備系統中，這種設備尋址機制不適合靈活拓展。
SRIO采用基於設備ID尋址的方案。采用該方案，使得拓撲結構的變化僅需要更新事務路徑中的設備，從而使系統的拓展與拓撲結構的更改比PCIe協議更為靈活。
Aurora 8B/10B協議未定義設備尋址機制。
（6）網絡拓撲
PCIe規定了生成樹拓撲結構，這種結構適合於單個主機，多個外圍設備通信模式，但限制了端點數量，且不支持任意節點與節點間直接通信。PCIe的典型網絡拓撲結構如圖15所示。
圖15 PCIe網絡拓撲結構
SRIO的拓撲結構比PCIe更為靈活，可設計成網型，星型，雛菊鏈或樹形拓撲結構，支持節點對節點通信，各節點間可對等的發起數據傳輸。
Aurora 8B/10B協議不支持網絡拓撲結構。
（7）應用領域
Aurora 8B/10B協議作為Xilinx公司開發的輕量級鏈路層協議，協議開銷小，鏈路數目和鏈路線速率選擇靈活，適用於兩片Xilinx FPGA之間的數據流傳輸。用戶也可在其基礎上開發高層協議。但其應用范圍較為有限，尚未見在其他芯片中使用。
PCIe 2.0作為PCI總線的繼承，帶寬，拓展靈活性大大提高，適合於主機與外部設備的互聯，在PC/Server平台、VPX平台有廣泛應用，如聲卡、顯示卡、網絡設備（包括以太網、Modem）、光纖接口卡、磁盤陣列卡等。
SRIO 2.0作為一種高性能包交換的互連技術，數據傳輸方式和拓撲結構靈活，為多處理器系統的實現提供便利，廣泛用於嵌入式系統內的微處理器、DSP、通信和網絡處理器、系統存儲器之間的高速數據傳輸。
7 結束語
本文基於Virtex-6 FPGA芯片，對Aurora 8B/10B，PCIe2.0，SRIO 2.0三種串行通信協議進行了速率測試，並通過分析協議開銷和協議的流控制機制，計算了三種協議的理論傳輸速率和協議實際通信效率。結合測試結果和三種協議的具體內容，對三種協議的相關參數和應用領域進行了對比分析。本文測試模塊結構的設計可為三種協議的工程實現提供借鑒，協議實際傳輸速率的測算和協議理論傳輸速率的分析計算可為三種協議在不同平台和工作模式下的測試提供參考。在進行雷達信號處理機數據傳輸方案的設計時，可參照本文對三種協議的性能分析，根據系統自身的特點及對數據傳輸速率的要求，合理選擇協議類型和協議的工作模式。
轉載自：http://www.autooo.net/classid34-id136742.html