【原創】Linux PCI驅動框架分析（一）

背景

• Read the fucking source code! --By 魯迅
• A picture is worth a thousand words. --By 高爾基

說明：

1. Kernel版本：4.14
2. ARM64處理器
3. 使用工具：Source Insight 3.5， Visio

1. 概述

從本文開始，將會針對PCIe專題來展開，涉及的內容包括：

1. PCI/PCIe總線硬件；
2. Linux PCI驅動核心框架；
3. Linux PCI Host控制器驅動；

不排除會包含PCIe外設驅動模塊，一切隨緣。

 
作為專題的第一篇，當然會先從硬件總線入手。
進入主題前，先講點背景知識。
在PC時代，隨着處理器的發展，經歷了幾代I/O總線的發展，解決的問題都是CPU主頻提升與外部設備訪問速度的問題：

1. 第一代總線包含ISA、EISA、VESA和Micro Channel等；
2. 第二代總線包含PCI、AGP、PCI-X等；
3. 第三代總線包含PCIe、mPCIe、m.2等；

PCIe（PCI Express）是目前PC和嵌入式系統中最常用的高速總線，PCIe在PCI的基礎上發展而來，在軟件上PCIe與PCI是后向兼容的，PCI的系統軟件可以用在PCIe系統中。

 
本文會分兩部分展開，先介紹PCI總線，然后再介紹PCIe總線，方便在理解上的過渡，開始旅程吧。

2. PCI Local Bus

2.1 PCI總線組成

• PCI總線（Peripheral Component Interconnect，外部設備互聯），由Intel公司提出，其主要功能是連接外部設備；
• PCI Local Bus，PCI局部總線，局部總線技術是PC體系結構發展的一次變革，是在ISA總線和CPU總線之間增加的一級總線或管理層，可將一些高速外設，如圖形卡、硬盤控制器等從ISA總線上卸下，而通過局部總線直接掛接在CPU總線上，使之與高速CPU總線相匹配。PCI總線，指的就是PCI Local Bus。

先來看一下PCI Local Bus的系統架構圖：

從圖中看，與PCI總線相關的模塊包括：

1. Host Bridge，比如PC中常見的North Bridge（北橋）；
   圖中處理器、Cache、內存子系統通過Host Bridge連接到PCI上，Host Bridge管理PCI總線域，是聯系處理器和PCI設備的橋梁，完成處理器與PCI設備間的數據交換。其中數據交換，包含處理器訪問PCI設備的地址空間和PCI設備使用DMA機制訪問主存儲器，在PCI設備用DMA訪問存儲器時，會存在Cache一致性問題，這個也是Host Bridge設計時需要考慮的；
   此外，Host Bridge還可選的支持仲裁機制，熱插拔等；

2. PCI Local Bus；
   PCI總線，由Host Bridge或者PCI-to-PCI Bridge管理，用來連接各類設備，比如聲卡、網卡、IDE接口等。可以通過PCI-to-PCI Bridge來擴展PCI總線，並構成多級總線的總線樹，比如圖中的PCI Local Bus #0和PCI Local Bus #1兩條PCI總線就構成一顆總線樹，同屬一個總線域；

3. PCI-To-PCI Bridge；
   PCI橋，用於擴展PCI總線，使采用PCI總線進行大規模系統互聯成為可能，管理下游總線，並轉發上下游總線之間的事務；

4. PCI Device；
   PCI總線中有三類設備：PCI從設備，PCI主設備，橋設備。
   PCI從設備：被動接收來自Host Bridge或者其他PCI設備的讀寫請求；
   PCI主設備：可以通過總線仲裁獲得PCI總線的使用權，主動向其他PCI設備或主存儲器發起讀寫請求；
   橋設備：管理下游的PCI總線，並轉發上下游總線之間的總線事務，包括PCI橋、PCI-to-ISA橋、PCI-to-Cardbus橋等。

2.2 PCI總線信號定義

PCI總線是一條共享總線，可以掛接多個PCI設備，PCI設備通過一系列信號與PCI總線相連，包括：地址/數據信號、接口控制信號、仲裁信號、中斷信號等。如下圖：

• 左側紅色框里表示的是PCI總線必需的信號，而右側藍色框里表示的是可選的信號；
• AD[31:00]：地址與數據信號復用，在傳送時第一個時鍾周期傳送地址，下一個時鍾周期傳送數據；
• C/BE[3:0]#：PCI總線命令與字節使能信號復用，在地址周期中表示的是PCI總線命令，在數據周期中用於字節選擇，可以進行單字節、字、雙字訪問；
• PAR：奇偶校驗信號，確保AD[31:00]和C/BE[3:0]#傳遞的正確性；
• Interface Control：接口控制信號，主要作用是保證數據的正常傳遞，並根據PCI主從設備的狀態，暫停、終止或者正常完成總線事務：
  • FRAME#：表示PCI總線事務的開始與結束；
  • IRDY#：信號由PCI主設備驅動，信號有效時表示PCI主設備數據已經ready；
  • TRDY#：信號由目標設備驅動，信號有效時表示目標設備數據已經ready；
  • STOP#：目標設備請求主設備停止當前總線事務；
  • DEVSEL#：PCI總線的目標設備已經准備好；
  • IDSEL：PCI總線在配置讀寫總線事務時，使用該信號選擇PCI目標設備；
• Arbitration：仲裁信號，由REQ#和GNT#組成，與PCI總線的仲裁器直接相連，只有PCI主設備需要使用該組信號，每條PCI總線上都有一個總線仲裁器；
• Error Reporting：錯誤信號，包括PERR#奇偶校驗錯誤和SERR系統錯誤；
• System：系統信號，包括時鍾信號和復位信號；

看一下C/BE[3:0]都有哪些命令吧：

2.3 PCI事務模型

PCI使用三種模型用於數據的傳輸：

1. Programmed I/O：通過IO讀寫訪問PCI設備空間；
2. DMA：PIO的方式比較低效，DMA的方式可以直接去訪問主存儲器而無需CPU干預，效率更高；
3. Peer-to-peer：兩台PCI設備之間直接傳送數據；

2.4 PCI總線地址空間映射

PCI體系架構支持三種地址空間：

1. memory空間：
   針對32bit尋址，支持4G的地址空間，針對64bit尋址，支持16EB的地址空間；

2. I/O空間
   PCI最大支持4G的IO空間，但受限於x86處理器的IO空間（16bits帶寬），很多平台將PCI的IO地址空間限定在64KB；

3. 配置空間
   x86 CPU可以直接訪問memory空間和I/O空間，而配置空間則不能直接訪問；
   每個PCI功能最多可以有256字節的配置空間；
   PCI總線在進行配置的時候，采用ID譯碼方式，使用設備的ID號，包括Bus Number，Device Number，Function Number和Register Number，每個系統支持256條總線，每條總線支持32個設備，每個設備支持8個功能，由於每個功能最多有256字節的配置空間，因此總的配置空間大小為：256B * 8 * 32 * 256 = 16M；

   有必要再進一步介紹一下配置空間：
   x86 CPU無法直接訪問配置空間，通過IO映射的數據端口和地址端口間接訪問PCI的配置空間，其中地址端口映射到0CF8h - 0CFBh，數據端口映射到0CFCh - 0CFFh；
   

   • 圖為配置地址寄存器構成，PCI的配置過程分為兩步：
     1. CPU寫CF8h端口，其中寫的內容如圖所示，BUS，Device，Function能標識出特定的設備功能，Doubleword來指定配置空間的具體某個寄存器；
     2. CPU可以IO讀寫CFCh端口，用於讀取步驟1中的指定寄存器內容，或者寫入指定寄存器內容。這個過程有點類似於通過I2C去配置外接芯片；

   那具體的配置空間寄存器都是什么樣的呢？每個功能256Byte，前邊64Byte是Header，剩余的192Byte支持可選功能。有種類型的PCI功能：Bridge和Device，兩者的Header都不一樣。

   • Bridge
     

   • Device
     

配置空間中有個寄存器字段需要說明一下：Base Address Register，也就是BAR空間，當PCI設備的配置空間被初始化后，該設備在PCI總線上就會擁有一個獨立的PCI總線地址空間，這個空間就是BAR空間，BAR空間可以存放IO地址空間，也可以存放存儲器地址空間。

 

• PCI總線取得了很大的成功，但隨着CPU的主頻不斷提高，PCI總線的帶寬也捉襟見肘。此外，它本身存在一些架構上的缺陷，面臨一系列挑戰，包括帶寬、流量控制、數據傳送質量等；
• PCIe應運而生，能有效解決這些問題，所以PCIe才是我們的主角；

3. PCI Express

3.1 PCIe體系結構

先看一下PCIe架構的組成圖：

• Root Complex：CPU和PCIe總線之間的接口可能會包含幾個模塊（處理器接口、DRAM接口等），甚至可能還會包含芯片，這個集合就稱為Root Complex，它作為PCIe架構的根，代表CPU與系統其它部分進行交互。廣義來說，Root Complex可以認為是CPU和PCIe拓撲之間的接口，Root Complex會將CPU的request轉換成PCIe的4種不同的請求（Configuration、Memory、I/O、Message）；
• Switch：從圖中可以看出，Swtich提供扇出能力，讓更多的PCIe設備連接在PCIe端口上；
• Bridge：橋接設備，用於去連接其他的總線，比如PCI總線或PCI-X總線，甚至另外的PCIe總線；
• PCIe Endpoint：PCIe設備；
• 圖中白色的小方塊代表Downstream端口，灰色的小方塊代表Upstream端口；

前文提到過，PCIe在軟件上保持了后向兼容性，那么在PCIe的設計上，需要考慮在PCI總線上的軟件視角，比如Root Complex的實現可能就如下圖所示，從而看起來與PCI總線相差無異：

• Root Complex通常會實現一個內部總線結構和多個橋，從而扇出到多個端口上；
• Root Complex的內部實現不需要遵循標准，因此都是廠家specific的；

而Switch的實現可能如下圖所示：

• Switch就是一個擴展設備，所以看起來像是各種橋的連接路由；

3.2 PCIe數據傳輸

• 與PCI總線不同（PCI設備共享總線），PCIe總線使用端到端的連接方式，互為接收端和發送端，全雙工，基於數據包的傳輸；
• 物理底層采用差分信號（PCI鏈路采用並行總線，而PCIe鏈路采用串行總線），一條Lane中有兩組差分信號，共四根信號線，而PCIe Link可以由多條Lane組成，可以支持1、2、4、8、12、16、32條；

PCIe規范定義了分層的架構設計，包含三層：

1. Transaction層

   • 負責TLP包（Transaction Layer Packet）的封裝與解封裝，此外還負責QoS，流控、排序等功能；

2. Data Link層

   • 負責DLLP包（Data Link Layer Packet）的封裝與解封裝，此外還負責鏈接錯誤檢測和校正，使用Ack/Nak協議來確保傳輸可靠；

3. Physical層

   • 負責Ordered-Set包的封裝與解封裝，物理層處理TLPs、DLLPs、Ordered-Set三種類型的包傳輸；

數據包的封裝與解封裝，與網絡包的創建與解析很類似，如下圖：

• 封裝的時候，在Payload數據前添加各種包頭，解析時是一個逆向的過程；

來一個更詳細的PCIe分層圖：

3.3 PCIe設備的配置空間

為了兼容PCI軟件，PCIe保留了256Byte的配置空間，如下圖：

此外，在這個基礎上將配置空間擴展到了4KB，還進行了功能的擴展，比如Capability、Power Management、MSI中斷等：

• 擴展后的區域將使用MMIO的方式進行訪問；

草草收場吧，對PCI和PCIe有一些輪廓上的認知了，可以開始Source Code的軟件分析了，欲知詳情、下回分解！

參考

《PCI Express Technology 3.0》
《pci local bus specification revision 3.0》
《PCIe體系結構導讀》
《PCI Express系統體系結構標准教材》

歡迎關注個人公眾號，不定期分享Linux內核相關技術文章：