轉：http://stor-age.zdnet.com.cn/stor-age/2006/0523/398715.shtml
SAS Expander之邊緣擴展器
SAS在SATA的串行點對點架構的基礎上，通過引入相當於網絡中交換機和路由器的Expander（擴展器），從而能夠形成一個先進的交換式拓撲架構，伸縮性和靈活性遠遠超出並行SCSI及FC-AL（光纖通道仲裁環路）。如果要構建一個基於SAS技術的磁盤陣列或更大型的存儲系統，Expander必不可少。
與SAS控制芯片、HBA和硬盤驅動器相比，SAS Expander IC雖然端口數量較多，但對外的連接比較簡單——需要考慮的標准只有SAS一種。這樣帶來的好處是可以減少在互操作性上投入的精力，縮短產品開發周期。看看4GFC，交換機推出的時間明顯早於其他設備就是類似的原因使然。
SAS擴展器（紅圈中的VSC7154）與控制芯片（VSC7250）的關系示意圖
不過，SAS Expander畢竟是一種全新的設備。一方面，產品設計沒有先例可循，摸索前進在所難免；另一方面，由於SAS Expander具有交換機的性質，吸引了PMC Sierra和Vitesse等具有網絡交換機IC開發經驗的廠商加入進來，並壓倒LSI Logic成為主導力量。
SAS Expander的SAS端口不僅要連接硬盤驅動器等端設備，還要連接主機端設備，因此其數量通常不是2的冪次方（2、4、8、16……），而經常是3的整數倍，例如6、12、18、24、36等。這些端口一般都能自動檢測並協商1.5Gbps或3.0Gbps的連接速率，以及支持配置為一個寬端口（x2或x4）。
簡單的擴展器應用模型
目前市場上SAS Expaner的提供者主要是LSI Logic、PMC Sierra和Vitesse，各自有4款、6款和9款產品，下面我們將按照端口數量和類型的不同分組介紹。
6端口SAS Expander
PMC Sierra和Vitesse各有一款6端口SAS Expander：
- PM8381 SXP 6x3G是144管腳TQFP封裝的20×20mm芯片，具有
- 可任意分配給主機或目標的6個端口，支持主機到目標（host-target）、主機到主機和目標到目標的連接；
- 連接主機端的Phy（可理解為單寬度的端口）可組成一個具有通用SAS地址的寬端口；
- 支持STP，自動檢測SATA或SAS硬盤驅動器，容忍擴展時鍾頻譜（Spread Spectrum Clocking，SSC）降低電磁干擾；
- 允許SMP訪問寄存器。
- VSC7149同樣采用144管腳TQFP封裝，具有
- 6個獨立的自配置端口，支持任意Phy之間的連接；
- 通過內部的STP/SATA橋接功能支持SATA驅動器；
- 支持SMP命令/協議，內嵌用於本地控制和SMP功能的32位RISC CPU（盤櫃管理處理器，EMP）。
作為最低端的產品，6端口SAS Expander的多數端口直接連接SAS或SATA硬盤驅動器，其余的端口連接HBA或較為復雜的Fan-out（輸出）Expander，其主要應用環境包括企業級服務器存儲、內部服務器存儲背板、高端桌面或工作站系統、具備外部盤櫃支持的DAS、JBOD、低端NAS/SAN系統、磁盤備份/近線/固定內容存儲系統等。
12端口SAS Expander
對Expander 而言，12端口比6端口具有更廣的適用范圍，LSI Logic和Vitesse各有兩款產品，PMC Sierra也有一款：
- LSISASx12和LSISASx12A都采用472管腳EPBGA封裝，屬於帶路由表的Edge Expander（邊緣擴展器），具有
- 12個完全獨立的SAS或SATA端口；
- 支持SSP目標和發起者（Target and Initiator）、STP目標和發起者、SMP目標和SATA協議；
- 能控制SAS/SATA硬盤驅動器旋轉啟動的順序，並具備診斷能力。
- 兩者的區別是LSISASx12支持3.0Gbps SAS和1.5Gbps SATA連接，而LSISASx12A支持的SAS和SATA連接均能達到3.0Gbps，並提供了增強的SGPIO支持。由於管腳兼容，原來采用LSISASx12的系統可以升級到LSISASx12A。
- PM8383 SXP 12x3G是228管腳CSBGA封裝的23×23mm芯片，采用
- 任意Phy到任意Phy的交換架構，主機和目標端口均可以配置為寬端口，能支持多個主機連接；
- 支持STP，嵌入式虛擬SSP端口能夠通過SAS網絡傳送和接收SCSI和SAF-TE命令；
- 支持SMP鏈路、端口和應用層，並提供對內部寄存器的訪問；
- 自動檢測SATA或SAS硬盤驅動器，提供旋轉啟動控制，能接受來自SATA硬盤驅動器的SSC。
- VSC7150的各項功能與VSC7149基本相同，只是端口數增加到12個並采用208管腳TQFP封裝。VSC7160將內部無阻塞cross-bar矩陣提供的活動端口擴展連接Phy從6個提高至12個，有利於改善性能。VSC7160在Adaptec SANbloc S50 SAS/SATA JBOD中得到了應用。
12端口SAS Expander的主要應用環境涵蓋了6端口產品所涉及的范圍，還包括RAID存儲盤櫃。順便提一句，Vitesse還有一款10端口的SAS Expander芯片VSC7161
SAS Expander之輸出擴展器
SAS的Expander分為兩種，即輸出擴展器（Fan-out Expander）和邊緣擴展器（Edge Expander）：一個SAS域只能有一個輸出擴展器，它可以隨意連接邊緣擴展器；一個邊緣擴展器只能連接到一個輸出擴展器上（前者將后者當作主機），而在沒有輸出擴展器的情況下最多僅允許兩個邊緣擴展器互連；在不超過Phy數目上限的前提下，擴展器可以隨意連接發起者/目標設備。如果將邊緣擴展器比作以太網或FC SAN中的交換機，那么輸出擴展器就是以太網中的路由器或FC SAN中的導向器。
端口數量較少（12個及以下）的Expander通常都屬於邊緣擴展器，而18個端口以上的Expander則可以配置為輸出擴展器，如下面的這幾款產品：
- 24端口的PM8388 SXP 24x3G（見上圖）和36端口的PM8387 SXP 36x3G均為352管腳CSBGA封裝的27×27mm芯片，支持1024個條目的表路由、直接路由和減法路由，
- 集成無阻塞Cross-bar交換機，允許任意端口到任意端口的連接，可隨意配置SAS寬端口；
- STP橋接功能允許SAS或SATA目標設備掛接到任意端口，接受來自SATA硬盤驅動器的SSC；
- 集成用於SAS SMP功能和SES支持的RISC處理器。可以認為，兩者實際上是同一個東西。
- 24端口的VSC7153、36端口的VSC7154（見下圖）和18端口VSC7155，分別采用486管腳31×31mm TSBGA、564管腳35×35mm TSBGA和448管腳23×23mm TEPBGA2封裝，均可配置為SAS輸出或邊緣擴展器。三者均采用
- 無阻塞交換架構，允許任意Phy到任意Phy的連接，支持寬端口；
- 嵌入式32位RISC盤櫃管理處理器用於本地控制和SES功能。
這些高端口數的擴展器既可以直接連接主機端（HBA）和目標設備（如硬盤驅動器），也可以連接邊緣擴展器，其應用范圍包括SAS/SATA存儲盤櫃和SAS輸出擴展器。
具分區功能的高端口數Expander
大型的網絡都要有針對安全性的措施，例如FC SAN的分區（Zoning）和以太網的VLAN。具有較多端口數的SAS Expander，尤其是在充當輸出擴展器的角色而連接有多個邊緣擴展器的時候，也要面臨同樣的考驗。於是，在PMC Sierra等廠商的倡議下，負責制訂SAS標准的INCITS T10技術委員會把SAS分區（SAS zoning）的提案加入到SAS-2規范的制訂中。
簡而言之，SAS的分區功能就是指定某些SAS存儲設備只能被某些主機所訪問，以保證數據的安全性。要做到這點，就需要支持SAS分區功能的擴展器，目前LSI Logic、PMC Sierra和Vitesse都推出了這樣的產品：
- 28端口的LSISASx28和36端口的LSISASx36均為672管腳FPBGA封裝的27×27mm芯片，采用
- 基於Phy的分區以保證系統安全。支持SSP、SMP以及STP目標和發起者，當然還有SATA協議；
- 提供多達1024個SAS地址，通過Crossbar模塊提供低延遲連接路由以有效地創建和維護連接；
- 支持寬和窄端口配置，允許重用路由表資源跨越所有Phy組成一個寬端口，允許任意數量的Phy用於寬端口支持；
- 能依據每個Phy配置SATA/SAS硬盤驅動器旋轉啟動順序；集成的ARM處理器用於SEP功能、驅動器管理和擴展的SAS SMP功能；
- 內部的8KB ROM可用於引導選項。
- 24端口的PM8399 SXP 24x3GSec和36端口的PM8398 SXP 36x3GSec均為352管腳CSBGA封裝的27×27mm芯片，分別與PM8388 SXP 24x3G和PM8387 SXP 36x3G管腳和固件兼容，顯見是升級版本。升級的主要內容自然是以“Sec”（安全）代表的分區功能，包括
- 支持128個組或域（domain）；
- 按Phy組分配的SMP；支持分區網絡監管特權；
- 對SAS發起者和目標透明；
- 兼容老的SAS Expander。
- 24端口的VSC7156和36端口的VSC7157，分別采用484管腳31×31mm TBGA和564管腳35×35mm TBGA封裝，同樣可配置為SAS輸出或邊緣擴展器，應該是在VSC7153和VSC7154基礎上增加了端到端分區功能的結果。
PM8398 SXP 36x3GSec的典型應用，互連和分區（下）都包括在內
具備分區功能的SAS Expander主要應用於刀片式服務器、企業服務器存儲和外部網絡連接（SAN/NAS）存儲。
SAS交換機？
在4月初於美國聖地亞哥舉行的2006年春季網絡存儲世界（SNW）大會上，LSI Logic公司展示了業內第一個“SAS交換機”（SAS switch）的原型。據稱，該交換機允許基於SAS的服務器連接到多個SAS存儲陣列上。
這個SAS交換機基於LSI Logic的芯片、固件和軟件，具有9個x4 SAS端口，通過連接多個交換機，用戶可以擴展SAS網絡的規模。在分區的支持下，該SAS交換機允許配置多個存儲域。在使用銅纜的情況下，該SAS交換機支持最長8米的連接距離，能夠用於需要支持多達10台服務器連接到一台或多台SAS存儲陣列的工作組或機架安裝的服務器和存儲環境。
很顯然，有了前面的知識基礎，我們可以斷定這台SAS交換機的核心是一顆LSISASx36 Expander IC。Expander本來面向的是“in-box”（盒子內部）的SAS網絡，配上外圍電路、端口連接器和外殼之后就變成了外部的交換機應用，這充分體現了SAS的神奇和潛質。
通向系統之路
控制芯片、HBA、RAID、硬盤驅動器和Expander，是SAS生態系統的主要成員。但是，僅有這些還不能形成一個完整的生態系統。
端口連接器、背板和相應的磁盤櫃，與上面的那些元素相結合，能夠形成各種規模的存儲系統。服務器市場固然重要，但只有在存儲系統中得到廣泛應用，才能說SAS的時代已經到來。
Adaptec Storage Enclosure 335SAS是一種最簡單的SAS磁盤櫃：4個3.5英寸硬盤槽位，帶4個端口連接器的背板，一個x4內部連接器，一根SAS線纜就能搞定，連Expander都不用。類似的產品有很多，包括JMR、AIC等廠商的采用2.5英寸規格硬盤驅動器的4槽位產品（見下圖），后者稱之為HDD Canister，Canister用在這里比Enclosure要更為合適。
稍微大型一些的磁盤櫃，例如2U的JBOD，除了硬盤槽位、背板、電源模塊之外，還用上了Expander，譬如Adaptec SANbloc S50 JBOD。更復雜的具有RAID功能，即磁盤陣列，有的外部接口還是FC，即所謂FC-SAS存儲系統，如Xyratex F5402E和Infortrend EonStor S12F-R/G1420；有的外部接口也已經是SAS，如戴爾（Dell）的PowerVault MD1000（見下圖）。
另外，一些IP存儲系統也開始采用SAS，例如Nimbus數據系統公司的Breeze MX4和10G統一IP存儲系統就使用了LSI SAS HBA，能同時支持企業級15000RPM SAS硬盤驅動器和經濟型高容量SATA硬盤驅動器。
上述存儲系統和准系統，涉及的基本上都是高度在2U或3U以內的磁盤櫃，能容納的3.5英寸硬盤驅動器通常不會超過12個或16個，即便是AIC RSA2A2-SA（見下圖）這樣的使用2.5英寸SAS硬盤驅動器的2U存儲設備，也才24個槽位，多用幾顆12端口的Expander IC，還是可以搞定的。
中端存儲系統就沒有那么簡單了，如果沒有24或36端口的Expander IC，很難構建起一個高效的內部SAS網絡。問題就在於這些高端口數的Expander IC還需要實踐的檢驗，估計還要過上半年至一年左右才能比較成熟。但是急於更新產品線以應對競爭的EMC和Engenio可等不了，所以內部驅動器接口選擇全FC或FC+SATA的方案也就在情理之中。
由於中端存儲系統的產品更新周期一般在18～24個月之間，因自身的生態系統尚未完備而錯過這一波的SAS，恐怕得到一兩年之后才能在中端存儲系統市場上開花結果了。
不過，與其倉促上馬，冒着雙輸的風險，還不如充分利用時間，先獲得EMC CLARiiON AX150、浪潮AS500等低端存儲系統的后繼者采用，逐漸站穩腳跟，在一年之后向中端存儲系統發起沖擊，力爭一舉拿下，建立起SAS帝國！
Expander與Port Multiplier
其實這邊會說到這個Expander以前，要先談談SATA-IO標準的一些設計-Port Multiplier．Port Multiplier用於透過一個SATA port去擴展更多的SATA port，以解決port不足導致無法連接更多Storage．下面是一張Port Multiplier的示範模型：
可以看到它是利用eSATA輸出到一個PM(Port Multiplier)裝置，透過這個device提供更多的port．基本上，根據SATA-IO組織對於Port Multiplier分為兩種模式：
1.Command-based switching
2.FIS–based switching
這兩種模式的技術所達成的傳輸方式有很大的差異性，先來講講Command-based switching模式的作法．Command-based switching是最高優先權傳輸的一種模式，當SATA HBA發送若干個I/O命令(Command)到數顆硬碟(HD Drive)時，此時，透過PM裝置只能有一顆硬碟被請求，對於其他硬碟的I/O命令請求只能等待，必須直到該I/O命令被完成，HBA才能對其他硬碟進行I/O命令的請求．因此，可以說這是一種效率極差的模式，該模式僅能用作存取少數的Storage．以下是為Command-based switching模式的基本模型圖：
在早期Port Multiplier技術發展出來的時候，這個模式是被常用的，尤其Intel的前即款ICHxR晶片，就是提供對這模式的支援．
FIS(Frame Information Structure)–based switching是Port Multiplier所提供的另一種傳輸模式 ．相較於Command-based switching模式，他有更好的傳輸性能，在多重I/O命令併發時，透過PM裝置不會在同時只能有一顆硬碟被存取，意味著，SATA HBA對數顆硬碟發送I/O命令請求時，透過PM裝置能同時傳送至該若干顆硬碟，所以，SATA HBA與PM裝置之間的頻寬能夠被好好有效利用，尤其對於有支援NCQ功能的裝置，更有其優勢．下面是FIS–based switching模式的示意圖：
除了Intel的ICH10R，小弟尚不確定有無支援FIS–based switching模式，其餘目前大多SATA HBA皆支持這個模式的實作．另外，早期3ware提出的StorSwitch架構，也是一種Port Multiplier的設計方式，只是其實作結構當然是不同！
而Expander則是SAS所推行的另一種Port Multiplier設計，其結構完全與SATA Port Multiplier不同，而且更具有優勢性．在業界中被廣泛採用，要說說Expander以前，還是先來談談SAS其中一個特性-wide port，這個特性足以與Expander之間提供足夠的頻寬，由於現階段一個wide port可以提供4條narrow links，並且彼此之間都是獨立的，這意味著，在SAS-2規範下，一個wide port-6Gbps x4=24Gbps=3GB/s x80%=2.4GB/s，便可以提供wide port與Expander之間骨幹頻寬，這與SATA的Port Multiplier相比，優勢性不言而喻了！因為SATA Port Multiplier只有300MB/s，就算是SATA 3.0版本下頂多600MB/s(也要找的到SATA 3.0的Port Multiplier，現階段下Silicon Image根本沒有SATA 3.0的Port Multiplier產品)，而且SATA的實體層部分是半雙工設計的，其效率要打折扣的！
在SAS協定中，Link Layer的SMP協定就是針對Expander這塊而規劃的．根據HP提供的一份文件-Serial Attached SCSI Architecture，Expander典型分成兩種設計：
1.Edge Expander
2.Fanout Expander
在講講這兩種Expander設計以前，我們來看一種可以說是極為少見的Expander設計-Internal Expander Add-on Card．之所以說她非常少見是因為根本沒幾家廠商在生產，這樣講好了，用五根手指頭就可以數出來了，就目前所見到的只有兩家：
1.Chenbro SAS Expander Add-in Card
下面為Chenbro的CK13601的Standard 36-port SAS Expander實體圖：
這張Internal Expander Add-on Card採用LSI的LSISASx36晶片，支援3Gb/s規格，整合ARM的處理器增強傳輸性能，可以看到的是她並不需要靠主機板上的Host Bus來供電，而是另外透過一個大4pins的12v電源接頭來供電，因此整線部分還得費些心思，尤其周邊都是HBA的情況下．紅色線框起來的部份便是Input Drive Connector，可以與RAID HBA的Host Connector與它連接，擴展更多的Drive Connector，提供大量的Storage存取．RAID HBA與Expander之間的骨幹頻寬為3Gb/s x4=12Gb/s=1.5GB/s x80%=1.2GB/s，對於這個36 ports的版本，1.2GB/s頻寬稍微有些不足！
SAS-2版本的Internal Expander Add-on Card，Chenbro哪那邊已經推出，採用的是新的LSI LSISAS2x36晶片，內置150MHz的ARM處理器，產品照片在官方網站並沒有上，不過可以很明白的講，就是把CK13601這款中間那顆晶片換成LSISAS2x36而已，其餘沒有變化．6Gb/s x4=24Gb/s=3GB/s x80%=2.4GB/s(RAID HBA也要支持6Gb/s規格)，RAID HBA與Expander之間的骨幹頻寬與之前SAS-1/1.1 Expander產品相比，由於6Gb/s規格，提高了兩倍，對於連接可以達到36顆硬碟來說，勉強算是足夠！
Chenbro的Internal Expander Add-on Card由於採用LSI晶片，所以與RAID HBA的最佳搭配是LSI的產品，這也是詢問過官方的建議，因此，要注意！要注意！
2.
HP原裝 SAS expander
https://h10057.www1.hp.com/ecomcat/h...visioner/99/46
8406-B21.htm
input 可為 1或2 4x SAS port 可接上 24 pcs HDD
24 Port HDD 最大共享 48 Gbps (4800 MB/s) 頻寬
SAS Expander Chip是PMC Sierra PM8005 .S
這張 SAS raid card都是做phy 轉換,但是跟Raid 控制卡相容性很有關!
HP說這張卡只能給HP Server跟Raid card 用
實際上沒 只要可以偷到pci-e 電.這張卡就可以工作
Support Raid card:
3Gbps SAS
Areca 1680 series: YES (SES2 要關掉)
3ware 9690SA Series YES
Adaptec 5085: Yes (SATA 可能會被限1.5 Gbps)
Adaptec 5805: Yes* (SATA 可能會被限1.5 Gbps)
6 Gbps SAS
HP P212, P410, P410i, P411, P411i, P712: YES
升級Expander firmware 一定要用官方HP P410 Card