本文主要是介紹集群存儲相關的概念及Scale-out特點，重點對市場上主要的集群存儲產品進行了比較和點評。
主要分類方式
目前存儲產品的主要分類方法：
首先，無論廠商和用戶都習慣將存儲系統划分為 高端、中端、低端或入門級產品。
其次，按照數據類型划分，即NAS、SAN、統一存儲。
【統一存儲的兩種方向：NetApp 本質上是用一個NAS 服務器虛擬成一個block 呈現給主機，通過這種“假SAN”的方法把file service 和block service 共同嵌入到一個存儲控制器里。另外一個是，利用虛擬機的技術（如VMware），在控制器中同時運行block 級軟件和NAS 服務器軟件，即可在一對存儲控制器里面同時提供SAN/NAS 和iSCSI 的服務。】
按照擴展類型，即縱向擴展Scale-Up和橫向擴展Scale-Out。
還有一種分類方法，主存儲、近線存儲和備份磁盤庫，后面兩種產品我們目前不會涉足。
我們主要關注的是Scale-Out特性的集群NAS產品。
說明:YeeStor嚴格定義屬於集群文件系統，不僅僅支持NAS訪問方式（NFS/CIFS）, YeeStor客戶端軟件提供標准POSIX接口， 還支持ISCSI、HTTP、FTP等多種訪問協議。
什么是集群NAS？
集群（Cluster）是由多個節點構成的一種松散耦合的計算節點集合，協同起來對外提供服務。集群NAS是指協同多個節點提供高性能、高可用或高負載均衡的NAS（NFS/CIFS）服務。
非結構化數據目前呈現快速增長趨勢，IDC研究報告分析指出，到2012年非結構化數據將占到數據存儲總量的80%以上。集群NAS是一種橫向擴展（Scale-out）存儲架構，具有容量和性能線性擴展的優勢，已經得到全球市場的認可。從EMC對Isilon、HP對IBRIX、DELL對Exanet、Compellent等收購事件，以及IBM推出SONAS、NetApp發布Data ONTAP 8，都可以看出集群NAS已經成為主流存儲技術之一。
在國內，我們也看到UIT UFS、龍存LoongStore、九州初志CZSS、美地森YFS等集群NAS解決方案。集群NAS的未來潛在市場巨大，在高性能計算HPC、廣電IPTV、視頻監控、雲存儲等行業領域將逐步得到廣泛應用。
高性能、高容量以及可擴展性是集群存儲得以發展的最得人心的特征。
傳統NAS擴張很容易帶來以下問題：
1.系統管理。即便是NAS系統管理比SAN存儲管理簡便很多，但仍然需要花費時間和資源來管理。
2.管理客戶端和應用對數據的訪問。能夠訪問的前提是NAS系統必須掛載在對應得服務器或者工作站上。掛載會中斷應用的訪問，所以在掛載的時候需要預留好服務器上應用的宕機時間。掛載了越多的NAS系統，帶來的是更多的宕機時間。
3.文件位置。關於定義文件存放位置的策略應該是基於性能，可訪問性，文件創建時間，訪問頻率，存儲成本，可用性，數據保護等諸多方面因素決定的。策略的設定本身不會太難，但事實上，要將文件移動到合適的NAS系統上是一個耗時間的手工數據遷移過程。而且，隨着NAS系統越來越龐大，其復雜性也越來越高。
而Scale Out NAS 通過將數據分布到集群中各節點的存儲方式，提供單一的使用接口與界面，使用戶可以方便地對所有數據進行統一使用與管理。集群中所有磁盤設備整合到單一的共享存儲池中提供給前端的應用服務器，利於訪問，同時提高了磁盤利用率。
什么是scale up和scale out？
許多存儲系統開始很簡單，但當需要進行系統擴展時就會變得復雜。升級存儲系統最常見的原因是需要更多的容量，以支持更多的用戶，文件，應用程序或連接的服務器。
但是通常，存儲系統的升級不只是需要容量，系統還對其他存儲資源有額外需求，即帶寬和計算能力。如果沒有足夠的I/O帶寬，將出現用戶或服務器的訪問瓶頸；沒有足夠的計算能力，常用的存儲軟件如快照、復制和卷管理等服務都將受到限制。
常見的系統擴展方式有scale up和scale out兩種。
Scale Up(縱向擴展) 主要是利用現有的存儲系統，通過不斷增加存儲容量來滿足數據增長的需求。
但是這種方式只增加了容量，而帶寬和計算能力並沒有相應的增加。所以，整個存儲系統很快就會達到性能瓶頸，需要繼續擴展。
這個時候有兩種方法，一是采用更強性能的存儲引擎（EMC 的Clarion系統和NetApp 的FAS系列，采用增加控制器CPU或內存的方式來提供更強的性能），但是這種方式問題在於價格昂貴；
另外一種方法是額外購買的獨立的存儲系統，這樣又會增加管理的復雜度。
Scale-out橫向擴展架構的升級通常是以節點為單位，每個節點往往將包含容量、處理能力和I / O帶寬。一個節點被添加到存儲系統，系統中的三種資源將同時升級。
從上面的圖例可見，容量增長和性能擴展（即增加額外的控制器）是同時進行。
而且，Scale-out架構的存儲系統在擴展之后，從用戶的視角看起來仍然是一個單一的系統，這一點與我們將多個相互獨立的存儲系統簡單的疊加在一個機櫃中是完全不同的。
所以scale out方式使得存儲系統升級工作大大簡化，用戶能夠真正實現按需購買，降低TCO。
以下是常見的兩個比喻。
一是傳統火車和動車。傳統的存儲Scale-up架構的存儲就好像傳統的火車一樣，當后面的磁盤越掛越多的時候，控制器性能以及背板帶寬卻不能相應提升，因此傳統存儲在磁盤容量擴容到一定程度時候，往往性能下降。
集群存儲就好像新一代的“動車組”火車一樣，當火車車廂增加的時候，前面的火車頭動力也隨之增加，因此不會發生性能瓶頸。
所謂動車組的設計理念和傳統火車設計理念的最大區別在於傳統火車主要動力來自於火車頭（就像傳統模塊化陣列的兩個控制器），而動車組則不一樣，除了車頭配有動力裝置外，每一節車廂都配有動力推動裝置。 集群存儲大多都是由一個個節點（X86 服務器）組成，每一個節點添加進去后，不僅能夠添加容量，還能夠添加整個存儲器的整體處理能力。
另外一個魚缸的比喻：
當你只有六七條魚的時候， 一個小型魚缸就夠了;可是過一段時間新生了三十多條小魚，這個小缸顯然不夠大了。
如果用Scale up解決方案，那么你就需要去買一個大缸，把所有沙、水草、布景、加熱棒、溫度計都從小缸里拿出來，重新布置到大缸。這個工程可不簡單哦，不是十分鍾八分鍾能搞得定的，尤其水草，糾在一起很難分開(不過這跟遷移數據的工程復雜度比起來實在是毛毛雨啦，不值一提)。
那么現在換個思路，用Scale out方案，就相當於是你在這個小缸旁邊接了一個同樣的小缸，兩個缸聯通。魚可以自動分散到兩個缸，你也就省掉了上面提到的那一系列挪沙、水草、布景等的折騰了。
典型產品的規格說明
以下列舉的是幾個典型的Scale out集群存儲產品，如EMC Isilon、Panasas、NetApp Data ONTAP GX、IBM SoNAS。其他的如3Par、BlueArc因為硬件設計上的特殊性，參考性不強，不做列舉。
- 1. Isilon：區分S系列（適用於高隨機訪問和高IOPS應用，高性能）、X系列（適用於並發和順序訪問，大容量）還有NL備份系列。
Isilon企業級2U Isilon S節點包含以下主要參數：
12個450GB 15K RPM SAS驅動器；每節點容量5.4TB
2個四核Intel 2.33GHz處理器
16GB高速緩存/0.5GB NVRAM
4個1Gb/s以太網接口
2個后端DDR InfiniBand萬兆內聯接口
熱插拔磁盤（12），電源（2），NVRAM電池（2），風扇（3）
最少3個節點構成集群，即集群容量最小為16.2T
- Panasas：
ActiveStor主要有三個成員：8（高性價比系列）、11（高容量系列）、12（高性能系列）。
ActiveStor 8（40TB存儲容量)起價65000美元；
ActiveStor 11(60TB存儲容量，1150 MB/s讀取)起價90000美元（主要針對注重容量多過性能的生物科學領域，且不像石油客戶那樣願意接受高價格）；
ActiveStor 12（60TB存儲容量，現實環境中1600 MB/s寫入和1500 MB/s的讀取以及80M/s的磁盤點對點傳輸）起價110000美元。
每個刀片機上2塊（2T或其他）硬盤，1+10模式的機箱中可有20塊硬盤，即容量為40T。
| ActiveStor Appliance Model |
ActiveStor 8 |
ActiveStor 9 |
ActiveStor 11 |
ActiveStor 12 |
| 產品號 |
Third |
Third |
Fourth |
Fourth |
| 支持的刀片配置（管理刀片+存儲刀片） |
1+10, 2+9, or 3+8 and 0+11 for expansion |
1+10, 2+9, or 3+8 and 0+11 for expansion |
1+10, 2+9, or 3+8 and 0+11 for expansion |
1+10 or 2+9. Also 0+11 for expansion |
| 容量(TB) 【1+10刀片】 |
20 or 40 |
10 or 20 |
40 or 60 |
40 or 60【集群可達到6PB】 |
| 客戶端數 |
12,000 |
12,000 |
12,000 |
12,000 |
| 硬盤（3.5英寸SATA） |
20 |
10 x 3.5” + 10 x 32GB 2.5” SLC SSD |
20 |
20 |
| ECC 內存 (GB of Cache)* |
9, 24, or 44 |
9, 24, or 44 |
48 |
92 |
| 最大寫吞吐量 |
550MB/s |
550MB/s |
950MB/s |
1600MB/s |
| 最大讀吞吐量 |
600MB/s |
600MB/s |
1150MB/s |
1500MB/s |
| 網絡交換機模塊 |
One (second optional) |
One (second optional) |
One (second optional) |
Two |
| 交換機模塊網絡上行 |
10GbE SFP+/CX4 or 4 x GbE Copper |
10GbE SFP+/CX4 or 4 x GbE Copper |
10GbE SFP+/CX4 or 4 x GbE Copper |
10GbE SFP+/CX4 or 4 x GbE Copper |
| 額外的網絡管理刀片 |
N/A |
N/A |
2 x 10GbE SFP+ port |
2 x 10GbE SFP+ port |
| 網絡故障切換 |
可選 |
可選 |
可選 |
標准 |
| 高可用性鏈路聚合 |
No |
No |
No |
Yes |
| QDR InfiniBand路由器相容性 |
Yes |
Yes |
Yes |
Yes |
| 最大重量 |
150 lb. / 68 kg. |
150 lb. / 68 kg. |
150 lb. / 68 kg. |
150 lb. / 68 kg. |
| 尺寸(HxWxD) |
7.0" (4U) x 19.0" x 26" / 17.78 cm x 48.26 cm x 66.04 cm |
7.0" (4U) x 19.0" x 26" / 17.78 cm x 48.26 cm x 66.04 cm |
7.0" (4U) x 19.0" x 26" / 17.78 cm x 48.26 cm x 66.04 cm |
7.0" (4U) x 19.0" x 26" / 17.78 cm x 48.26 cm x 66.04 cm |
- NetApp
NetApp的Data ONTAP GX系列，以Data ONTAP GX操作系統和兩個或更多FAS3050或FAS6070系統基本組件為基礎。每個FAS基本組件包括一對為實現高可用性而配置的控制器(節點)。該系統可以由2～24個節點組成，吞吐量可達每秒GB級，容量可達6PB。隨着系統中節點的增加，性能呈線性提高。
不過NetApp的Scale out產品采用的文件系統仍然是傳統的非分布式的WAFL文件系統。整體解決方案需要傳統的存儲設備，包括FAS的頭，HA和FC互連， RAID DP，備份等等，相比Panasas、Isilon等這類真正的向外擴展系統而言，NetApp的產品擴展性存在限制。
| 產品亮點 |
|
| 操作系統 |
NetApp® Data ONTAP® GX 10.0.3 軟件 |
| 標准軟件功能 |
全局命名空間、FlexVol®、透明 FlexVol 移動、集成自動 RAID 管理器，包括 RAID-DP®、Snapshot™、電子郵件提示、NIS、DNS、NDMP、SSH、CLI、Web GUI、SNMP、FlexCache™ 源服務器 |
| 網絡協議支持 |
NFS V2/V3（采用 UDP 或 TCP），Microsoft® CIFS |
| 獲得許可的軟件產品 |
FlexVol 高性能選件，存儲容錯，異步鏡像，SnapRestore® |
| 最小 - 最大節點數 |
2-24 |
| 最大裸存儲容量 |
14,112TB |
| 最大卷數 |
12,000 |
| 最大原始卷大小 |
4080TB |
| 控制器型號 |
FAS3040、FAS3050、FAS3070、FAS6070、FAS6080 |
| 支持的磁盤架（光纖通道、SATA） |
DS14mk2 FC、DS14mk4 FC、DS14mk2-AT |
| 支持的磁盤驅動器容量 |
FC—144GB（10k 或 15k RPM）、300GB（10k 或 15k RPM） |
- IBM SoNAS
IBM Scale Out Network Attached Storage (IBM SONAS) 是一個顛覆性的水平擴展 NAS 系統。它通過把高速接口節點與出色的存儲子系統和 IBM General Parallel File System (GPFS) 連接起來，提供非常高的性能和可伸縮性。它把先進的水平擴展能力與自動的數據布置和統一的管理結合在一起，讓客戶能夠方便、快捷地把存儲基礎設施擴展到數 PB 級。IBM SONAS 的突出特點之一是，它使用單一全局名稱空間，可以提供與文件的物理位置無關的快速數據訪問。
各種廠商對比一覽表
市場上出現的Scale out架構的存儲系統，其中大多數自創品牌如今已被大廠商收購，目前僅剩下Panasas。
|
|
公司情況 |
核心市場 |
技術特點 |
主要賣點 |
備注 |
| Panasas |
1999年成立，獨立廠商 |
HPC |
並行文件系統，后端存儲為OSD結構， 區分控制刀片和存儲刀片 |
高性能 面向對象存儲 pNFS協議的倡導者 |
2010年新CEO上任，進行商業化轉型 |
| Isilon |
2001年成立，2010年被EMC收購 |
面向大數據和非結構化數據 |
集群文件系統，不區分元數據和數據節點； |
針對企業應用的各種軟件功能；性能、容量等定位擴展的硬件節點 |
被EMC收購后，作為大數據戰略方向上的重頭兵 |
| Ibrix |
2000年立,2009年被HP收購 |
企業級文件服務軟件 |
集群文件系統，高度可擴展軟件產品 |
Ibrix的橫向擴展NAS平台和Ibrix Fusion能夠極大地擴展性能、容量和管理能力 |
惠普推出基於Ibrix的X9000 scale-out文件存儲系統 |
| 3PAR |
1999年成立，2010年被HP收購 |
中高端存儲 |
SAN集群、 采用了ASIC硬件加速芯片，使其系統能夠有出色的性能。 |
自動精簡配置整合進ASIC；InSpire 體系架構（網狀控制器結構，可達8個）等，硬件上的改進設計非常有特色。 |
自動精簡配置Thin Provisioning由3PAR公司開創，改變以前需要提前分配容量的問題，做到即寫分配，提高存儲利用率。 |
|
|
2002年成立，2011年被Dell收購 |
中端市場 |
SAN集群、 同3PAR有近似，但性能不及，且只能允許兩個SAN聚合，而3PAR能夠實現8個SAN聚合。
|
流動數據架構，存儲可直接根據業務需求動態進行調整。 可節約整體成本
|
借助分層架構，SAS或固態硬盤等高性能硬盤能夠處理公司最關鍵的數據，而將很少使用的數據自動遷移到容量大、但速度低的SATA硬盤上的技術。 |
| IBM SONAS |
2010年推出的產品 |
中大型企業 |
以GPFS為核心，以X86平台為硬件基礎，推出的集群NAS產品 |
2011年4月升級：改進的信息生命周期管理 (ILM)、層次化存儲管理 (HSM) 以及簡便的部署和防病毒集成 |
存儲 (TB/PB) 和服務器（接口、I/O 和帶寬）放在單獨的模塊化組件中，它們可以獨立地升級。分別對應於SONAS 的存儲單元和接口節點。 |
| BlueArc |
1998年成立，2011年被HDS收購 |
中高端存儲，HDS自2006年一直OEM其產品 |
文件級集群、 一個是高端Titan系列，一個是入門級Mercury系列 |
硬件加速文件管理器供應商， 主要生產用於場內可編程門陣列(FPGA)的硬件加速文件管理器，加快文件管理器的運行速度 |
SiliconFS文件系統不同於用服務器和定制操作系統實現的文件系統，它基於專門的硬件芯片FPGA。 存儲模塊體現實現面向對象概念、 支持pNFS協議 |
| 龍存 |
|
網絡存儲產品 |
集群NAS |
采用通用服務器做為存儲與元數據節點， 整體性價比高 |
|
| 中科藍鯨 |
研究比較早，2007年正式成立 |
網絡存儲產品和解決方案供應商 |
SAN文件系統 |
同時支持FC（4Gb、8Gb）、以太網（1Gb、10Gb）接入 |
|
| 美地森 |
2007年成立 |
集群存儲系統軟硬件服務提供商 |
USS集群存儲系統 |
YFS和Isilon的OneFS功能近似，集合了文件系統、卷管理和RAID。
|
美地森也推出了WSS雲存儲、WHS雲主機。 |
| 創新科UIT |
2001年成立，2009年，與Intel進行了戰略研發合作，2011年獲得Intel注資。 |
數據存儲解決方案提供商和海量信息存儲專家 |
做IP SAN起家，再做NAS，后面通過收購獲得FC SAN技術，目前推行統一存儲，另外在雲存儲概念上推出了幾款產品。 |
UFS以大量的通用服務器和存儲設備為基礎，通過元數據和存儲數據分離的非對稱式架構，以及負載均衡和數據並發訪問的策略，在普通硬件條件下構建了一個大規模存儲集群。 |
UIT參加展銷會比較多，所有宣傳稿也較多。主要展示其雲監控、雲媒資、辦公雲、IPTV等多個行業的雲解決方案，以及SV5000G2等自主創新產品； 另外面向個人、家庭用戶也有應用產品。 |
從近兩年的各種收購事件來看，集群存儲市場已經從小的獨立廠商時代轉向了大廠商競爭時代，IBM、HP、Dell等大型綜合存儲方案廠商的加入，一方面是看到了非結構化數據爆炸式增長帶來的市場規模擴張，另一方面，也使得集群存儲領域的競爭進一步加劇。
l IBM：作為綜合存儲方案供應商，IBM在集群存儲方面同樣有自己的策略。在SAN集群方面，IBM收購了XIV，經過有效的整合后，XIV已經成為IBM高端存儲產品線的有力補充，在針對非結構化數據的Scale out NAS市場，IBM則將一套由來已久的分布式文件系統方案GPFS重新包裝，推出了NAS集群產品SoNAS。
在戰略層面，IBM的公共雲就采用了SONAS架構。
l HDS：收購BlueArc，它擁有數據分級的技術，它的產品可以在8節點群集中提供文件存儲虛擬化功能，將群集容量提高到16PB。 運行在群集上的軟件是SiliconFS文件系統，可以提供NFS和CIFS文件存取以及iSCSI SAN存取等功能。BlueArc主要生產硬件加速的Titan和Mercury產品，這些產品均運行有SiliconFS軟件系統。7.0版本的SiliconFS把文件的元數據放在固態硬盤或SAS驅動器上，而將文件數據放置於運行速度較慢但是相對便宜的驅動器上，可提供文件訪問速度。
l EMC：與倡導統一存儲的NetApp不同，EMC看上去仍像是多家公司的組合。EMC旗下曾經有過Avamar、Data Domain、DMX、Clariion、Celerra，以及Isilon等，還需要更好的融合和統一。EMC在7年里收購了53家公司，走大而全的路線。 戰略上推行大數據解決方案，Isilon應該是其宣傳側重點。從Isilon被收購的兩三年來看，確實是背靠大樹好乘涼，EMC的多套方案中均有Isilon的身影，每次大會都有些宣傳，相比其老對手Panasas，Isilon現在的發展勢頭很不錯，應用范圍越來越寬。
l NetApp核心系統依賴於一個單一的操作系統，無論是SAN、NAS、高端、低端、主存儲還是二級存儲，都是基於核心的操作系統ONTAP，這是和其他廠商最大的區別。這也是其在並購方面考慮較多的原因。
但NetApp的集群NAS產品Data ONTAP GX並不給力。GX來源於NetApp收購的Spinaker，是一家做Single Namespace的文件系統的廠商，所以GX系列只是一個Single Path Image模式的架構，類似於微軟的DFS，將多個獨立文件系統，從路徑上加一次虛擬，多個文件系統（控制器機頭）之間依然采用松耦合方式。GX並沒有從骨子里表現為一個Single File system Image的集群或者分布式文件系統，所以市場認同度不高。
l HP：HP最近三年內收購了LeftHand（增強了其存儲虛擬化和iSCSI能力）、Ibrix（橫向擴展NAS和Fusion管理軟件）、以及3PAR（中高端的SAN集群以及Thin概念的各種功能），包裝推出了可恆星擴展的P4000G2和X9000，以及提供基於3PAR的統一雲存儲解決方案。
l Dell：2010年Dell在同HP競購3Par大戰中失敗，Dell轉為收購與3Par提供的技術相似的Compellent。另外，Dell在2007年收購的EqualLogic，主要是 IP SAN，同樣屬於Scale out架構，而Compellent在智能數據管理技術和FC SAN領域有優勢。
目前戴爾存儲產品領域主要分成了四大系列，有着各自清晰的分工和定位，分別針對不同的應用。其中，PowerVault MD系列主要滿足入門級直連存儲和iSCSI SAN，基於磁盤備份，提供重復數據刪除支持，並提供磁帶存儲，滿足長期、離線備份的要求；DX對象存儲則實現把靜態數據移出主要存儲，提供歸檔解決方案和存儲固定及非結構化數據；EqualLogic PS包含了虛擬化與整合、業務級應用、中等規模解決方案，並用來替換各種專有解決方案；Compellent Series 40主要用來幫助企業實現虛擬化和整合，滿足企業級應用和大規模的企業解決方案。
l Panasas是業界最早的基於對象技術的高性能存儲系統。和所有基於對象存儲的並行存儲系統一樣，Panasas也由client端、管理節點、數據節點（對象存儲節點）組成。但和其它系統不同的是，Panasas是包括定制硬件設計的性能優越、功能完善、成熟的商業產品。
Panasas系統的突出特征在於支持文件級的RAID，提高了數據安全性。Panasas已將自己的客戶端技術公開，成為目前pNFS（NFSv4.1）標准的基礎。