磁盤陣列被越來越多地使用到各種應用系統中,開始只是簡單地作為某台主機或服務器的附加外置存儲設備,主要用於擴展單台主機或服務器的永久存儲空 間,一般通過SCSI或其它接口與主機直接相連;后來隨着存儲網絡技術,尤其是光纖通道(Fibre Channel)技術的發展,磁盤陣列通過光纖通道接口接入到存儲區域網(SAN)中,為多台主機提供共享的存儲空間。
目前,人們一方面致力於開發更多的接口技術(如iSCSI、InfiniBand等),使磁盤陣列接入到成本更低的存儲網絡(如IP網絡),或性能更 高、功能更全的存儲網絡(如InfiniBand網絡)中;另一方面致力於通過存儲虛擬化技術、全局文件系統技術提高磁盤陣列的利用率。
實際上,日常所說的磁盤陣列一詞的定義並不准確。根據SNIA(存儲網絡國際協會)的定義,磁盤陣列(Disk Array)就是通過一套控制軟件結合在一起的、在一個或多個可訪問磁盤子系統上的一系列磁盤;該控制軟件將這些磁盤的存儲空間以一個或多個虛擬磁盤的形 式提供給主機;運行在控制器上的控制軟件一般稱為固件(Firmware)或微碼(Microcode);運行在主機上的通常稱為卷管理器。磁盤陣列子系 統(Disk Array Subsystem)才是通常所稱的磁盤陣列,即具有可將其磁盤組織起來的控制軟件的磁盤子系統。在后面的討論中,仍將使用大家熟悉的磁盤陣列這個詞匯來 代替較為晦澀的磁盤陣列子系統一詞。
何為光纖磁盤陣列呢?是指這種磁盤陣列采用光纖通道技術。采用光纖通道技術有兩層含義,一層是指對外,即對主機使用光纖通道接口連接方式;另一層是指 其內部采用光纖通道技術來連接內部的各個磁盤。通常來說,光纖磁盤陣列指的是后一種含義。最初,光纖磁盤陣列上市的時候,內部往往采用SCSI、SSA等 存儲接口,對外才是光纖通道接口。
現在,越來越多的光纖磁盤陣列逐漸向內外俱是光纖通道接口的方向發展。這里討論的就是此種磁盤陣列。至於內部使用IDE、SCSI、SSA等接口技 術,外部使用光纖通道技術,或者內部使用光纖通道技術,外部使用SCSI等其它接口技術的磁盤陣列(盡管這有些違背常識,但這種磁盤陣列的確存在),雖然 也是光纖磁盤陣列,但不在本文的討論范圍內。
光纖磁盤陣列的構成
從光纖磁盤陣列的定義可以看出,從硬件構成來說,它應當是由一堆磁盤和控制器及內外接口組成。一般的中、低端光纖磁盤陣列也正是這種結構:由一個或多 個供大量磁盤放置的磁盤櫃、兩個陣列控制器、陣列背板、若干電源、風扇等硬件部件組成。其中,最為主要的部件就是陣列控制器和磁盤櫃。控制器通過其內置的 控制軟件,可實現整個陣列的管理。一般陣列對主機的接口就在陣列控制器上,一般每個控制器至少有一個主機接口,有些控制器則提供更多的主機接口。這些主機 接口可以直接或通過光纖交換機與主機連接。此外,各種管理接口(串口、以太網口等)也在控制器上。
之所以采用兩個控制器,主要是從高可用性、提高性能和負載均衡的角度考慮的。很多陣列都可以通過這兩個控制器間的切換,防止控制器、連接線纜、網絡設 備(如光纖通道交換機和集線器)、主機HBA的單點故障。某些陣列則可以通過主機或陣列軟件實現多通道的數據訪問和通道間的負載均衡。
可以說,陣列控制器是中低端磁盤陣列的核心,它相當於PC的主板、內存和CPU。放置硬盤的磁盤櫃是陣列實際存儲數據的地方,相當於PC的硬盤。磁盤櫃的主要特點是,內部一般至少采用冗余的雙FC-AL仲裁環環路結構,內部硬盤實際上同時接在兩條仲裁環上。
中端磁盤陣列支持的環路數更多,可以達到4、8、16條之多。這種多冗余仲裁環結構最主要的目的是為了高可用性,可以防止單個線路、接口的故障導致整 個陣列的失效。此外,每個環路還采用旁路技術防止無硬盤接入和硬盤故障對環路通信的影響。高端光纖磁盤陣列采用的結構與此類似,但也有獨特之處。比如 EMC的DMX結構、HDS的Hi-Star Switched Architecture結構,都是為高端磁盤陣列而設計的,可以提供更高的性能、可靠性、可用性、可擴展性,以及更多的高級功能(如對業務連續性的支 持)。
高性能與高可用
從光纖磁盤陣列的結構可以看出,它最突出的優勢是存儲共享。與其它陣列,如SCSI陣列不同,光纖磁盤陣列可以接入存儲區域網,多台主機可以通過存儲區域網同時訪問一台或多台光纖磁盤陣列,這就為存儲集中和共享提供了最為靈活的硬件和網絡平台。
光纖磁盤陣列的另一個優勢是高可用性。光纖磁盤陣列不但具有普通磁盤陣列所支持的各種高可用性功能,如對RAID的支持、Hot-Spare硬盤、 RAID自動重建、后台在線重建、在線RAID擴容、硬盤熱插拔、支持並發I/O及命令隊列、磁盤陣列配置備份、緩存電池保護、硬盤故障自動檢測等,而且 雙控制器、多冗余環路、多主機接口的冗余配置,也保證了本機的可用性,並可以防止存儲區域網上其它設備故障對數據存取的影響。
在存儲共享和高可用性之后,還要提到磁盤陣列的高性能。光纖通道較傳統存儲技術,如SCSI來說,可以支持更高的性能。目前,光纖磁盤陣列對內、對外都可以支持200MB/s的全雙工讀寫,不久的將來,1GB/s的產品也將上市。
此外,光纖磁盤陣列的另一個優勢是高可擴展性。一方面,對於同一個磁盤陣列來說,由於采用仲裁環結構,理論上,一個環上可以接多達126塊硬盤,這相 對於SCSI總線上最多15塊硬盤的容量明顯高了很多,而且還可以通過增加同一個磁盤陣列支持的環路數來增加支持的硬盤數;另一方面,在由光纖通道構成的 存儲網絡中,由於光纖磁盤陣列可以被共享,當某台主機訪問某台陣列上安裝的硬盤達到最大而不能再擴充容量時,完全可以通過將另一個陣列上的存儲空間共享給 該主機,從而實現存儲空間的擴展。
適用於SAN
根據其優勢和特點,光纖磁盤陣列主要應用在對數據共享、高可用性、高可靠性、高性能和高擴展性要求很高的行業或應用環境中。對於國內的用戶來說,像金 融、電信、電力、稅務、化工、冶金等關鍵業務部門的數據中心采用共享磁盤陣列存儲數據是非常必要的,它可以滿足這些行業對存儲的苛刻要求。像媒體、圖書檔 案館、科技研究、監聽等數據量要求非常大的行業數據中心,采用光纖磁盤陣列則可以很好地滿足大容量存儲、不斷擴展等方面的要求。
需要注意的是,在選擇光纖磁盤陣列時,一般會選擇SAN作為整個IT信息系統的基本架構。在SAN架構中,由服務器或主機、光纖交換機、光纖磁盤陣列、光纖磁帶庫共同組成一個存儲網絡,客戶端和其它存儲需求不大的服務器則通過常用的IP網絡與存儲網絡中的服務器通信。
此外,在高端的NAS應用中,往往會采用NAS機頭(NAS head)作為NAS服務器的控制端,光纖磁盤陣列通過SAN或直接連接到NAS head上,為它提供高性能、大容量、高可用性的存儲后端。
采用光纖磁盤陣列的SAN典型架構
產品選購
十全才能十美
選擇哪種光纖磁盤陣列才能夠滿足自身的需要呢?除了價格因素以外,主要從以下10個方面考慮。
1.存儲共享的能力
如果采用SAN架構,如果有很多台服務器或主機共享一個光纖磁盤陣列,首先考慮的是,此陣列最多可以支持多少台服務器或主機。此參數每個供貨商都會提供,只是不同的磁盤陣列支持的數量不同。
2.可用性和可靠性
如果要設計的方案對於可用性的要求非常高,就要考慮陣列的可用性。光纖磁盤陣列的可用性主要從控制器的冗余切換能力來考慮,包括:主機接口數,提供的 主機接口數越多,意味着可供冗余連接的連接路徑越多;對於路徑切換軟件的支持能力,很多陣列需要專用的路徑切換軟件才能實現切換,其它一些則可以使用類似 VERITAS DMP的第三方軟件實現,且不同環境的支持程度不同,選擇陣列一定要結合實際情況加以考慮;切換時間,切換時I/O讀寫可以有一定的延時,一般不能短於切 換時間,否則會有數據丟失。
3.互操作性和兼容性
選擇磁盤陣列時,一定要檢查互操作性。一般每個供貨商都會給出其陣列的兼容性列表,確定其是否支持已有的或可能會使用的網絡存儲設備,包括OS、交換機、HBA、SFP等。
4.容量和擴展能力
每種磁盤陣列的初始磁盤容量、容量擴展方式和最大的可擴展容量不盡相同,而且不同配置的價格也不同,在選擇磁盤陣列時要選擇最適合的。
5.性能
目前的磁盤陣列都支持200Mb/s全雙工帶寬接口,但實際的讀寫能力不盡相同。有的陣列可以利用主機接口和控制器的負載均衡,提供非常高的讀寫帶寬和IOPS。如果應用要求很高的性能,可以考慮采用這種磁盤陣列。
6.易用性
磁盤陣列的配置越簡單、越人性化,配置中越不容易出現錯誤,越應當優先考慮。
7.可管理性
一般磁盤陣列的管理可以通過兩種途徑:In-Band和Out-of-Band。這兩種途徑各有優缺點:In-Band的管理可以得到整個存儲網絡結 構的拓撲,而且不需要其它網絡(如以太網)連接的支持,但是網絡出現故障(如陣列的主機接口失效)就無法進行管理;Out-of-Band的管理需要連接 其它網絡,但不會因為諸如陣列主機接口失效這種故障導致無法管理陣列的問題,所以Out-of-Band的管理更為可靠,而且往往可以在磁盤陣列出現問題 時通過修改配置、熱啟動等操作恢復其正常運行狀態。建議最好是選擇兩種管理途徑都支持的磁盤陣列。
8.業務連續性的能力
很多中高端光纖磁盤陣列都提供保證業務連續性的能力,但這一般要通過兩台甚至兩台以上陣列間的鏡像或復制來實現,所以往往會導致成本的大幅上升。
9.安全性
光纖磁盤陣列的安全性主要表現在,是否支持主機分區或者LUN Masking功能。可以設置主機只能訪問哪個LUN,或主機只能通過哪個主機端口進行訪問,這樣可以防止數據被不相干的主機訪問,還可以減少SAN內通信的相互干擾。
10.對陣列基本功能的支持能力
當今世界信息爆炸式的增長,除了給科技與技術的發展帶來更大的發展動力外,也給企業的數據存儲帶來了巨大的挑戰。然而,作為企業信息存儲系統中的最關鍵部分——磁盤陣列,很多人未必能說得清楚。
磁盤陣列技術誕生於1987年,由美國加州大學伯克利分校提出。這項技術的核心設計理念是RAID技術。原來的名稱是“Redundant Array of Inexpensive Disk”,最初的研制它的目的是為了組合小型的廉價磁盤來代替大的昂貴磁盤,以降低大批量數據存儲的費用。同時也希望通過冗余信息的方式,使得單一磁盤 失效時不會丟失數據,因此開發出不同級別的RAID數據保護技術,並在此基礎上逐漸致力於提升數據訪問速度。這個名字后來改為“Redundant Array of Independent Disk”,但仍然稱作“RAID”。
經過多年的發展,企業中數據的價值越來越高,而承載這些數據的磁盤陣列也越發受到用戶的重視。從市場分布可以看出,存儲與服務器所占比例呈逐年上升趨 勢。用戶的強大需求同時也給存儲系統供應商創造了巨大的商機。目前市場上不但有老牌廠商提供的各種產品,也有初創公司新推的各種系統。自然,當前市場上的 磁盤陣列也是一番花團錦簇的景象。在用戶有了眾多選擇的同時,也有了選擇上的困惑。因此,我們就從體系結構的角度,簡要分析目前磁盤陣列的差異性,希望可 以給用戶在選擇磁盤陣列時參考。
目前的磁盤接口有IDE、SATA、SCSI、SAS、FC等幾種。其中IDE接口磁盤正在被SATA接口硬盤取代,將逐漸退出歷史舞台,兩者主要多 用於桌面;SAS接口磁盤也正在逐漸淘汰SCSI接口,很快將占領企業應用的低端市場;而FC(Fibre Channel,光纖)接口硬盤一出生就是專門針對高可靠、高可用、高性能的企業存儲應用的,不但接口速度快,而且支持雙端口訪問,又經過嚴格的生產工藝 控制,可靠性很好。由於這些天生優勢,FC接口硬盤在企業用戶中尤其是關鍵數據存儲應用中占據着絕對優勢,也是高端存儲應用的首選磁盤。
基於SATA、SCSI接口的磁盤陣列大家見過很多了,這里就不再贅述,重點說是所光纖接口磁盤陣列。光纖磁盤陣列又可進一步從體系結構細分成三大類:JBOD磁盤陣列、雙控制器磁盤陣列和多控制器磁盤陣列。
嚴格意義上講,JBOD還不能稱之為“陣列”。JBOD是Just Bundle of Disk的縮寫,意即只是一串磁盤的組合。這樣的“磁盤陣列”也被稱為傻盤陣列,因為JBOD內部既沒有控制器,也沒有緩存,磁盤之間也沒有提高性能和安 全性的任何手段。每個磁盤都獨立地接收來自主機的數據訪問。如果需要實現RAID級別的保護,主機不但要負擔磁盤讀寫等操作,還要進行RAID算法的處 理,對主機資源的占用率較大,嚴重影響系統整體性能。
因此,在采用光纖磁盤陣列時,一般都采用帶智能磁盤控制器的磁盤陣列。磁盤控制器是介於主機和磁盤之間的控制單元,配置有專門為I/O進行過優化的處 理器以及一定數量的cache。控制器上的CPU和cache共同實現對來自主機系統I/O請求的操作和對磁盤陣列的RAID管理。相對於JBOD磁盤陣 列,控制器磁盤陣列釋放了大量主機資源,來自主機的I/O請求由控制器接受並處理,陣列上的cache則作為I/O緩沖池,能夠大大提高了磁盤陣列的讀寫 響應速度,顯著改善磁盤陣列的性能。又由於光纖磁盤天生擁有雙端口,所以,一般的光纖盤陣都采用雙控制器,從而充分發揮光纖磁盤的高可用特性。兩個控制器 不管配置成active-active還是active-standby,都能為用戶提供高可用特性,而且大都支持熱插拔功能,能夠實現簡單的無單點故 障,為用戶提供的7*24不間斷業務。
在配置了CPU和cache的磁盤陣列中,其部分高端產品還可以運行基於磁盤陣列的存儲軟件。因此,它可以提供比較全面的基於磁盤陣列的解決方案。
在當前存儲市場上,這一類的磁盤陣列種類繁多,數量巨大,同時也在質量和性能上也存在着巨大的差距,價格跨度也很大。其代表產品有IBM DS系列、HP EVA系列、EMC CLARIION系列、HDS Thunder 95系列等等。LSI也在這一檔次的磁盤陣列方面頗有建樹。尤其值得一提的是,IBM S-4000系列、STK D系列及SGI TP系列都是OEM LSI公司的E系列陣列控制器。
從體系結構上講,這類產品屬於中端產品,但其中比較引人注目的是IBM SHARK系列產品。IBM的SHARK系列產品是典型雙控制器結構的產品,其高端型號DS-8300產品的每個控制器是4個CPU的P570小型機,雙 控制器最大配置CPU數量為8個CPU。但DS-8000系列產品具備了許多高端產品應有的特征,比如主機端口最大可達128個2Gb FC,磁盤接口多大64個,緩存容量也可以達到256GB,這些特性使其可以匹敵多控制器存儲系統,因此,DS-8000系列也是IBM公司參與高檔存儲 產品市場競爭的主要武器,而且和競爭對手高檔產品相比其價格優勢非常明顯。
第三類是多控制器磁盤陣列:雙控制器磁盤陣列由於控制器只能配置兩個,不能在同一磁盤陣列內配置更多控制器,在一定程度上局限了其數據處理能力。多控制器磁盤陣列便應運而生,其體系結構一般分為三層:
通道控制器:管理主機和cache之間I/O及運行基於存儲的軟件解決方案。
全局緩存控制器:巨大的非易失性cache,它是系統性能超群的基礎之一。
磁盤控制器:管理cache和物理磁盤組之間I/O及運行基於存儲的軟件解決方案。
在實際應用時,每層的控制器至少成對配置,提供全冗余特性,實現無單點故障。也可以配置多對,在性能上進行成倍擴展。比如EMC的DMX-3最多可以 配置8個前端控制器(Channel Director)、8個緩存控制器(Memory Director)、8個后端控制器(Disk Director),整個系統中處理器數量最多可達130顆。多級控制器分工協作,系統整體性能因而可以獲得最佳擴展性。更重要的是,在多控制器體系結構 基礎上,提供了許多獨特存儲軟件解決方案。該檔次產品是大型關鍵業務數據中心的首選。
目前,掌握高檔多控制器體系結構產品技術的廠家,只有EMC和HDS這兩家公司。從體系結構來看,最初的EMC和HDS公司的多控制器磁盤陣列產品沒 有什么區別,都是基於總線結構。后來HDS開發出了基於全交換架構的Lightning9000/USP系列,並在內部把控制流和數據流分開,提升了內部 的傳輸帶寬。其后EMC推出了基於直聯矩陣結構的Symmetrix DMX系統,在繼承低延遲特性的基礎之上,進一步的提升了內部總線的帶寬。但無論如何,這類系統都是以高可靠性和高可用性為訴求的高端存儲陣列,在這兩方 面已經達到了近乎完美,在電信和銀行等領域都得到了極大的認可和廣泛的應用。
很多服務器生產廠商也都有磁盤陣列產品出售。由於擁有廣泛的銷售渠道和強大的市場運作能力,也有較高的市場占有率,到目前為止,所有主機廠商掌握自主 知識產權的磁盤陣列仍然停留在雙控制器磁盤陣列這個層面。雖然HP和SUN也有的多控制器體系結構的磁盤陣列在銷售,但都是OEM HDS產品。
當下流行的信息生命周期管理、虛擬存儲、存儲資源管理等等理念都和分級存儲密切相關,這為用戶進行全方位的數據管理提供了參考。用戶可以根據信息的價值采取適當級別的磁盤陣列,制定相應的存儲方案。本文只是從系統結構上對光纖磁盤陣列做一個簡單的划分,供用戶參考。