原文地址:http://www.hqschina.com/Show.aspx?info_lb=283&info_id=751&flag=103
IBM GPFS文件系統是一種專門為群集環境設計的高性能、可擴展的並行文件系統。GPFS可以在群集中的多個節點間實現對共享文件系統中文件的快速存取操作,並提供穩定的故障恢復和容錯機制。
被業界超大規模高性能計算機系統所廣泛使用
GPFS文件系統被廣泛應用於世界上超大規模的高性能計算機系統中,包括運行速度最快的IBM Blue Gene系統。在當前TOP500計算機排名中的232套IBM計算機系統幾乎都采用了GPFS並行文件系統方案。在中國規模最大的5個高性能計算機系統中也無一例外地使用GPFS作為並行文件系統,這其中包括運行關鍵業務的生物信息和超級計算中心。這些項目成功實施和順利運行充分證明了GPFS完全可以勝任用來構建超大規模的計算機系統。
高可擴展性
GPFS具有無可比擬的擴展性,如下表所示:
項目 |
最大限制 |
Linux集群中經過驗證的值 |
單個文件系統容量 |
299Byte |
2PB |
集群中並行文件系統個數 |
256 |
32 |
單個文件系統中文件個數 |
2,147,483,648 |
N/A |
單個文件系統能用到的邏輯卷個數(LUN數) |
268 million |
N/A |
I/O帶寬 |
取決於系統硬件配置 |
134GB/s |
高性能
IBM GPFS並行文件系統軟件在設計上不存在任何性能瓶頸,因此GPFS並行文件系統可以充分發揮硬件系統的性能。換句話說,GPFS並行文件系統的性能完全取決於硬件配置的好壞,而文件系統軟件本身對性能的影響微乎其微。
IBM GPFS並行文件系統與其它並行文件系統之間最大的區別在於GPFS不需要專用的元數據(Meta Data)管理服務器,所有元數據分散在磁盤陣列中,並可以由任何I/O節點管理。這樣的設計避免了並行文件系統中最可能產生性能瓶頸的因素——Meta Data Server。
大規模高性能計算機系統的設計都會采用專用的I/O節點。I/O節點配置光纖通道卡連接外部磁盤陣列,而計算節點及登錄節點對磁盤陣列的訪問則是利用網絡與I/O節點進行數據通訊。在系統規模非常大的時候,用來交換數據的網絡通常會成為性能的瓶頸。IBM GPFS文件系統可以充分利用高速網絡的特性,提升計算節點與I/O節點間的數據通訊性能,同時最大程度地降低因I/O處理帶來的對CPU資源的消耗。
在Linux集群系統中,當使用了InfiniBand作為高速網絡時,GPFS並行文件系統可以充分利用InfinBand網絡的RDMA(Remote Direct Memory Access)特性進行數據通訊。與TCP socket協議不同,RDMA可以實現計算節點與I/O節點間內存的直接通訊,而最小化CPU的參與。這樣在提升I/O帶寬性能的同時,降低計算節點CPU資源的消耗,從而保證計算節點內的資源可以更專注於數據計算。
IBM GPFS的先進設計保證了GPFS是目前性能最高的並行文件系統,保持着在實際測試中得到的帶寬134GB/s世界紀錄。
高可用性
IBM GPFS文件系統本身提供了豐富的高可用性功能,所有的GPFS相關的管理服務器都能做到冗余配置,並可以由I/O節點中的任意節點擔任。具體從GPFS集群(節點)、邏輯卷(磁盤)及文件系統的管理與維護三個層面得以體現。
可以將所有服務器划到一個GPFS集群(GPFS集群是並行文件系統的專用概念,是所有要訪問並行文件系統的服務器的集合)中,或分成多個GPFS集群。每個GPFS集群設置主、備2個管理服務器,可以選擇I/O節點中的任何服務器承擔。GPFS集群管理服務器負責管理和維護集群配置信息,如增加或減少節點、改變集群中服務器的屬性等。同時,在一個GPFS集群中還可以指定若干個服務器作為“仲裁委員會”的成員(quorum node),只要該仲裁委員會中一半以上的成員正常運行,就可以保證GPFS正常使用。
在磁盤陣列划分好邏輯卷(LUN)並映射到相應服務器后,GPFS將每個LUN轉換成網絡共享磁盤(NSD),同時為每個NSD指定多個(最多8個)管理服務器,可以由任何I/O節點承擔。這樣可以充分保證任何I/O節點宕機都不會導致邏輯卷的不可用。
在文件系統層面,每個GPFS集群中可以創建最多256個文件系統,每個文件系統都對應多個管理服務器(可以由任何I/O節點承擔)。當任何一個文件系統管理服務器宕機時,都會有另外一個服務器自動接替其工作,保證並行文件系統的高可用性。
另外,GPFS支持分布式的元數據服務器,支持元數據自動日志功能,實現用戶數據和元數據的備份和自動恢復,當一台服務器宕機時,其管理功能可以有另外的服務器接管,不存在單點故障。GPFS支持多路徑磁盤訪問,一條路徑訪問失敗,GPFS可以自動嘗試其它路徑,並同時支持節點和磁盤兩級故障切換,對上層應用透明,確保應用的繼續執行。GPFS支持分布式的塊級鎖管理,通過令牌機制來避免並發讀寫沖突。GPFS還支持rolling update功能,可以在線升級文件系統。
豐富的功能
GPFS還具有其它豐富的功能,如信息生命周期管理(ILM)、多集群間交叉mount、集群化NFS(CNFS)、磁盤限額管理、NFS和SAMBA客戶端支持等。這些功能保證了GPFS配置和使用的靈活性,可以針對用戶業務特點對GPFS進行設計與配置,滿足用戶業務對並行文件系統的復雜需求。