HBase的服務器體系結構遵循簡單的主從服務器架構,它由HRegion服務器(HRegion Server)群和HBase Master服務器(HBase Master Server)構成。HBase Master服務器負責管理所有的HRegion服務器,而HBase中所有的服務器都是通過ZooKeeper來進行協調,並處理HBase服務器運行期間可能遇到的錯誤。HBase Master Server本身不存儲HBase中的任何數據,HBase邏輯上的表可能會被划分為多個HRegion,然后存儲到HRegion Server群中,HBase Master Server中存儲的是從數據到HRegion Server中的映射。
Client
HBase Client使用HBase的RPC機制與HMaster和HRegionServer進行通信,對於管理類操作,Client與HMaster進行RPC;對於數據讀寫類操作,Client與HRegionServer進行RPC
Zookeeper
Zookeeper Quorum中除了存儲了-ROOT-表的地址和HMaster的地址,HRegionServer也會把自己以Ephemeral方式注冊到Zookeeper中,使得HMaster可以隨時感知到各個HRegionServer的健康狀態。此外,Zookeeper也避免了HMaster的單點問題,見下文描述
HBase Master服務器
每台HRegion服務器都會和HMaster服務器通信,HMaster的主要任務就是要告訴每台HRegion服務器它要維護哪些HRegion。
當一台新的HRegion服務器登錄到HMaster服務器時,HMaster會告訴它先等待分配數據。而當一台HRegion死機時,HMaster會把它負責的HRegion標記為未分配,然后再把它們分配到其他HRegion服務器中。
HRegion服務器
HRegionServer主要負責響應用戶I/O請求,向HDFS文件系統中讀寫數據,是HBase中最核心的模塊。
所有的數據庫數據一般是保存在Hadoop分布式文件系統上面的,用戶通過一系列HRegion服務器來獲取這些數據,一台機器上面一般只運行一個HRegion服務器,且每一個區段的HRegion也只會被一個HRegion服務器維護。
當用戶需要更新數據的時候,他會被分配到對應的HRegion服務器上提交修改,這些修改顯示被寫到Hmemcache(內存中的緩存,保存最近更新的數據)緩存和服務器的Hlog(磁盤上面的記錄文件,他記錄着所有的更新操作)文件里面。在操作寫入Hlog之后,commit()調用才會將其返回給客戶端。
在讀取數據的時候,HRegion服務器會先訪問Hmemcache緩存,如果緩存里沒有改數據,才會回到Hstores磁盤上面尋找,每一個列族都會有一個HStore集合,每一個HStore集合包含很多HstoreFile文件,如下圖:
HStore存儲是HBase存儲的核心了,其中由兩部分組成,一部分是MemStore,一部分是StoreFiles。MemStore是Sorted Memory Buffer,用戶寫入的數據首先會放入MemStore,當MemStore滿了以后會Flush成一個StoreFile(底層實現是HFile),當StoreFile文件數量增長到一定閾值,會觸發Compact合並操作,將多個StoreFiles合並成一個StoreFile,合並過程中會進行版本合並和數據刪除,因此可以看出HBase其實只有增加數據,所有的更新和刪除操作都是在后續的compact過程中進行的,這使得用戶的寫操作只要進入內存中就可以立即返回,保證了HBase I/O的高性能。當StoreFiles Compact后,會逐步形成越來越大的StoreFile,當單個StoreFile大小超過一定閾值后,會觸發Split操作,同時把當前Region Split成2個Region,父Region會下線,新Split出的2個孩子Region會被HMaster分配到相應的HRegionServer上,使得原先1個Region的壓力得以分流到2個Region上。
HRegion
當表的大小超過設置值的是偶,HBase會自動地將表划分為不同的區域,每個區域包含所有行的一個子集。對用戶來說,每個表是一堆數據的集合,靠主鍵來區分。從物理上來說,一張表被拆分成了多塊,每一塊就是一個HRegion。我們用表名+開始/結束主鍵來區分每一個HRegion,一個HRegion會保存一個表里某段連續的數據,從開始主鍵到結束主鍵,一張完整的表是保存在多個HRegion上面的。
HBase存儲格式
HBase中的所有數據文件都存儲在Hadoop HDFS文件系統上,主要包括上述提出的兩種文件類型:
1. HFile, HBase中KeyValue數據的存儲格式,HFile是Hadoop的二進制格式文件,實際上StoreFile就是對HFile做了輕量級包裝,即StoreFile底層就是HFile
2. HLog File,HBase中WAL(Write Ahead Log) 的存儲格式,物理上是Hadoop的Sequence File
HFile已經介紹了,接下來就是介紹HLog File。
在分布式系統環境中,無法避免系統出錯或者宕機,因此一旦HRegionServer意外退出,MemStore中的內存數據將會丟失,這就需要引入HLog了。每個HRegionServer中都有一個HLog對象,HLog是一個實現Write Ahead Log的類,在每次用戶操作寫入MemStore的同時,也會寫一份數據到HLog文件中(HLog文件格式見后續),HLog文件定期會滾動出新的,並刪除舊的文件(已持久化到StoreFile中的數據)。當HRegionServer意外終止后,HMaster會通過Zookeeper感知到,HMaster首先會處理遺留的 HLog文件,將其中不同Region的Log數據進行拆分,分別放到相應region的目錄下,然后再將失效的region重新分配,領取 到這些region的HRegionServer在Load Region的過程中,會發現有歷史HLog需要處理,因此會Replay HLog中的數據到MemStore中,然后flush到StoreFiles,完成數據恢復。
HFile
下圖是HFile的存儲格式:
首先HFile文件是不定長的,長度固定的只有其中的兩塊:Trailer和FileInfo。正如圖中所示的,Trailer中有指針指向其他數據塊的起始點。File Info中記錄了文件的一些Meta信息,例如:AVG_KEY_LEN, AVG_VALUE_LEN, LAST_KEY, COMPARATOR, MAX_SEQ_ID_KEY等。Data Index和Meta Index塊記錄了每個Data塊和Meta塊的起始點。
Data Block是HBase I/O的基本單元,為了提高效率,HRegionServer中有基於LRU的Block Cache機制。每個Data塊的大小可以在創建一個Table的時候通過參數指定,大號的Block有利於順序Scan,小號Block利於隨機查詢。每個Data塊除了開頭的Magic以外就是一個個KeyValue對拼接而成, Magic內容就是一些隨機數字,目的是防止數據損壞。后面會詳細介紹每個KeyValue對的內部構造。
HFile里面的每個KeyValue對就是一個簡單的byte數組。但是這個byte數組里面包含了很多項,並且有固定的結構。我們來看看里面的具體結構:
開始是兩個固定長度的數值,分別表示Key的長度和Value的長度。緊接着是Key,開始是固定長度的數值,表示RowKey的長度,緊接着是RowKey,然后是固定長度的數值,表示Family的長度,然后是Family,接着是Qualifier,然后是兩個固定長度的數值,表示Time Stamp和Key Type(Put/Delete)。Value部分沒有這么復雜的結構,就是純粹的二進制數據了。
HLogFile
上圖中示意了HLog文件的結構,其實HLog文件就是一個普通的Hadoop Sequence File,Sequence File 的Key是HLogKey對象,HLogKey中記錄了寫入數據的歸屬信息,除了table和region名字外,同時還包括 sequence number和timestamp,timestamp是“寫入時間”,sequence number的起始值為0,或者是最近一次存入文件系統中sequence number。
HLog Sequece File的Value是HBase的KeyValue對象,即對應HFile中的KeyValue,可參見上文描述。
參考 http://www.cnblogs.com/NicholasLee/archive/2012/09/13/2683223.html