一、HBase中的表一般有這樣的特點:
1、大:一個表可以有上億行,上百萬列。
2、面向列:面向列(族)的存儲和權限控制,列(族)獨立檢索。
3、稀疏:對於為空(null)的列,並不占用存儲空間,因此,表可以設計的非常稀疏。
二、HBase以表的形式存儲數據。表有行和列組成。列划分為若干個列族(row family)
Row Key |
column-family1 |
column-family2 |
column-family3 |
|||
column1 |
column1 |
column1 |
column1 |
column2 |
column3 |
|
key1 |
|
|
|
|
|
|
Key2 |
|
|
|
|
|
|
Key3 |
|
|
|
|
|
|
Row Key
與nosql數據庫們一樣,row key是用來檢索記錄的主鍵。訪問hbase table中的行,只有三種方式:
1、通過單個row key訪問
2、通過row key的range
3、全表掃描
Row key行鍵 (Row key)可以是任意字符串(最大長度是 64KB,實際應用中長度一般為 10-100bytes),在hbase內部,row key保存為字節數組。
存儲時,數據按照Row key的字典序(byte order)排序存儲。設計key時,要充分排序存儲這個特性,將經常一起讀取的行存儲放到一起。(位置相關性)
注意:
1、字典序對int排序的結果是1,10,100,11,12,13,14,15,16,17,18,19,2,20,21,…,9,91,92,93,94,95,96,97,98,99。要保持整形的自然序,行鍵必須用0作左填充。
2、行的一次讀寫是原子操作 (不論一次讀寫多少列)。這個設計決策能夠使用戶很容易的理解程序在對同一個行進行並發更新操作時的行為。
列族
Hbase表中的每個列,都歸屬與某個列族。列族是表的chema的一部分(而列不是),必須在使用表之前定義。列名都以列族作為前綴。例如courses:history , courses:math 都屬於 courses 這個列族。
訪問控制、磁盤和內存的使用統計都是在列族層面進行的。實際應用中,列族上的控制權限能 幫助我們管理不同類型的應用:我們允許一些應用可以添加新的基本數據、一些應用可以讀取基本數據並創建繼承的列族、一些應用則只允許瀏覽數據(甚至可能因 為隱私的原因不能瀏覽所有數據)。
時間戳
HBase中通過row和columns確定的為一個存貯單元稱為cell。每個 cell都保存着同一份數據的多個版本。版本通過時間戳來索引。時間戳的類型是 64位整型。時間戳可以由hbase(在數據寫入時自動 )賦值,此時時間戳是精確到毫秒的當前系統時間。時間戳也可以由客戶顯式賦值。如果應用程序要避免數據版本沖突,就必須自己生成具有唯一性的時間戳。每個 cell中,不同版本的數據按照時間倒序排序,即最新的數據排在最前面。
為了避免數據存在過多版本造成的的管理 (包括存貯和索引)負擔,hbase提供了兩種數據版本回收方式。一是保存數據的最后n個版本,二是保存最近一段時間內的版本(比如最近七天)。用戶可以針對每個列族進行設置。
Cell
由{row key, column( =<family> + <label>), version} 唯一確定的單元。cell中的數據是沒有類型的,全部是字節碼形式存貯。
三、Hbase region, store, storefile和列簇的關系
Hbase table中每個列簇都對應着region中的一個store,
1個region對應1個store
1個store對應多個storefile
在hdfs系統中則對應着一個目錄,如果列簇中尚無數據,怎該目錄為空,也就是該store下還沒有storefile。
四、設計
1、列簇的設計
l 列簇盡量少,最好不超過3個。因為每個列簇是存在一個獨立的HFile里的,flush和compaction操作都是針對一個Region進行的,當一個列簇的數據很多需要flush的時候,其它列簇即使數據很少也需要flush,這樣就產生的大量不必要的io操作。
l 在多列簇的情況下,注意各列簇數據的數量級要一致。如果兩個列簇的數量級相差太大,會使數量級少的列簇的數據掃描效率低下。
l 將經常查詢和不經常查詢的數據放到不同的列簇。
l 因為列簇和列的名字會存在HBase的每個Cell中,所以他們的名字應該盡可能的短。比如,用f:q代替mycolumnfamily:mycolumnqualifier
2、rowkey的設計
l 避免使用遞增的數字或時間做為rowkey。
l 如果rowkey是整型,用二進制的方式比用string來存儲更節約空間
l 合理的控制rowkey的長度,盡可能短,因為rowkey的數據也會存在每個Cell中。
l 如果需要將表預分裂為多個region是,最好自定義分裂的規則。