一、HBase簡介
1.1.Hadoop生態系統
1.2.非關系型數據庫知識面擴展
- Cassandra hbase mongodb
- Couchdb，文件存儲數據庫
- Neo4j非關系型圖數據庫
1.3.Hbase初始
- Hadoop Database，是一個高可靠性、高性能、面向列、可伸縮、實時讀寫的分布式數據庫
- 利用Hadoop HDFS作為其文件存儲系統,利用Hadoop MapReduce來處理HBase中的海量數據,利用Zookeeper作為其分布式協同服務
- 主要用來存儲非結構化和半結構化的松散數據（列存 NoSQL 數據庫）
二、HBase數據模型
圖2.1 邏輯形式圖
一張類似這樣的表，確定一個value必須有RowKey,Time Stamp,column Family,column key
2.1.1.ROW KEY
– 決定一行數據
– 按照字典順序排序的。
– Row key只能存儲64k的字節數據
2.1.2.Column Family列族 & qualifier列
– HBase表中的每個列都歸屬於某個列族，列族必須作為表模式(schema)定義的一
部分預先給出。如 create ‘test’, ‘course’；
– 列名以列族作為前綴，每個“列族”都可以有多個列成員(column)；如course:math,
course:english, 新的列族成員（列）可以隨后按需、動態加入；
– 權限控制、存儲以及調優都是在列族層面進行的；
– HBase把同一列族里面的數據存儲在同一目錄下，由幾個文件保存。
2.1.3.Timestamp時間戳
– 在HBase每個cell存儲單元對同一份數據有多個版本，根據唯一
的時間戳來區分每個版本之間的差異，不同版本的數據按照時
間倒序排序，最新的數據版本排在最前面。
– 時間戳的類型是 64位整型。
– 時間戳可以由HBase(在數據寫入時自動)賦值，此時時間戳是精
確到毫秒的當前系統時間。
– 時間戳也可以由客戶顯式賦值，如果應用程序要避免數據版本
沖突，就必須自己生成具有唯一性的時間戳。
2.1.4.Cell單元格
– 由行和列的坐標交叉決定；
– 單元格是有版本的；
– 單元格的內容是未解析的字節數組；
▪ 由{row key， column( =<family> +<qualifier>)， version} 唯一確定的
單元。
▪ cell中的數據是沒有類型的，全部是字節數組形式存貯。
圖 2-2 Hbase架構圖
2.2.1.Client
▪ 包含訪問HBase的接口並維護cache來加快對HBase的訪問
2.2.2.Zookeeper
▪ 保證任何時候，集群中只有一個活躍master
▪ 存貯所有Region的尋址入口。
▪ 實時監控Region server的上線和下線信息。並實時通知Master
▪ 存儲HBase的schema和table元數據
2.2.3.Master
– 為Region server分配region
– 負責Region server的負載均衡
– 發現失效的Region server並重新分配其上的region
– 管理用戶對table的增刪改操作
2.2.4. RegionServer
– Region server維護region，處理對這些region的IO請求
– Region server負責切分在運行過程中變得過大的region
2.2.5.Memstore 與 storefile
– 一個region由多個store組成，一個store對應一個CF（列族）
– store包括位於內存中的memstore和位於磁盤的storefile寫操作先寫入memstore，
當memstore中的數據達到某個閾值，hregionserver會啟動flashcache進程寫入
storefile，每次寫入形成單獨的一個storefile
– 當storefile文件的數量增長到一定閾值后，系統會進行合並（minor、major
compaction），在合並過程中會進行版本合並和刪除工作（majar），形成更大
的storefile
– 當一個region所有storefile的大小和數量超過一定閾值后，會把當前的region分割
為兩個，並由hmaster分配到相應的regionserver服務器，實現負載均衡
– 客戶端檢索數據，先在memstore找，找不到去blockcache，找不到再找storefile
▪ HRegion是HBase中分布式存儲和負載均衡的最小單元。最小單元就表示不同的HRegion
可以分布在不同的 HRegion server上。
▪ HRegion由一個或者多個Store組成，每個store保存一個columns family。
▪ 每個Strore又由一個memStore和0至多個StoreFile組成。如圖：StoreFile以HFile格式保存
在HDFS上。
圖 2-3 Region & Store 關系圖
圖 2-4 關系圖（二）