前言
HBase是一個分布式的、面向列的開源數據庫，該技術來源於 Fay Chang 所撰寫的Google論文“Bigtable：一個結構化數據的分布式存儲系統”。就像Bigtable利用了Google文件系統（File System）所提供的分布式數據存儲一樣，HBase在Hadoop之上提供了類似於Bigtable的能力。HBase是Apache的Hadoop項目的子項目。HBase不同於一般的關系數據庫，它是一個適合於非結構化數據存儲的數據庫。另一個不同的是HBase基於列的而不是基於行的模式。
一、Hadoop生太圈
通過Hadoop生態圈，可以看到HBase的身影，可見HBase在Hadoop的生態圈是扮演這一個重要的角色那就是 實時、分布式、高維數據 的數據存儲；
二、HBase簡介
– HBase – Hadoop Database，是一個高可靠性、高性能、面向列、可伸縮、 實時讀寫的分布式數據庫
– 利用Hadoop HDFS作為其文件存儲系統,利用Hadoop MapReduce來處理 HBase中的海量數據,利用Zookeeper作為其分布式協同服務
– 主要用來存儲非結構化和半結構化的松散數據（列存NoSQL數據庫）
三、HBase數據模型
以關系型數據的思維下會感覺，上面的表格是一個5列4行的數據表格，但是在HBase中這種理解是錯誤的，其實在HBase中上面的表格只是一行數據；
Row Key:
– 決定一行數據的唯一標識
– RowKey是按照字典順序排序的。
– Row key最多只能存儲64k的字節數據。
Column Family列族（CF1、CF2、CF3） & qualifier列：
– HBase表中的每個列都歸屬於某個列族，列族必須作為表模式(schema) 定義的一部分預先給出。如create ‘test’, ‘course’；
– 列名以列族作為前綴，每個“列族”都可以有多個列成員(column，每個列族中可以存放幾千~上千萬個列)；如 CF1:q1, CF2:qw,
新的列族成員（列）可以隨后按需、動態加入，Family下面可以有多個Qualifier，所以可以簡單的理解為，HBase中的列是二級列，
也就是說Family是第一級列，Qualifier是第二級列。兩個是父子關系。
– 權限控制、存儲以及調優都是在列族層面進行的；
– HBase把同一列族里面的數據存儲在同一目錄下，由幾個文件保存。
– 目前為止HBase的列族能能夠很好處理最多不超過3個列族。
Timestamp時間戳：
– 在HBase每個cell存儲單元對同一份數據有多個版本，根據唯一的時間 戳來區分每個版本之間的差異，不同版本的數據按照時間倒序排序，
最新的數據版本排在最前面。
– 時間戳的類型是64位整型。
– 時間戳可以由HBase(在數據寫入時自動)賦值，此時時間戳是精確到毫 秒的當前系統時間。
– 時間戳也可以由客戶顯式賦值，如果應用程序要避免數據版本沖突， 就必須自己生成具有唯一性的時間戳。
Cell單元格：
– 由行和列的坐標交叉決定；
– 單元格是有版本的（由時間戳來作為版本）；
– 單元格的內容是未解析的字節數組（Byte[]），cell中的數據是沒有類型的，全部是字節碼形式存貯。
• 由{row key，column(=<family> +<qualifier>)，version}唯一確定的單元。
例：下圖為 HBase 中一張表
- RowKey 為行的唯一標識，所有行按照 RowKey 的字典序進行排序；
- 該表具有兩個列族，分別是 personal 和 office;
- 其中列族 personal 擁有 name、city、phone 三個列，列族 office 擁有 tel、addres 兩個列。
Hbase 的表具有以下特點：
1、容量大：一個表可以有數十億行，上百萬列；
2、面向列：數據是按照列存儲，每一列都單獨存放，數據即索引，在查詢時可以只訪問指定列的數據，有效地降低了系統的 I/O 負擔；
3、稀疏性：空 (null) 列並不占用存儲空間，表可以設計的非常稀疏 ；
4、數據多版本：每個單元中的數據可以有多個版本，按照時間戳排序，新的數據在最上面；
5、存儲類型：所有數據的底層存儲格式都是字節數組 (byte[])。
四、HBase體系架構
Client
• 包含訪問HBase的接口並維護cache來加快對HBase的訪問
Zookeeper
• 保證任何時候，集群中只有一個master
• 存貯所有Region的尋址入口。
• 實時監控Region server的上線和下線信息。並實時通知Master
• 存儲HBase的schema和table元數據
Master
• 為Region server分配region
• 負責Region server的負載均衡
• 發現失效的Region server並重新分配其上的region
• 管理用戶對table的增刪改操作
RegionServer
• Region server維護region，處理對這些region的IO請求
• Region server負責切分在運行過程中變得過大的region
HLog(WAL log)：
– HLog文件就是一個普通的Hadoop Sequence File，Sequence File 的Key是 HLogKey對象，HLogKey中記錄了寫入數據的歸屬信息，
除了table和 region名字外，同時還包括sequence number和timestamp，timestamp是” 寫入時間”，sequence number的起始值為0，
或者是最近一次存入文件系 統中sequence number。
– HLog SequeceFile的Value是HBase的KeyValue對象，即對應HFile中的 KeyValue
Region
– HBase自動把表水平划分成多個區域(region)，每個region會保存一個表 里面某段連續的數據；每個表一開始只有一個region，隨着數據不斷插 入表，
region不斷增大，當增大到一個閥值的時候，region就會等分會 兩個新的region（裂變）；
– 當table中的行不斷增多，就會有越來越多的region。這樣一張完整的表 被保存在多個Regionserver上。
Memstore 與 storefile
– 一個region由多個store組成，一個store對應一個CF（列族）
– store包括位於內存中的memstore和位於磁盤的storefile寫操作先寫入 memstore，當memstore中的數據達到某個閾值，
hregionserver會啟動 flashcache進程寫入storefile，每次寫入形成單獨的一個storefile
– 當storefile文件的數量增長到一定閾值后，系統會進行合並（minor、 major compaction），在合並過程中會進行版本合並和刪除工作 （majar），
形成更大的storefile。
– 當一個region所有storefile的大小和超過一定閾值后，會把當前的region 分割為兩個，並由hmaster分配到相應的regionserver服務器，實現負載均衡。
– 客戶端檢索數據，先在memstore找，找不到再找storefile
– HRegion是HBase中分布式存儲和負載均衡的最小單元。最小單元就表 示不同的HRegion可以分布在不同的HRegion server上。
– HRegion由一個或者多個Store組成，每個store保存一個columns family。
– 每個Strore又由一個memStore和0至多個StoreFile組成。
如圖：StoreFile 以HFile格式保存在HDFS上。
五、Phoenix介紹
Phoenix 是 HBase 的開源 SQL 中間層，它允許你使用標准 JDBC 的方式來操作 HBase 上的數據。在 Phoenix 之前，如果你要訪問 HBase，只能調用它的 Java API，但相比於使用一行 SQL 就能實現數據查詢，HBase 的 API 還是過於復雜。Phoenix 的理念是 we put sql SQL back in NOSQL，即你可以使用標准的 SQL 就能完成對 HBase 上數據的操作。同時這也意味着你可以通過集成 Spring Data JPA 或 Mybatis 等常用的持久層框架來操作 HBase。
其次 Phoenix 的性能表現也非常優異，Phoenix 查詢引擎會將 SQL 查詢轉換為一個或多個 HBase Scan，通過並行執行來生成標准的 JDBC 結果集。它通過直接使用 HBase API 以及協處理器和自定義過濾器，可以為小型數據查詢提供毫秒級的性能，為千萬行數據的查詢提供秒級的性能。同時 Phoenix 還擁有二級索引等 HBase 不具備的特性，因為以上的優點，所以 Phoenix 成為了 HBase 最優秀的 SQL 中間層。
-END-
