一、概述
HBase是一個分布式的、面向列的開源數據庫，該技術來源於 Fay Chang 所撰寫的Google論文“Bigtable：一個結構化數據的分布式存儲系統”。就像Bigtable利用了Google文件系統（File System）所提供的分布式數據存儲一樣，HBase在Hadoop之上提供了類似於Bigtable的能力。HBase是Apache的Hadoop項目的子項目。HBase不同於一般的關系數據庫，它是一個適合於非結構化數據存儲的數據庫。另一個不同的是HBase基於列的而不是基於行的模式。
Hadoop生太圈
通過Hadoop生態圈，可以看到HBase的身影，可見HBase在Hadoop的生態圈是扮演這一個重要的角色那就是 實時、分布式、高維數據 的數據存儲；
HBase簡介
- HBase – Hadoop Database，是一個高可靠性、高性能、面向列、可伸縮、 實時讀寫的分布式數據庫
- 利用Hadoop HDFS作為其文件存儲系統,利用Hadoop MapReduce來處理 HBase中的海量數據,利用Zookeeper作為其分布式協同服務
- 主要用來存儲非結構化和半結構化的松散數據（列存NoSQL數據庫）
HBase數據模型
以關系型數據的思維下會感覺，上面的表格是一個5列4行的數據表格，但是在HBase中這種理解是錯誤的，其實在HBase中上面的表格只是一行數據；
Row Key:
– 決定一行數據的唯一標識
– RowKey是按照字典順序排序的。
– Row key最多只能存儲64k的字節數據。
Column Family列族（CF1、CF2、CF3） & qualifier列：
– HBase表中的每個列都歸屬於某個列族，列族必須作為表模式(schema) 定義的一部分預先給出。如create ‘test’, ‘course’；
– 列名以列族作為前綴，每個“列族”都可以有多個列成員(column，每個列族中可以存放幾千~上千萬個列)；如 CF1:q1, CF2:qw,
新的列族成員（列）可以隨后按需、動態加入，Family下面可以有多個Qualifier，所以可以簡單的理解為，HBase中的列是二級列，
也就是說Family是第一級列，Qualifier是第二級列。兩個是父子關系。
– 權限控制、存儲以及調優都是在列族層面進行的；
– HBase把同一列族里面的數據存儲在同一目錄下，由幾個文件保存。
– 目前為止HBase的列族能能夠很好處理最多不超過3個列族。
Timestamp時間戳：
– 在HBase每個cell存儲單元對同一份數據有多個版本，根據唯一的時間 戳來區分每個版本之間的差異，不同版本的數據按照時間倒序排序，
最新的數據版本排在最前面。
– 時間戳的類型是64位整型。
– 時間戳可以由HBase(在數據寫入時自動)賦值，此時時間戳是精確到毫 秒的當前系統時間。
– 時間戳也可以由客戶顯式賦值，如果應用程序要避免數據版本沖突， 就必須自己生成具有唯一性的時間戳。
Cell單元格：
– 由行和列的坐標交叉決定；
– 單元格是有版本的（由時間戳來作為版本）；
– 單元格的內容是未解析的字節數組（Byte[]），cell中的數據是沒有類型的，全部是字節碼形式存貯。
• 由{row key，column(=<family> +<qualifier>)，version}唯一確定的單元。
HBase體系架構
Client
• 包含訪問HBase的接口並維護cache來加快對HBase的訪問
Zookeeper
• 保證任何時候，集群中只有一個master
• 存貯所有Region的尋址入口。
• 實時監控Region server的上線和下線信息。並實時通知Master
• 存儲HBase的schema和table元數據
Master
• 為Region server分配region
• 負責Region server的負載均衡
• 發現失效的Region server並重新分配其上的region
• 管理用戶對table的增刪改操作
RegionServer
• Region server維護region，處理對這些region的IO請求
• Region server負責切分在運行過程中變得過大的region
HLog(WAL log)：
– HLog文件就是一個普通的Hadoop Sequence File，Sequence File 的Key是 HLogKey對象，HLogKey中記錄了寫入數據的歸屬信息，
除了table和 region名字外，同時還包括sequence number和timestamp，timestamp是” 寫入時間”，sequence number的起始值為0，
或者是最近一次存入文件系 統中sequence number。
– HLog SequeceFile的Value是HBase的KeyValue對象，即對應HFile中的 KeyValue
Region
– HBase自動把表水平划分成多個區域(region)，每個region會保存一個表 里面某段連續的數據；每個表一開始只有一個region，隨着數據不斷插 入表，
region不斷增大，當增大到一個閥值的時候，region就會等分會 兩個新的region（裂變）；
– 當table中的行不斷增多，就會有越來越多的region。這樣一張完整的表 被保存在多個Regionserver上。
Memstore 與 storefile
– 一個region由多個store組成，一個store對應一個CF（列族）
– store包括位於內存中的memstore和位於磁盤的storefile寫操作先寫入 memstore，當memstore中的數據達到某個閾值，
hregionserver會啟動 flashcache進程寫入storefile，每次寫入形成單獨的一個storefile
– 當storefile文件的數量增長到一定閾值后，系統會進行合並（minor、 major compaction），在合並過程中會進行版本合並和刪除工作 （majar），
形成更大的storefile。
– 當一個region所有storefile的大小和超過一定閾值后，會把當前的region 分割為兩個，並由hmaster分配到相應的regionserver服務器，實現負載均衡。
– 客戶端檢索數據，先在memstore找，找不到再找storefile
– HRegion是HBase中分布式存儲和負載均衡的最小單元。最小單元就表 示不同的HRegion可以分布在不同的HRegion server上。
– HRegion由一個或者多個Store組成，每個store保存一個columns family。
– 每個Strore又由一個memStore和0至多個StoreFile組成。
如圖：StoreFile 以HFile格式保存在HDFS上。
二、docker部署
環境說明
| 操作系統 | docker版本 | ip地址 | 配置 |
| centos 7.6 | 19.03.12 | 192.168.31.229 | 4核8g |
軟件版本
| 軟件 | 版本 |
| openjdk | java-8-openjdk-amd64 |
| hadoop | 2.9.2 |
| hbase | 1.3.6 |
| zookeeper | 3.4.14 |
說明：openjdk直接用apt-get 在線安裝，其他軟件從官網下載即可。
目錄結構
cd /opt/ git clone https://github.com/py3study/hadoop-hbase.git
/opt/hadoop-hbase 目錄結構如下：
./ ├── config │ ├── core-site.xml │ ├── hadoop-env.sh │ ├── hbase-env.sh │ ├── hbase-site.xml │ ├── hdfs-site.xml │ ├── mapred-site.xml │ ├── regionservers │ ├── run-wordcount.sh │ ├── slaves │ ├── ssh_config │ ├── start-hadoop.sh │ ├── yarn-site.xml │ └── zoo.cfg ├── Dockerfile ├── hadoop-2.9.2.tar.gz ├── hbase-1.3.6-bin.tar.gz ├── README.md ├── run.sh ├── sources.list ├── start-container1.sh ├── start-container2.sh └── zookeeper-3.4.14.tar.gz
由於軟件包比較大，需要使用迅雷下載，下載地址如下：
https://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.9.2/hadoop-2.9.2.tar.gz https://mirror.bit.edu.cn/apache/hbase/hbase-1.3.6/hbase-1.3.6-bin.tar.gz https://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gz
構建鏡像
docker build -t hadoop-hbase:1 .
創建數據目錄
mkdir -p /data/hadoop-cluster/master/ /data/hadoop-cluster/slave{1,2}/
創建網橋
docker network create hadoop
運行鏡像
cd /opt/hadoop-hbase bash start-container1.sh
拷貝hdfs文件到宿主機目錄
docker cp hadoop-master:/root/hdfs /data/hadoop-cluster/master/ docker cp hadoop-slave1:/root/hdfs /data/hadoop-cluster/slave1/ docker cp hadoop-slave2:/root/hdfs /data/hadoop-cluster/slave2/
拷貝zookeeper文件到宿主機目錄
docker cp hadoop-master:/usr/local/zookeeper/data /data/hadoop-cluster/master/zookeeper docker cp hadoop-slave1:/usr/local/zookeeper/data /data/hadoop-cluster/slave1/zookeeper docker cp hadoop-slave2:/usr/local/zookeeper/data /data/hadoop-cluster/slave2/zookeeper
使用第2個腳本，掛載宿主機目錄，運行鏡像
bash start-container2.sh
開啟hadoop
啟動hadoop集群
bash start-hadoop.sh
注意：這一步會ssh連接到每一個節點，確保ssh信任是正常的。
Hadoop的啟動速度取決於機器性能
運行wordcount
先等待1分鍾，再執行命令：
bash run-wordcount.sh
此腳本會連接到fdfs，並生成幾個測試文件。
運行結果：
... input file1.txt: Hello Hadoop input file2.txt: Hello Docker wordcount output: Docker 1 Hadoop 1 Hello 2
wordcount的執行速度取決於機器性能
關閉安全模式
執行命令：
hadoop dfsadmin -safemode leave
啟動hbase
/usr/local/hbase/bin/start-hbase.sh
注意：等待3分鍾，因為啟動要一定的時間。
進入hbase shell
/usr/local/hbase/bin/hbase shell
三、HBase的Shell命令
查看列表
hbase(main):001:0> list TABLE users users_tmp 2 row(s) in 0.2370 seconds
如果出現
ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing
說明hbase集群還沒有啟動好，需要等待一段時間。
創建表
hbase(main):002:0> create 'users','user_id','address','info' 0 row(s) in 4.6300 seconds => Hbase::Table - users
添加記錄
hbase(main):002:0> put 'users','xiaoming','info:birthday','1987-06-17' 0 row(s) in 0.1910 seconds
獲取記錄
取得一個id的所有數據
hbase(main):003:0> get 'users','xiaoming' COLUMN CELL info:birthday timestamp=1594003730408, value=1987-06-17 1 row(s) in 0.0710 seconds
更新記錄
hbase(main):004:0> put 'users','xiaoming','info:age' ,'' 0 row(s) in 0.0150 seconds hbase(main):005:0> get 'users','xiaoming','info:age' COLUMN CELL info:age timestamp=1594003806409, value= 1 row(s) in 0.0170 seconds
獲取單元格數據的版本數據
hbase(main):006:0> get 'users','xiaoming',{COLUMN=>'info:age',VERSIONS=>1} COLUMN CELL info:age timestamp=1594003806409, value= 1 row(s) in 0.0040 seconds
全表掃描
hbase(main):007:0> scan 'users' ROW COLUMN+CELL xiaoming column=info:age, timestamp=1594003806409, value= xiaoming column=info:birthday, timestamp=1594003730408, value=1987-06-17 1 row(s) in 0.0340 seconds
刪除
刪除xiaoming值的'info:age'字段：
hbase(main):008:0> delete 'users','xiaoming','info:age' 0 row(s) in 0.0340 seconds hbase(main):009:0> get 'users','xiaoming' COLUMN CELL info:birthday timestamp=1594003730408, value=1987-06-17 1 row(s) in 0.0110 seconds
刪除整行
hbase(main):010:0> deleteall 'users','xiaoming' 0 row(s) in 0.0170 seconds
統計表的行數
hbase(main):011:0> count 'users' 0 row(s) in 0.0260 seconds
清空表：
hbase(main):012:0> truncate 'users' Truncating 'users' table (it may take a while): - Disabling table... - Truncating table... 0 row(s) in 4.2520 seconds
四、web服務驗證
hadoop管理頁面
http://ip地址:8088/
效果如下：
hdfs 管理頁面
http://ip地址:50070/
效果如下：
hbase 管理頁面
http://ip地址:16010/
效果如下：
注意：這里出現的 2 nodes with inconsistent version，不用理會，不影響正常運行。
參考鏈接：https://developer.aliyun.com/ask/136178?spm=a2c6h.13159736
本文參考鏈接：
https://www.cnblogs.com/raphael5200/p/5229164.html
https://blog.csdn.net/qq_32440951/article/details/80803729
https://www.jianshu.com/p/a1524dccb1e4
https://www.bbsmax.com/A/6pdDLqOGdw/