HBase的簡介
-
HBase – Hadoop Database,是一個高可靠性、高性能、面向列、可伸縮、實時讀寫的分布式數據庫
面向列 -- 面向列族
HBase中的數據是 K-V 格式的 其中
K --
rowkey(rk)
V 是由很多部分構成的,其中就有
Column Family
(列族 簡稱 CF)而列族是由
qualifier
(列)組成的半結構化 -- 每一行數據的格式可能不一樣
-
利用Hadoop HDFS作為其文件存儲系統,利用Hadoop MapReduce來處理HBase中的海量數據,利用Zookeeper作為其分布式協同服務
HBase有自己專屬的一種數據格式
HFile
元數據存儲在 Zookeeper 上
數據存儲在 HDFS 上
-
主要用來存儲非結構化和半結構化的松散數據(列存儲 NoSQL 數據庫)
-
HBase也是主從架構
主節點 --
HMaster
從節點 --
HRegionServer
HBase的搭建
時間要同步
yum install ntp -y
1、啟動Hadoop
start-all.sh
// 驗證
1、通過HDFS的web界面
http://master:50070
2、查看進程
jps
2、啟動zookeeper
// 需要在在三台中分別啟動
zkServer.sh start
// 查看狀態
zkServer.sh status
3、搭建HBase
4、上傳並解壓
// 通過Xftp上傳
cd /usr/local/module
// 解壓
tar -zxvf /usr/local/module/hbase-1.4.6-bin.tar.gz -C /usr/local/soft/
5、配置環境變量
vim /etc/profile
HBASE_HOME=/usr/local/soft/hbase-1.4.6
export PATH=$HBASE_HOME/bin:$PATH
source /etc/profile
6、修改配置文件
/usr/local/soft/hbase-1.4.6/conf
// hbase-env.sh
// 增加java配置
export JAVA_HOME=/usr/local/soft/jdk1.8.0_171
// 關閉默認原生自帶的zk配置
export HBASE_MANAGES_ZK=false
// hbase-site.xml
<property>
// HBase在HDFS上的存儲路徑
<name>hbase.rootdir</name>
<value>hdfs://master:9000/hbase</value>
</property>
<property>
// 設置HBase為集群模式
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
// 設置Zookeeper的三個節點
<name>hbase.zookeeper.quorum</name>
<value>node1,node2,master</value>
</property>
// regionservers
// 增加
node1
node2
7、同步到所有節點(如果是偽分布式不需要同步)
scp -r hbase-1.4.6/ node1:`pwd`
scp -r hbase-1.4.6/ node2:`pwd`
8、啟動/停止 hbase 集群
在主節點master 啟動/停止 即可
第一次啟動需要等HBASE初始化一會
// 啟動
start-hbase.sh
// 停止
stop-hbase.sh
9、通過HBase的web界面 驗證hbase
master:16010
重置hbase
hbase 搭建失敗了 不知道問題出在哪里
1、關閉hbase集群
stop-hbase.sh
2、刪除數據 hdfs
hdfs dfs -rmr /hbase
3、刪除元數據 zk
zkCli.sh
rmr /hbase
4、重新啟動hbase
start-hbase.sh
// 注意時間要同步
yum install ntp -y
HBase日志文件所在的目錄
/usr/local/soft/hbase-1.4.6/logs
進入/退出HBase的shell
// 進入
hbase shell
// 退出
exit
HBase的web界面
master:16010