Hbase概念原理掃盲

本文轉載自查看原文 2019-12-27 23:39 290 大數據掃盲

一、Hbase簡介

1、什么是Hbase

Hbase的原型是google的BigTable論文，收到了該論文思想的啟發，目前作為hadoop的子項目來開發維護，用於支持結構化的數據存儲。

Hbase是一個高可靠性（存儲在hdfs上，有副本機制），高性能，面向列，非關系型的數據庫（類似redis），可伸縮的分布式存儲系統（因為是存儲在hdfs上），利用hbase技術可在廉價PC server上搭建大規模結構化的數據庫存儲集群。

Hbase的目標是存儲並處理大型的數據，更具體來說僅需使用普通的硬件，就能夠處理由成千上萬行和列所組成的大型數據。

Hbase是基於hdfs構建的分布式存儲框架，但是Hbase在hdfs上實現隨機的讀寫改，解決了hdfs不支持的東西

2、Hbase的特點

A、海量存儲

B、列式存儲

這里的列式存儲其實說的是列族存儲，Hbase是根據列族來存儲數據的，列族下面可以有非常多的列，列族在創建表的時候必須指定

Hbase中的列和mysql的列不是一個東西，Hbase的列就是他的數據

C、極易擴展

Hbase的擴展性主要體現在兩個方面，一個是基於上層的梳理能力的擴展（RegionServer，相當於datanode，處理讀寫請求），一個是基於存儲的擴展（hdfs）

通過橫向添加RegionServer的機器，進行水平擴展，提升Hbase上層的處理能力，提升Hbase服務更多的Region的能力。

備注：RegionServer的作用是管理Region）（類似mysql中的表的概念），承接客戶端的讀寫請求的訪問，這個后面會詳細的介紹通過橫向添加datanode的機器，進行存儲層的擴容，提升Bhbase的存儲能力和提升后端存儲的讀寫能力

D、稀疏

稀疏主要是針對於hbase列的靈活性，在列族中，你可以指定任意多的列，在列數據為空的情況下，是不會占用存儲空間的，這里和mysql等數據庫不一樣，mysql如果每個字段沒有值，那這個字段的值為null，不為空，且會占用存儲空間

3、Hbase的架構

Hbase的架構示意圖如下

Hbase由HMaster和HRegionServer組成，HMaster的高可用也依賴於zk，類似於hdfs中的Namenode;

HRegionServer相當於hdfs中的datanode，實際處理讀寫請求的節點;

a、Zookeeper

HBase通過zk來做Hmaster的高可用，RegionServer的監控，元數據的入口以及集群配置的維護等工作，具體工作入下

通過zk來保證集群中只有一個master在運行，如果master異常，會通過競爭機制產生新的master提供服務

通過zk來監控RegionServer的狀態，當RegionServer有異常的時候，通過回調的形式通知master,RegionServer上下線的信息

通過zk存儲元數據的統一入口地址；

b、HMaster

為RegionServer分配Region

維護集群的負載均衡，就是分配Region

維護集群的元數據信息

發現失效的Region，並將失效的Region分配到正常的RegionServer上

當RegionServer失效的時候，協調對應的Hlog和hdfs的block進行數據恢復

C、HRegionServer

HRegionServer直接對接用戶的讀寫請求，是真正的干活的節點，他的功能概括如下

管理master為其分配的Region

處理來自客戶端的讀寫請求

負責和底層hdfs的交互，存儲數據到hdfs中

負責Region變大后的拆分

負責Storefile的合並工作

D、HDFS

Hdfs為hbase提供最終的底層數據存儲服務

提供元數據和表數據的底層分布式存儲服務

數據的多副本，保證高可靠和高可用

E、Hlog

一個HRegionServer中只有一個Hlog，Hlog相當於hdfs中的edits文件，保存Hbase的修改記錄，當對Hbase寫數據的時候，數據不是直接寫進磁盤，他會在內存中保留一段時間（時間i將數據量的閾值可以設定）。但把數據保存在內存中可能有更高的概率引起數據丟失，為了解決這個問題，數據會先寫在一個叫做Hlog的文件中，Hlog存儲在磁盤上，也位於hdfs上，然后在寫入內存，所以在系統出現故障或者內存丟失的時候，數據可以通過這個日志文件進行重建

F、Region

Region相當於mysql中的表，一個HRegionServer可以有多個Region，一個HRegionServer會有多個Region；如果表的數據太大，會進行拆分，按照數據量平均切分，所有HBase中的一張表會對應一個或者多個Region，當表的內容很小，一張表就對應一個Region，如果表很大的話，則這個Region會切分，切分Region會同時拆分這個Region的所有Store。

G、Store

Store相當於列族，通俗的講就是列的家族，在hbase中，想創建一個列，必須要指定列族，也就是一個列必須屬於某個列族。一個表中可以有多個列族，一個store對應一個列族，hbase官方不建議多個列族，一個列族就可以搞上百個列，足夠用了。但是如果一個HRegion被切分的話，是切分列族，所以就算一個HRegion只有一個列表，切分后一個Region也會對應多個Store，多個strore會被分配到其他的HRegionServer節點進行存儲

H、MemStore

MemStore就是列族中的數據放在內存中，寫數據來了，會寫到內存中，只要內存寫入成功，則就返回。

I、StoreFile

StoreFile，數據放在內存不安全，而且有大小限制，所以需要把內存中的數據寫到磁盤中，以Hfile的格式存儲在hdfs上。每次memstore刷一次，形成一個storefile，所以storefile會很多，但是很小，因為內存本身就不大，后面storeFile也會合並，但是這個合並也僅僅是一個列族內部的StoreFile進行合並，不會跨列族合並的

J、HFile

這是磁盤上保存的原始數據的實際的物理文件，是實際的存儲文件，storefile是以Hfile的形式存儲在hdfs中

二、Hbase安裝

1、首先要安裝zk

2、然后要安裝hdfs

3、最后在安裝hbase

4、解壓，修改配置文件

這里重點說下修改配置文件，前面的就不說了，因為我在實際使用過程中使用ambari工具來進行安裝

首先修改hbase-env.sh

配置java的環境變量

export JAVA_HOME=/usr/lib/jvm/java

配置zk，Hbase也是強依賴於zookeeper的，是否要啟用自己的zookeeper。如果用則為true，如果用外部的zookeeper，則為false

export HBASE_MANAGES_ZK=false

配置hbase-site.xml

<property>
      <name>hbase.rootdir</name>
      <value>/apps/hbase/data</value>
    </property>

配置hbase是否啟用集群

    <property>
      <name>hbase.cluster.distributed</name>
      <value>true</value>
    </property>

設置Hbase的服務的端口號，不是 web的端口號，web的端口號是16010

  <property>
      <name>hbase.master.info.port</name>
      <value>16010</value>
    </property>

    <property>
      <name>hbase.master.port</name>
      <value>16000</value>
    </property>

配置要連接的zk

   <property>
      <name>hbase.zookeeper.quorum</name>
      <value>abdi1,abdi2,abdi3</value>
    </property>

Zk存儲數據的父目錄，主要是為了區分多個hbase集群

    <property>
      <name>zookeeper.znode.parent</name>
      <value>/hbase-unsecure</value>
    </property>

配置regionservers文件

指定RegionServer的節點

由於hbase是強依賴於hdfs的，需要拷貝hdfs的配置文件到hbase的conf目錄

我們一般情況會這樣操作，創建一個軟鏈接，鏈接到hdfs的core-site.xml和hdfs-site.xml中，就是讓hbase知道我要連接哪個hadoop集群

但是在ambari安裝的hbase的配置文件中沒有找到相應的配置，但是在hbase啟動的時候有加載hdfs的環境變量

啟動hbase，可以看到有Hmaster和HRegionServer的java進程

ambari的web頁面顯示效果如下

注意：Hbase的Master和RegionServer安裝是一樣的，只是看我們是否要啟動master

Hbase的web頁面，采用16010端口

三、Hbase的簡單shell操作

1、進入hbase shell

[root@abdi2 bin]# /usr/hdp/current/hbase-client/bin/hbase shell

2、查看當前有哪些表：list

hbase(main):003:0> list
TABLE                                                                                                                                                                                                                                                                         
0 row(s)
Took 0.2713 seconds                                                                                                                                                                                                                                                           
=> []
hbase(main):004:0>

3、創建表操作。這里的列族是必須要指定的，就是和mysql的列一樣:create "student","info"

hbase(main):004:0> create "student","info"
Created table student
Took 1.3445 seconds                                                                                                                                                                                                                                                           
=> Hbase::Table - student
hbase(main):005:0> 
hbase(main):006:0> list
TABLE                                                                                                                                                                                                                                                                         
student                                                                                                                                                                                                                                                                       
1 row(s)
Took 0.0055 seconds                                                                                                                                                                                                                                                           
=> ["student"]

4、插入數據。Hbase中的數據沒有什么類型，比如字符串，hash等，全部是字節:put "student","1001","info:name","laowang"

hbase(main):007:0> put "student","1001","info:name","laowang"
Took 0.1217 seconds                                                                                                                                                                                                                                                           
hbase(main):008:0> put "student","1001","info:age","18"
Took 0.0038 seconds                                                                                                                                                                                                                                                           
hbase(main):009:0> put "student","1001","info:sex","male"
Took 0.0049 seconds                                                                                                                                                                                                                                                           
hbase(main):010:0> put "student","1002","info:name","laoluo"
Took 0.0036 seconds                                                                                                                                                                                                                                                           
hbase(main):011:0> put "student","1002","info:age","20"
Took 0.0035 seconds