Hbase 完全分布式 高可用 集群搭建

 

1、准備

Hadoop 版本：2.7.7

ZooKeeper 版本：3.4.14

Hbase 版本：2.0.5

 

四台主機： s0, s1, s2, s3

 

搭建目標如下：

HMaster：s0，s1（備份HMaster）

HRegionServer：s1, s2, s3

 

主機映射信息如下

192.168.32.100 s0
192.168.32.101 s1
192.168.32.102 s2
192.168.32.103 s3

 

Hadoop 安裝步驟參考（示例版本與HDFS端口配置略有差異，根據實際情況調整）：

https://www.cnblogs.com/jonban/p/hadoop.html

 

ZooKeeper 安裝步驟參考：

https://www.cnblogs.com/jonban/p/zookeeper.html

 

 

2、下載 hbase-2.0.5-bin.tar.gz

下載地址：

https://mirrors.tuna.tsinghua.edu.cn/apache/hbase/2.0.5/hbase-2.0.5-bin.tar.gz

 

3、解壓到 /opt 下

tar -zxvf hbase-2.0.5-bin.tar.gz -C /opt/

 

4、配置

進入到 /opt/hbase-2.0.5/conf 下

cd /opt/hbase-2.0.5/conf

 

① 修改 hbase-env.sh 文件，修改jdk配置和ZooKeeper配置，如下所示：

# The java implementation to use.  Java 1.8+ required.
export JAVA_HOME=/opt/jdk1.8.0_192

# Tell HBase whether it should manage it's own instance of ZooKeeper or not.
export HBASE_MANAGES_ZK=false

 

② 修改 hbase-site.xml 文件，內容如下：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://s0/hbase</value>
    </property>
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>
    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>s1,s2,s3</value>
    </property>
    <property>
        <name>hbase.zookeeper.property.clientPort</name>
        <value>2181</value>
    </property>
</configuration>

 

③ 修改 regionservers 文件 ，內容如下：

s1
s2
s3

 

④ 創建 backup-masters 文件

echo 's1' > backup-masters

 

⑤ 復制Hadoop 配置文件 hdfs-site.xml 和 core-site.xml 到Hbase配置目錄下

cp /opt/hadoop-2.7.7/etc/hadoop/hdfs-site.xml /opt/hbase-2.0.5/conf/
cp /opt/hadoop-2.7.7/etc/hadoop/core-site.xml /opt/hbase-2.0.5/conf/

 

 

5、遠程復制 hbase-2.0.5 安裝目錄到其它三台主機 s1, s2, s3  

scp -r /opt/hbase-2.0.5 root@s1:/opt/
scp -r /opt/hbase-2.0.5 root@s2:/opt/
scp -r /opt/hbase-2.0.5 root@s3:/opt/

 

 

6、配置環境變量

vi /etc/profile

 

添加如下內容：

export HBASE_HOME=/opt/hbase-2.0.5
export PATH=$PATH:$HBASE_HOME/bin

 

使用source命令使配置立即生效

source /etc/profile

 

 

7、啟動

啟動ZooKeeper 集群

zkServer.sh start

 

啟動 HDFS

start-dfs.sh

 

啟動Hbase

start-hbase.sh

 

 

8、查看狀態

在四台主機上分別輸入  jps  命令，查看集群狀態，內容如下：

[root@s0 conf]# jps
1632 NameNode
2024 HMaster

 

[root@s1 ~]# jps
1489 QuorumPeerMain
1607 HRegionServer
1449 DataNode
1674 HMaster

 

[root@s2 ~]# jps
1475 DataNode
1640 HRegionServer
1519 QuorumPeerMain

 

[root@s3 ~]# jps
1534 QuorumPeerMain
1487 DataNode
1647 HRegionServer

 

 

符合集群預期結果

HMaster：s0，s1（備份HMaster）
HRegionServer：s1, s2, s3

 

 

9、 驗證

瀏覽器輸入地址：

http://s0:16010

和

http://s1:16010

 

效果截圖如下：

 

 

下面是備份 HMaster，地址為自動跳轉

 

 

 

  

 

 

集群狀態完美！！！

 

 

 

Hbase 完全分布式 高可用 集群搭建

.