Zookeeper介紹及安裝部署

本節內容：

• Zookeeper介紹
• Zookeeper特點
• Zookeeper應用場景
• 用到了Zookeeper的一些系統
• Zookeeper集群安裝部署

 

一、Zookeeper介紹

• 是一個針對大型分布式系統的可靠協調系統；
• 提供的功能包括：配置維護、名字服務、分布式同步、組服務等；
• 目標就是封裝好復雜易出錯的關鍵職務，將簡單易用的接口和性能高效、功能穩定的系統提供給用戶；
• Zookeeper已經成為Hadoop生態系統中的基礎組件。

 

二、Zookeeper特點

• 最終一致性：為客戶端展示同一視圖，這是Zookeeper最重要的性能；
• 可靠性：如果消息被一台服務器接受，那么它將被所有的服務器接受；
• 原子性：更新只能成功或失敗，沒有中間狀態；

 

三、Zookeeper應用場景

1. 統一命名服務
（1）分布式環境下，經常需要對應用/服務進行統一命名，便於識別不同的服務

• 類似於域名與ip之間對應關系，域名容易記住；
• 通過名稱來獲取資源或服務的地址，提供者信息。

（2）按照層次結構組織服務/應用名稱

• 可將服務名稱以及地址信息寫在Zookeeper上，客戶端通過Zookeeper獲取可用服務列表。

2. 配置管理
（1）分布式環境下，配置文件管理和同步是一個常見問題

• 一個集群中，所有節點的配置信息是一致的，比如Hadoop；
• 對配置文件修改后，希望能夠快速同步到各個節點上。

（2）配置管理可交由Zookeeper實現

• 可將配置信息寫入Zookeeper的一個znode上；
• 各個節點監聽這個znode
• 一旦znode中的數據被修改，Zookeeper將會通知各個節點。

3. 集群管理
（1）分布式環境下，實時掌握每個節點的狀態是必要的

• 可根據節點實時狀態做出一些調整。

（2）可交由Zookeeper實現

• 可將節點信息寫入Zookeeper的一個znode上；
• 監聽這個znode可獲得它的實時狀態變化。

（3）典型應用

• HBase中Master狀態的監控與選舉。

4. 分布式通知/協調
原理其實就是發布/訂閱。
（1）分布式環境下經常存在一個服務需要知道它所管理的子服務的狀態

• NameNode需要知道各DataNode的狀態

（2）心跳檢測機制可通過Zookeeper實現

（3）信息推送可由Zookeeper實現(發布/訂閱模式)

5. 分布式鎖
（1）Zookeeper是強一致性的

• 多個客戶端同時在Zookeeper上創建相同znode，只有一個創建成功。

（2）實現鎖的獨占性

• 多個客戶端同時在Zookeeper上創建相同znode，創建成功的那個客戶端得到鎖，其他客戶端等待。

（3）控制鎖的時序

• 各個客戶端在某個znode下創建臨時znode(類型為CreateMode.EPHEMERAL_SEQUENTIAL)，這樣，該znode可掌握全局訪問時序。

 

四、用到了Zookeeper的一些系統

• HDFS
• YARN
• Storm
• HBase
• Flume
• Dubbo
• metaq

 

五、Zookeeper集群安裝部署

下面開始介紹Zookeeper的安裝部署。安裝部署分三種模式：單機模式、偽分布式模式和分布式模式。單機模式和為分布式比較簡單，多用於本地測試調試，下面介紹分布式模式安裝部署。

注意：3台機器都需要安裝zk。對於Zookeeper集群的話，官方推薦的最小節點數為3個。

1. 環境信息

主機名	操作系統版本	IP地址	安裝軟件
console	CentOS 7.0	114.55.29.246	JDK1.7、zookeeper-3.4.6
log1	CentOS 7.0	114.55.29.86	JDK1.7、zookeeper-3.4.6
log2	CentOS 7.0	114.55.29.241	JDK1.7、zookeeper-3.4.6

 

 

 

 

2. 安裝jdk1.7

3台機器都需要安裝jdk1.7

[root@log1 local]# mkdir /usr/java
[root@log1 local]# tar zxf jdk-7u80-linux-x64.gz -C /usr/java/
[root@log1 local]# vim /etc/profile
export JAVA_HOME=/usr/java/jdk1.7.0_80
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
[root@log1 local]# source /etc/profile

 

3. 安裝配置zk

（1）配置zk節點的hosts文件：配置3台機器的ip地址和主機名的對應關系。以下以console主機為例，其hosts文件添加下面3行：

114.55.29.246 console
114.55.29.86 log1
114.55.29.241 log2

（2）解壓安裝配置第一台zk

[root@console local]# tar zxf zookeeper-3.4.6.tar.gz
[root@console local]# cd zookeeper-3.4.6

創建快照日志存放目錄：

[root@console zookeeper-3.4.6]# mkdir -p dataDir 

創建事務日志存放目錄：

[root@console zookeeper-3.4.6]# mkdir dataLogDir

【注意】:如果不配置dataLogDir，那么事務日志也會寫在dataDir目錄中。這樣會嚴重影響zk的性能。因為在zk吞吐量很高的時候，產生的事務日志和快照日志太多。

修改配置文件，添加如下內容：

[root@console zookeeper-3.4.6]# cd conf 
[root@console conf]# mv zoo_sample.cfg zoo.cfg 
[root@console conf]# vim zoo.cfg
# 存放數據文件
dataDir=/usr/local/zookeeper-3.4.6/dataDir
# 存放日志文件
dataLogDir=/usr/local/zookeeper-3.4.6/dataLogDir
# zookeeper cluster，2888為選舉端口，3888為心跳端口
server.1=console:2888:3888
server.2=log1:2888:3888
server.3=log2:2888:3888

在我們配置的dataDir指定的目錄下面，創建一個myid文件，里面內容為一個數字，用來標識當前主機，conf/zoo.cfg文件中配置的server.X中X為什么數字，則myid文件中就輸入這個數字：

[root@console ~]# echo "1" > /usr/local/zookeeper-3.4.6/dataDir/myid

（3）遠程復制第一台的zk到另外兩台上，並修改myid文件為2和3

[root@console local]# scp -rp zookeeper-3.4.6 root@114.55.29.86:/usr/local/
[root@console local]# scp -rp zookeeper-3.4.6 root@114.55.29.241:/usr/local/

 

4. 啟動和關閉zk

在ZooKeeper集群的每個結點上，執行啟動ZooKeeper服務的腳本，如下所示：

[root@console bin]# ./zkServer.sh start 
[root@log1 bin]# ./zkServer.sh start
[root@log2 bin]# ./zkServer.sh start

日志可查詢：/usr/local/zookeeper-3.4.6/bin/zookeeper.out

可以通過命令jps查看Zookeeper進程：

停止zk命令：

# /usr/local/zookeeper-3.4.6/bin/zkServer.sh stop

 

5. 測試zk集群

可以通過ZooKeeper的腳本來查看啟動狀態，包括集群中各個結點的角色（或是Leader，或是Follower）

[root@console bin]# ./zkServer.sh status
JMX enabled by default
Using config: /usr/local/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode: follower
[root@log1 bin]# ./zkServer.sh status
JMX enabled by default
Using config: /usr/local/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode: leader
[root@log2 bin]# ./zkServer.sh status
JMX enabled by default
Using config: /usr/local/zookeeper-3.4.6/bin/../conf/zoo.cfg
Mode: follower

通過上面狀態查詢結果可見，log1是集群的Leader，其余的兩個結點是Follower。

另外，可以通過客戶端腳本，連接到ZooKeeper集群上。對於客戶端來說，ZooKeeper是一個整體，連接到ZooKeeper集群實際上感覺在獨享整個集群的服務，所以，你可以在任何一個結點上建立到服務集群的連接。

[root@log2 bin]# ./zkCli.sh -server log1:2181
Connecting to log1:2181
2016-03-08 14:21:31,502 [myid:] - INFO  [main:Environment@100] - Client environment:zookeeper.version=3.4.6-1569965, built on 02/20/2014 09:09 GMT
2016-03-08 14:21:31,505 [myid:] - INFO  [main:Environment@100] - Client environment:host.name=log2
2016-03-08 14:21:31,505 [myid:] - INFO  [main:Environment@100] - Client environment:java.version=1.7.0_80
2016-03-08 14:21:31,507 [myid:] - INFO  [main:Environment@100] - Client environment:java.vendor=Oracle Corporation
2016-03-08 14:21:31,507 [myid:] - INFO  [main:Environment@100] - Client environment:java.home=/usr/java/jdk1.7.0_80/jre
2016-03-08 14:21:31,507 [myid:] - INFO  [main:Environment@100] - Client environment:java.class.path=/usr/local/zookeeper-3.4.6/bin/../build/classes:/usr/local/zookeeper-3.4.6/bin/../build/lib/*.jar:/usr/local/zookeeper-3.4.6/bin/../lib/slf4j-log4j12-1.6.1.jar:/usr/local/zookeeper-3.4.6/bin/../lib/slf4j-api-1.6.1.jar:/usr/local/zookeeper-3.4.6/bin/../lib/netty-3.7.0.Final.jar:/usr/local/zookeeper-3.4.6/bin/../lib/log4j-1.2.16.jar:/usr/local/zookeeper-3.4.6/bin/../lib/jline-0.9.94.jar:/usr/local/zookeeper-3.4.6/bin/../zookeeper-3.4.6.jar:/usr/local/zookeeper-3.4.6/bin/../src/java/lib/*.jar:/usr/local/zookeeper-3.4.6/bin/../conf:.:/usr/java/jdk1.7.0_80/lib/dt.jar:/usr/java/jdk1.7.0_80/lib/tools.jar
2016-03-08 14:21:31,507 [myid:] - INFO  [main:Environment@100] - Client environment:java.library.path=/usr/java/packages/lib/amd64:/usr/lib64:/lib64:/lib:/usr/lib
2016-03-08 14:21:31,508 [myid:] - INFO  [main:Environment@100] - Client environment:java.io.tmpdir=/tmp
2016-03-08 14:21:31,508 [myid:] - INFO  [main:Environment@100] - Client environment:java.compiler=<NA>
2016-03-08 14:21:31,508 [myid:] - INFO  [main:Environment@100] - Client environment:os.name=Linux
2016-03-08 14:21:31,508 [myid:] - INFO  [main:Environment@100] - Client environment:os.arch=amd64
2016-03-08 14:21:31,508 [myid:] - INFO  [main:Environment@100] - Client environment:os.version=3.10.0-123.9.3.el7.x86_64
2016-03-08 14:21:31,508 [myid:] - INFO  [main:Environment@100] - Client environment:user.name=root
2016-03-08 14:21:31,508 [myid:] - INFO  [main:Environment@100] - Client environment:user.home=/root
2016-03-08 14:21:31,508 [myid:] - INFO  [main:Environment@100] - Client environment:user.dir=/usr/local/zookeeper-3.4.6/bin
2016-03-08 14:21:31,510 [myid:] - INFO  [main:ZooKeeper@438] - Initiating client connection, connectString=log1:2181 sessionTimeout=30000 watcher=org.apache.zookeeper.ZooKeeperMain$MyWatcher@ee01430
Welcome to ZooKeeper!
2016-03-08 14:21:31,534 [myid:] - INFO  [main-SendThread(log1:2181):ClientCnxn$SendThread@975] - Opening socket connection to server log1/114.55.29.86:2181. Will not attempt to authenticate using SASL (unknown error)
2016-03-08 14:21:31,539 [myid:] - INFO  [main-SendThread(log1:2181):ClientCnxn$SendThread@852] - Socket connection established to log1/114.55.29.86:2181, initiating session
JLine support is enabled
[zk: log1:2181(CONNECTING) 0] 2016-03-08 14:21:31,572 [myid:] - INFO  [main-SendThread(log1:2181):ClientCnxn$SendThread@1235] - Session establishment complete on server log1/114.55.29.86:2181, sessionid = 0x25354db0d430000, negotiated timeout = 30000

WATCHER::

WatchedEvent state:SyncConnected type:None path:null

[zk: log1:2181(CONNECTED) 0]

 

6. 腳本定期清理zk快照和日志文件

正常運行過程中，ZK會不斷地把快照數據和事務日志輸出到dataDir和dataLogDir這兩個目錄，並且如果沒有人為操作的話，ZK自己是不會清理這些文件的。 我這里采用腳本切割。

[root@log1 ~]# cd /usr/local/zookeeper-3.4.6/
[root@log1 zookeeper-3.4.6]# vim clean_zklog.sh
#!/bin/bash
###Description:This script is used to clear zookeeper snapshot file and transaction logs.
###Written by: jkzhao - [e-mail]  
###History: 2016-04-08 First release.

# Snapshot file dir.
dataDir=/usr/local/zookeeper-3.4.6/dataDir/version-2

# Transaction logs dir.
dataLogDir=/usr/local/zookeeper-3.4.6/dataLogDir/version-2

# Reserved 5 files.
COUNT=5

ls -t $dataDir/snapshot.* | tail -n +$[$COUNT+1] | xargs rm -f
ls -t $dataLogDir/log.* | tail -n +$[$COUNT+1] | xargs rm -f

[root@log1 zookeeper-3.4.6]# chmod +x clean_zklog.sh

每個Zookeeper集群節點配置周期性任務，每個星期日的0點0分執行：

[root@console zookeeper-3.4.6]# crontab -e
0 0 * * 0 /usr/local/zookeeper-3.4.6/clean_zklog.sh