ZooKeeper簡介與集群部署


ZooKeeper 是一個開源的分布式協調服務,由雅虎公司創建,是Google Chubby的開源實現,ZooKeeper的設計目標是將那些復雜且容易出錯的分布式一致性服務封裝起來,構成一個高效可靠的原語集。

ZooKeeper 是什么

    ZooKeeper是一個典型的分布式數據一致性的解決方案,分布式應用程序可以基於它實現諸如數據發布、數據訂閱、負載均衡、命名服務、分布式協調、分布式通知、集群管理、master選舉、分布式鎖和分布式隊列等功能。ZooKeeper可以保證如下分布式一致性特性。

(1)順序一致性

    從同一個客戶端發起的請求,最終將會嚴格地按照其發起順序被應ZooKeeper中去。

(2)原子性

所有事務請求的處理結果是在整個集群中所有機器上應用情況是一致的,也就是說,要么整個集群所有機器都成功應用了某一個事務,要么都沒有應用,一定不會出現集群中部分機器應用了該事務,而另外一部分沒有應用的情況。

(3)單一試圖

無論客戶端連接的是那個ZooKeeper服務器,其看到的服務端數據模型都是一致的。

(4)可靠性

一旦服務端成功地應用了一個事務,並完成對客戶端的響應,那么該事務所引起的服務端狀態變更將會被一直保留下來,除非有另一個事務又對其進行了變更。

(5)實時性

通常人們看到實時性的第一反應是,一旦一個事務被成功應用,那么客戶端能夠立即從服務端上讀取到這個事務變更后的最新數據狀態。這里需要注意的是,ZooKeeper僅僅保證在一定時間段內,客戶端最終一定能夠從服務端上讀取到最新的數據狀態。

ZooKeeper設計目標

    ZooKeeper致力於提供一個高性能、高可用,且具有嚴格的順序訪問控制能力(主要是寫操作的嚴格順序)的分布式協調服務。高性能使得ZooKeeper能夠應用於那些對系統吞吐量有明確要求的大型分布式系統中,高可用使得分布式的單點問題得到了很好的解決,而嚴格的順序訪問控制使得客戶端能夠基於ZooKeeper實現一些復雜的同步原語。一下是ZooKeeper的四個設計目標。

目標一:簡單的數據模型

    ZooKeeper使得分布式程序能夠通過一個共享的、樹形結構的名字空間來進行相互協調。這里所說的樹形結構的名字空間,是指ZooKeeper服務器內存中的一個數據模型,其由一些列被稱為ZNode的數據節點組成,總的來說其數據模型類似於一個文件系統,而ZNode之間的層級關系,就像文件系統的目錄結構一樣。不過和傳統的磁盤文件系統不同的是,ZooKeeper將全量數據存儲在內存中,一次來實現提供服務器吞吐、減少延遲的目的。

目標二:可以構建集群

一個ZooKeeper集群通常有一組服務器組成,一般3~5台機器就可以組成一個可用的ZooKeeper集群了。
組成ZooKeeper集群的每台機器都會在內存中維護當前的服務器狀態,並且每台機器之間都互相保持着通信。值得一提的是,只要集群中存在超過一半的機器能夠正常工作,那么整個集群就能夠正常對外服務。
ZooKeeper的客戶端程序會選擇和集群中任意一台機器共同來創建一個TCP連接,而一旦客戶端和某台ZooKeeper服務器之間的連接斷開后,客戶端會自動連接到集群中的其它機器,

目標三:順序訪問

對於來自客戶端的每個請求,ZooKeeper都會分配一個全局唯一的遞增編號,這個編號反映了所有事務操作的先后順序,應用程序可以使用ZooKeeper的這個特性來實現更高層次的同步原語。

目標四:高性能

由於ZooKeeper將全量數據存儲在內存中,並直接服務於客戶端的所有非事務請求,因此它尤其適用於以讀操作為主的應用場景。

ZooKeeper集群部署與運行

實驗環境說明

操作系統:centos 7.3
node1:192.168.29.110
node2:192.168.29.120
node3:192.168.29.130
zookeeper版本為3.4.10

安裝jdk

[root@ ~]#  yum  install  jdk-8u152-linux-x64.rpm  -y
[root@ ~]# java -version
java version "1.8.0_152"
Java(TM) SE Runtime Environment (build 1.8.0_152-b16)
Java HotSpot(TM) 64-Bit Server VM (build 25.152-b16, mixed mode)

node1 安裝配置

下載ZooKeeper

http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.10/zookeeper-3.4.10.tar.gz

解壓ZooKeeper

[root@ ~]# tar  -xf zookeeper-3.4.10.tar.gz  -C  /opt/
[root@ ~]# cd  /opt

創建軟連接

[root@ opt]# ln -sv zookeeper-3.4.10 zookeeper
‘zookeeper’ -> ‘zookeeper-3.4.10/’

修改配置文件

[root@ opt]# cd  /opt/zookeeper/conf/
[root@ conf]# mv  zoo_sample.cfg  zoo.cfg
[root@ conf]# vim /opt/zookeeper/conf/zoo.cfg
# The number of milliseconds of each tick
tickTime=2000  ##向ZK發送心跳的時長,單位為ms
# The number of ticks that the initial 
# synchronization phase can take
initLimit=10 	##初始同步階段,要經過多少個tickTime 時長
# The number of ticks that can pass between 
# sending a request and getting an acknowledgement
syncLimit=5 	##發送請求經過多少個tickTime 后確認
# the directory where the snapshot is stored.
# do not use /tmp for storage, /tmp here is just 
# example sakes.
dataDir=/data/zookeeper		##數據目錄
dataLogDir=/opt/data/zookeeper/log ##日志目錄,不配置亦可
# the port at which the clients will connect
clientPort=2181		##監聽的端口
# the maximum number of client connections.
# increase this if you need to handle more clients
maxClientCnxns=20	##最大並發連接數
#
# Be sure to read the maintenance section of the 
# administrator guide before turning on autopurge.
#
# http://zookeeper.apache.org/doc/current/zookeeperAdmin.html#sc_maintenance
#
server.1=192.168.29.110:2888:3888
server.2=192.168.29.120:2888:3888
server.3=192.168.29.130:2888:3888
說明:serverID=IP:port:port
	ID:各主機的數字標識,一般從1開始
	IP:各主機的IP
# The number of snapshots to retain in dataDir
autopurge.snapRetainCount=3 ##這個參數和下面的參數搭配使用,這個參數指定了需要保留的文件數目。默認是保留3個
# Purge task interval in hours
# Set to "0" to disable auto purge feature
autopurge.purgeInterval=1 	##ZK提供了自動清理事務日志和快照文件的功能,這個參數指定了清理頻率,單位是小時,需要配置一個1或更大的整數,默認是0,表示不開啟自動清理功,(purge操作的時間間隔,0表示不啟動)

創建數據目錄

[root@ ~]# ]# mkdir /opt/data/zookeeper -pv
mkdir: created directory ‘/opt/data’
mkdir: created directory ‘/opt/data/zookeeper’

指定ID ,node1,node2、node3分別是1,2,3

[root@ ~]# echo 1  >  /opt/data/zookeeper/myid

啟動服務

[root@ ~]# /opt/zookeeper/bin/zkServer.sh  start

仿照node1 配置node2、node3

查看狀態

[root@ ~]# telnet 192.168.29.130 2181 
Trying 192.168.29.130...
Connected to 192.168.29.130.
Escape character is '^]'.
stat  ##查看狀態的命令
Zookeeper version: 3.4.10-39d3a4f269333c922ed3db283be479f9deacaa0f, built on 03/23/2017 10:13 GMT
Clients:
 /192.168.29.110:44824[0](queued=0,recved=1,sent=0)

Latency min/avg/max: 0/0/0
Received: 2
Sent: 1
Connections: 1
Outstanding: 0
Zxid: 0x100000000
Mode: leader  ##可以看到已經成為leader
Node count: 4
Connection closed by foreign host.
[root@ ~]# telnet 192.168.29.110 2181
Trying 192.168.29.110...
Connected to 192.168.29.110.
Escape character is '^]'.
stat
Zookeeper version: 3.4.10-39d3a4f269333c922ed3db283be479f9deacaa0f, built on 03/23/2017 10:13 GMT
Clients:
 /192.168.29.110:42864[0](queued=0,recved=1,sent=0)

Latency min/avg/max: 0/0/0
Received: 1
Sent: 0
Connections: 1
Outstanding: 0
Zxid: 0x100000000
Mode: follower ##可以看到已經成為follower
Node count: 4
Connection closed by foreign host.

客戶端連接

[root@ ~]# /opt/zookeeper/bin/zkCli.sh
WATCHER::

WatchedEvent state:SyncConnected type:None path:null
[zk: localhost:2181(CONNECTED) 0]


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM