ZooKeeper學習第一期---Zookeeper簡單介紹
ZooKeeper學習第二期--ZooKeeper安裝配置
ZooKeeper學習第三期---Zookeeper命令操作
ZooKeeper學習第四期---構建ZooKeeper應用
ZooKeeper學習第五期--ZooKeeper管理分布式環境中的數據
ZooKeeper學習第六期---ZooKeeper機制架構
ZooKeeper學習第七期--ZooKeeper一致性原理
ZooKeeper學習第八期——ZooKeeper伸縮性
一、Zookeeper的搭建方式
Zookeeper安裝方式有三種，單機模式和集群模式以及偽集群模式。
■ 單機模式：Zookeeper只運行在一台服務器上，適合測試環境；
■ 偽集群模式：就是在一台物理機上運行多個Zookeeper 實例；
■ 集群模式：Zookeeper運行於一個集群上，適合生產環境，這個計算機集群被稱為一個“集合體”（ensemble）
Zookeeper通過復制來實現高可用性，只要集合體中半數以上的機器處於可用狀態，它就能夠保證服務繼續。為什么一定要超過半數呢？這跟Zookeeper的復制策略有關：zookeeper確保對znode 樹的每一個修改都會被復制到集合體中超過半數的機器上。
1.1 Zookeeper的單機模式搭建
下載ZooKeeper：http://pan.baidu.com/s/1pJlwbR9
解壓：tar -zxvf zookeeper-3.4.5.tar.gz 重命名：mv zookeeper-3.4.5 zk
配置文件：在conf目錄下刪除zoo_sample.cfg文件，創建一個配置文件zoo.cfg。
tickTime=2000
dataDir=/usr/local/zk/data
dataLogDir=/usr/local/zk/dataLog
clientPort=2181
配置環境變量：為了今后操作方便，我們需要對Zookeeper的環境變量進行配置，方法如下在/etc/profile文件中加入如下內容：
export ZOOKEEPER_HOME=/usr/local/zk
export PATH=.:$HADOOP_HOME/bin:$ZOOKEEPER_HOME/bin:$JAVA_HOME/bin:$PATH
啟動ZooKeeper的Server：zkServer.sh start；關閉ZooKeeper的Server：zkServer.sh stop
1.2 Zookeeper的偽集群模式搭建
Zookeeper不但可以在單機上運行單機模式Zookeeper，而且可以在單機模擬集群模式 Zookeeper的運行，也就是將不同節點運行在同一台機器。我們知道偽分布模式下Hadoop的操作和分布式模式下有着很大的不同，但是在集群為分布 式模式下對Zookeeper的操作卻和集群模式下沒有本質的區別。顯然，集群偽分布式模式為我們體驗Zookeeper和做一些嘗試性的實驗提供了很大 的便利。比如，我們在實驗的時候，可以先使用少量數據在集群偽分布模式下進行測試。當測試可行的時候，再將數據移植到集群模式進行真實的數據實驗。這樣不 但保證了它的可行性，同時大大提高了實驗的效率。這種搭建方式，比較簡便，成本比較低，適合測試和學習，如果你的手頭機器不足，就可以在一台機器上部署了 3個server。
1.2.1. 注意事項
在一台機器上部署了3個server，需要注意的是在集群為分布式模式下我們使用的每個配置文檔模擬一台機器，也就是說單台機器及上運行多個Zookeeper實例。但是，必須保證每個配置文檔的各個端口號不能沖突，除了clientPort不同之外，dataDir也不同。另外，還要在dataDir所對應的目錄中創建myid文件來指定對應的Zookeeper服務器實例。
■ clientPort端口：如果在1台機器上部署多個server，那么每台機器都要不同的 clientPort，比如 server1是2181,server2是2182，server3是2183
■ dataDir和dataLogDir：dataDir和dataLogDir也需要區分下，將數據文件和日志文件分開存放，同時每個server的這兩變量所對應的路徑都是不同的
■ server.X和myid： server.X 這個數字就是對應，data/myid中的數字。在3個server的myid文件中分別寫入了0，1，2，那么每個server中的zoo.cfg都配 server.0 server.2,server.3就行了。因為在同一台機器上，后面連着的2個端口，3個server都不要一樣，否則端口沖突
下面是我所配置的集群偽分布模式，分別通過zoo1.cfg、zoo2.cfg、zoo3.cfg來模擬由三台機器的Zookeeper集群,代碼清單 zoo1.cfg如下:
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/usr/local/zk/zk_1/data
clientPort=2182
dataLogDir=/usr/local/zk/zk_1/logs
server.1=localhost:2287:3387
server.2=localhost:2288:3388
server.3=localhost:2289:3389
代碼清單 zoo2.cfg如下:
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/usr/local/zk/zk_2/data
clientPort=2183
dataLogDir=/usr/local/zk/zk_2/logs
server.1=localhost:2287:3387
server.2=localhost:2288:3388
server.3=localhost:2289:3389
代碼清單 zoo3.cfg如下:
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/usr/local/zk/zk_3/data
clientPort=2184
dataLogDir=/usr/local/zk/zk_3/logs
server.1=localhost:2287:3387
server.2=localhost:2288:3388
server.3=localhost:2289:3389
1.2.2 啟動
在集群為分布式下，我們只有一台機器，按時要運行三個Zookeeper實例。此時，如果在使用單機模式的啟動命令是行不通的。此時，只要通過下面三條命令就能運行前面所配置的Zookeeper服務。如下所示：
zkServer.sh start zoo1.cfg zkServer.sh start zoo2.cfg zkServer.sh start zoo3.cfg
啟動過程，如下圖所示：
在運行完第一條指令之后，會出現一些錯誤異常，產生異常信息的原因是由於Zookeeper 服務的每個實例都擁有全局配置信息，他們在啟動的時候會隨時隨地的進行Leader選舉操作。此時，第一個啟動的Zookeeper需要和另外兩個 Zookeeper實例進行通信。但是，另外兩個Zookeeper實例還沒有啟動起來，因此就產生了這的異樣信息。我們直接將其忽略即可，待把圖中“2 號”和“3號”Zookeeper實例啟動起來之后，相應的異常信息自然會消失。此時，可以通過下面三條命令，來查詢。
zkServer.sh status zoo1.cfg zkServer.sh status zoo2.cfg zkServer.sh status zoo3.cfg
Zookeeper服務的運行狀態，如下圖所示:
1.3 Zookeeper的集群模式搭建
為了獲得可靠地Zookeeper服務，用戶應該在一個機群上部署Zookeeper。只要機群上大多數的Zookeeper服務啟動了，那么總的 Zookeeper服務將是可用的。集群的配置方式，和前兩種類似，同樣需要進行環境變量的配置。在每台機器上conf/zoo.cf配置文件的參數設置 相同
1.3.1 創建myid
在dataDir(/usr/local/zk/data)目錄創建myid文件
Server0機器的內容為：0
Server1機器的內容為：1
Server2機器的內容為：2
1.3.2 編寫配置文件
在conf目錄下刪除zoo_sample.cfg文件，創建一個配置文件zoo.cfg，如下所示,代碼清單 zoo.cfg中的參數設置
參考上面
1.3.3 啟動
分別在3台機器上啟動ZooKeeper的Server：zkServer.sh start；
二、Zookeeper的配置
Zookeeper的功能特性是通過Zookeeper配置文件來進行控制管理的(zoo.cfg).這樣的設計其實有其自身的原因，通過前面對Zookeeper的配置可以看出，在對Zookeeper集群進行配置的時候，它的配置文檔是完全相同的。集群偽分布模式中，有少部分是不同的。這樣的配置方式使得在部署Zookeeper服務的時候非常方便。如果服務器使用不同的配置文件，必須確保不同配置文件中的服務器列表相匹配。
在設置Zookeeper配置文檔時候，某些參數是可選的，某些是必須的。這些必須參數就構成了Zookeeper配置文檔的最低配置要求。另外，若要對Zookeeper進行更詳細的配置，可以參考下面的內容。
2.1 基本配置
下面是在最低配置要求中必須配置的參數：
(1) client：監聽客戶端連接的端口。
(2) tickTime：基本事件單元，這個時間是作為Zookeeper服務器之間或客戶端與服務器之間維持心跳的時間間隔，每隔tickTime時間就會發送一個心跳；最小 的session過期時間為2倍tickTime
dataDir：存儲內存中數據庫快照的位置，如果不設置參數，更新食物的日志將被存儲到默認位置。
應該謹慎的選擇日志存放的位置，使用專用的日志存儲設備能夠大大提高系統的性能，如果將日志存儲在比較繁忙的存儲設備上，那么將會很大程度上影像系統性能。
2.2 高級配置
下面是高級配置參數中可選配置參數，用戶可以使用下面的參數來更好的規定Zookeeper的行為：
(1) dataLogdDir
這個操作讓管理機器把事務日志寫入“dataLogDir”所指定的目錄中，而不是“dataDir”所指定的目錄。這將允許使用一個專用的日志設備，幫助我們避免日志和快照的競爭。配置如下：
# the directory where the snapshot is stored
dataDir=/usr/local/zk/data
(2) maxClientCnxns
這個操作將限制連接到Zookeeper的客戶端數量，並限制並發連接的數量，通過IP來區分不同的客戶端。此配置選項可以阻止某些類別的Dos攻擊。將他設置為零或忽略不進行設置將會取消對並發連接的限制。
例如，此時我們將maxClientCnxns的值設為1，如下所示：
# set maxClientCnxns
maxClientCnxns=1
啟動Zookeeper之后，首先用一個客戶端連接到Zookeeper服務器上。之后如果有第二個客戶端嘗試對Zookeeper進行連接，或者有某些隱式的對客戶端的連接操作，將會觸發Zookeeper的上述配置。
(3) minSessionTimeout和maxSessionTimeout
即最小的會話超時和最大的會話超時時間。在默認情況下，minSession=2*tickTime；maxSession=20*tickTime。
2.3 集群配置
(1) initLimit
此配置表示，允許follower(相對於Leaderer言的“客戶端”)連接並同步到Leader的初始化連接時間，以tickTime為單位。當初始化連接時間超過該值，則表示連接失敗。
(2) syncLimit
此配置項表示Leader與Follower之間發送消息時，請求和應答時間長度。如果follower在設置時間內不能與leader通信，那么此follower將會被丟棄。
(3) server.A=B：C：D
A：其中 A 是一個數字，表示這個是服務器的編號；
B：是這個服務器的 ip 地址；
C：Leader選舉的端口；
D：Zookeeper服務器之間的通信端口。
(4) myid和zoo.cfg
除了修改 zoo.cfg 配置文件，集群模式下還要配置一個文件 myid，這個文件在 dataDir 目錄下，這個文件里面就有一個數據就是 A 的值，Zookeeper 啟動時會讀取這個文件，拿到里面的數據與 zoo.cfg 里面的配置信息比較從而判斷到底是那個 server。
三、搭建ZooKeeper服務器集群
搭建要求：
(1) zk服務器集群規模不小於3個節點
(2) 要求各服務器之間系統時間要保持一致。
3.1 安裝配置ZK
(1) 使用WinScp將Zk傳輸到Hadoop主機上的/usr/local，我用的版本是zookeeper-3.4.5.tar.gz。
(2) 在hadoop的/usr/local目錄下，解壓縮zk....tar.gz，設置環境變量
解壓縮：在/usr/local目錄下，執行命令：tar -zxvf zookeeper-3.4.5.tar.gz，如下圖所示:
設置環境變量：執行命令： vi /etc/profile ，添加 ：export ZOOKEEPER_HOME=/usr/local/zk，如圖2.3所示的內容。執行命令：source /etc/profile 如下圖所示:
2.2 修改ZK配置文件
(1) 重命名：將/usr/local/zk/conf目錄下zoo_sample.cfg，重命名為zoo.cfg，執行命令：mv zoo_sample.cfg zoo.cfg。如如下圖所示:
(2) 查看：在/usr/local/zk/conf目錄下，修改文件 vi zoo.cfg，文件內容如下圖所示。在該文件中dataDir表示文件存放目錄，它的默認設置為/tmp/zookeeper這是一個臨時存放目錄，每 次重啟后會丟失，在這我們自己設一個目錄，/usr/local/zk/data。
(3) 創建文件夾：mkdir /usr/local/zk/data
(4) 創建myid：在data目錄下，創建文件myid，值為0；vi myid ;內容為0。
(5) 編輯：編輯該文件，執行vi zoo.cfg ，修改dataDir=/usr/local/zk/data。
新增：
server.0=hadoop:2888:3888
server.1=hadoop0:2888:3888
server.2=hadoop1:2888:3888
tickTime ：這個時間是作為 Zookeeper 服務器之間或客戶端與服務器之間維持心跳的時間間隔，也就是每個 tickTime 時間就會發送一個心跳；
dataDir：顧名思義就是 Zookeeper 保存數據的目錄，默認情況下，Zookeeper 將寫數據的日志文件也保存在這個目錄里；
clientPort：這個端口就是客戶端連接 Zookeeper 服務器的端口，Zookeeper 會監聽這個端口，接受客戶端的訪問請求。
當這些配置項配置好后，就可以啟動 Zookeeper 了，啟動后使用命令echo ruok | nc localhost 2181檢查 Zookeeper 是否已經在服務。
2.3 配置其他節點
(1) 把haooop主機的zk目錄和/etc/profile目錄，復制到hadoop0和hadoop1中。執行命令：
scp -r /usr/local/zk/ hadoop0:/usr/local/
scp -r /usr/local/zk/ hadoop1:/usr/local/
scp /etc/profile hadoop0:/etc/
scp /etc/profile hadoop1:/etc/
ssh hadoop0
suorce /etc/profile
vi /usr/local/zk/data/myid
exit
ssh hadoop1
suorce /etc/profile
vi /usr/local/zk/data/myid
exit
(2) 把hadoop1中相應的myid的值改為1，把hadoop2中相應的myid的值改為2。
四、啟動檢驗
(1) 啟動，在三個節點上分別執行命令zkServer.sh start
(2) 檢驗，在三個節點上分別執行命令zkServer.sh status，從下面的圖中我們會發現hadoop和hadoop1為Follower，hadoop0為Leader。
