1:首先將http://zookeeper.apache.org/
下載好的zookeeper-3.4.5.tar.gz上傳到三台虛擬機上,之前博客搭建好的(安裝Zookeeper之前記得安裝好你的jdk哦)。
2:然后對zookeeper-3.4.5.tar.gz進行解壓縮操作:
[hadoop@master ~]$ tar -zxvf zookeeper-3.4.5.tar.gz
3:然后進入conf目錄(將zoo_sample.cfg修改為zoo.cfg):
mv修改名稱或者cp一個,老的作為樣本:
4:然后打開zoo.cfg文件:
修改一些配置:
tickTime=2000 心跳間隔
initLimit=10 初始容忍的心跳數
syncLimit=5 等待最大容忍的心跳數
dataDir=/tmp/zookeeper 本地保存數據的目錄,tmp存放的臨時數據,可以修改為自己的目錄;
clientPort=2181 客戶端默認端口號
如果有需要,我感覺加上日志很有必要,如果出錯了,還有地方可以去查找:
dataLogDir=/home/hadoop/zookeeper/log
修改后的如下所示(紅色圈起來的是修改的):
server.1=master:2888:3888 (主機名, 心跳端口、數據端口)
server.2=slave1:2888:3888
server.3=slave2:2888:3888
5:由於需要事先創建好data目錄,所以現在創建data目錄:
然后在data目錄創建一個文件myid,里面寫一個1,如下所示:
5:然后將修改好的復制到slaver1和slaver2上面
然后分別將slaver1和slaver2的myid修改為2和3,如下所示:
6:至此Zookeeper搭建結束,下面開始啟動Zookeeper,分別啟動:
如果你不想切換到Zookeeper目錄啟動,可以配置環境變量:
vi /etc/profile(修改文件)
export ZOOKEEPER_HOME=/home/hadoop/zookeeper
export PATH=$PATH:$ZOOKEEPER_HOME/bin
重新編譯文件:
source /etc/profile
注意:3台zookeeper都需要修改
少於三台不會正常工作的,可以通過命令查詢狀態:
7:接下來啟動slaver1和slaver2的服務:
三台機器啟動完成以后,可以查看其狀態,開始報這個錯,就是啟動不了Zookeeper,然后百度唄,百度很多方法,還存在版本問題,新生事物永遠在爭議中成長,name百度的也沒幫助我解決,最后重啟三台機器,問題解決:
2018/4/8,記錄,如果重啟沒有解決問題,可以將自己建的data目錄下面的zookeeper_server.pid文件刪除后重新啟動。記住關閉防火牆。
1 JMX enabled by default// 2 Using config: /home/hadoop/zookeeper-3.4.5/bin/../conf/zoo.cfg 3 Error contacting service. It is probably not running.
上面的是master節點的,下面的是slaver1節點和slaver2節點的(對於出現這個啟動不了的問題,我是這樣想的,如果百度的方法不行,就重啟一下,
重啟以后我開始啟動master節點的,然后查看狀態,肯定沒啟動起來,正常,查看一下進程jps,
然后啟動slaver1節點的,然后查看狀態,肯定沒啟動起來,正常,查看一下進程jps,
然后啟動slaver2節點的,然后查看狀態,肯定啟動起來,正常,查看一下進程jps,正常,
如果沒啟動起來,估計問題不好弄了都,我的就解決到這里吧!):
8:至此,Zookerper集群就啟動起來了,然后就可以通過java的api往里面寫數據,注入分布式應用讓Zookerper協調的數據,或者使用命令行的客戶端zkCli.sh模式,zkCli.sh連到集群上面去訪問數據,可以用來做測試(不帶參數連接到本節點上面去):
Connecting to localhost:2181
2017-10-11 02:39:39,035 [myid:] - INFO [main:Environment@100] - Client environment:zookeeper.version=3.4.5-1392090, built on 09/30/2012 17:52 GMT
2017-10-11 02:39:39,040 [myid:] - INFO [main:Environment@100] - Client environment:host.name=slaver2
2017-10-11 02:39:39,040 [myid:] - INFO [main:Environment@100] - Client environment:java.version=1.7.0_65
2017-10-11 02:39:39,040 [myid:] - INFO [main:Environment@100] - Client environment:java.vendor=Oracle Corporation
2017-10-11 02:39:39,040 [myid:] - INFO [main:Environment@100] - Client environment:java.home=/home/hadoop/jdk1.7.0_65/jre
2017-10-11 02:39:39,040 [myid:] - INFO [main:Environment@100] - Client environment:java.class.path=/home/hadoop/zookeeper-3.4.5/bin/../build/classes:/home/hadoop/zookeeper-3.4.5/bin/../build/lib/*.jar:/home/hadoop/zookeeper-3.4.5/bin/../lib/slf4j-log4j12-1.6.1.jar:/home/hadoop/zookeeper-3.4.5/bin/../lib/slf4j-api-1.6.1.jar:/home/hadoop/zookeeper-3.4.5/bin/../lib/netty-3.2.2.Final.jar:/home/hadoop/zookeeper-3.4.5/bin/../lib/log4j-1.2.15.jar:/home/hadoop/zookeeper-3.4.5/bin/../lib/jline-0.9.94.jar:/home/hadoop/zookeeper-3.4.5/bin/../zookeeper-3.4.5.jar:/home/hadoop/zookeeper-3.4.5/bin/../src/java/lib/*.jar:/home/hadoop/zookeeper-3.4.5/bin/../conf:
2017-10-11 02:39:39,041 [myid:] - INFO [main:Environment@100] - Client environment:java.library.path=/usr/java/packages/lib/i386:/lib:/usr/lib
2017-10-11 02:39:39,041 [myid:] - INFO [main:Environment@100] - Client environment:java.io.tmpdir=/tmp
2017-10-11 02:39:39,041 [myid:] - INFO [main:Environment@100] - Client environment:java.compiler=<NA>
2017-10-11 02:39:39,044 [myid:] - INFO [main:Environment@100] - Client environment:os.name=Linux
2017-10-11 02:39:39,044 [myid:] - INFO [main:Environment@100] - Client environment:os.arch=i386
2017-10-11 02:39:39,044 [myid:] - INFO [main:Environment@100] - Client environment:os.version=2.6.32-358.el6.i686
2017-10-11 02:39:39,044 [myid:] - INFO [main:Environment@100] - Client environment:user.name=hadoop
2017-10-11 02:39:39,045 [myid:] - INFO [main:Environment@100] - Client environment:user.home=/home/hadoop
2017-10-11 02:39:39,046 [myid:] - INFO [main:Environment@100] - Client environment:user.dir=/home/hadoop/zookeeper-3.4.5/bin
2017-10-11 02:39:39,047 [myid:] - INFO [main:ZooKeeper@438] - Initiating client connection, connectString=localhost:2181 sessionTimeout=30000 watcher=org.apache.zookeeper.ZooKeeperMain$MyWatcher@1a685ae
Welcome to ZooKeeper!
2017-10-11 02:39:39,096 [myid:] - INFO [main-SendThread(localhost:2181):ClientCnxn$SendThread@966] - Opening socket connection to server localhost/0:0:0:0:0:0:0:1:2181. Will not attempt to authenticate using SASL (unknown error)
JLine support is enabled
2017-10-11 02:39:39,111 [myid:] - INFO [main-SendThread(localhost:2181):ClientCnxn$SendThread@849] - Socket connection established to localhost/0:0:0:0:0:0:0:1:2181, initiating session
2017-10-11 02:39:39,241 [myid:] - INFO [main-SendThread(localhost:2181):ClientCnxn$SendThread@1207] - Session establishment complete on server localhost/0:0:0:0:0:0:0:1:2181, sessionid = 0x35f0ac132690000, negotiated timeout = 30000
WATCHER::
WatchedEvent state:SyncConnected type:None path:null
[zk: localhost:2181(CONNECTED) 0]
連接到本節點的2181端口之后向集群里面寫任何數據,在另外兩個節點都可以看到(Zookerper管理客戶所存放的數據采用的是類似於文件樹的結構):
在其他節點也可以看到的:
9:ssh遠程開啟Zookeeper服務:
[root@master bin]# ssh slaver2 "source /etc/profile;/home/hadoop/soft/zookeeper-3.4.5/bin/zkServer.sh start"
10:Zookeeper啟動自動化腳本:
#export a=1 定義的變量,會對自己所在的sheel進程及其子進程生效。 #a=1 定義的變量,只對自己所在的sheel進行生效。 #在script.sh中定義的變量,在當前登陸的sheel進行中,source script.sh時,腳本中定義的變量也會進入當前登陸的進程 #!/bin/bash echo "start zkServer..." for i in 1 2 3 do ssh slaver$i "source /etc/profile;/home/hadoop/soft/zookeeper-3.4.5/bin/zkServer.sh start" done
個人配置自動化腳本執行的操作步驟:
首先在我個人喜歡的目錄下面/home/hadoop目錄下面創建一個叫做腳本的文件夾,script,然后將自動化腳本拷貝到新建的startzk.sh文件中,然后配置環境變量:
export JAVA_HOME=/home/hadoop/soft/jdk1.7.0_65 export ZOOKEEPER_HOME=/home/hadoop/soft/zookeeper-3.4.5 #自動化腳本的目錄 export SCRIPT=/home/hadoop/script #添加到全局環境變量中即可。 export PATH=$PATH:$JAVA_HOME/bin:$ZOOKEEPER_HOME/bin:$SCRIPT
然后在任意目錄,執行startzk.sh就可以啟動三台Zookeeper了。
但是呢,如果上面你都弄好了,自動化腳本寫好了,環境變量配置好了,使用的使用,出現如下問題:
bash: /home/hadoop/script/startzk.sh: Permission denied
上面問題,老司機一眼就明白要干嘛了,那么現在使用chmod 777 startzk.sh命令和chmod 777 stopzk.sh命令賦予你的腳本執行權限即可。
注意:配置好自動化腳本,按tab鍵不自動彈出,可能是不可以執行的問題,可以賦予文件相應執行權限即可。
待續.....