zookeeper 安裝 測試及集群

centos 安裝 zookeeper-3.5.2-alpha.tar.gz

網上搜索了 一下 安裝教程 其實很簡單

主要總結一下 中間遇到的坑

 

1.zookeeper 3.4.6 啟動失敗。

很有可能是配置的日志目錄在文件系統中沒有新建。

 

2.zookeeper 3.5+ 啟動失敗。

這個是我今天遇上的問題，報錯：

 

[java] view plain copy

print?
2015-03-24 16:16:44,231 [myid:] - ERROR [main:ZooKeeperServerMain@72] - Unable to start AdminServer, exiting abnormally
org.apache.zookeeper.server.admin.AdminServer$AdminServerException: Problem starting AdminServer on port 8080, command URL /commands
at org.apache.zookeeper.server.admin.JettyAdminServer.start(JettyAdminServer.java:89)
at org.apache.zookeeper.server.ZooKeeperServerMain.runFromConfig(ZooKeeperServerMain.java:123)
at org.apache.zookeeper.server.ZooKeeperServerMain.initializeAndRun(ZooKeeperServerMain.java:99)
at org.apache.zookeeper.server.ZooKeeperServerMain.main(ZooKeeperServerMain.java:57)
at org.apache.zookeeper.server.quorum.QuorumPeerMain.initializeAndRun(QuorumPeerMain.java:125)
at org.apache.zookeeper.server.quorum.QuorumPeerMain.main(QuorumPeerMain.java:79)
Caused by: java.net.BindException: Address already in use
at java.net.PlainSocketImpl.socketBind(Native Method)
at java.net.AbstractPlainSocketImpl.bind(AbstractPlainSocketImpl.java:376)
at java.net.ServerSocket.bind(ServerSocket.java:376)
at java.net.ServerSocket.<init>(ServerSocket.java:237)
at java.net.ServerSocket.<init>(ServerSocket.java:181)
at org.mortbay.jetty.bio.SocketConnector.newServerSocket(SocketConnector.java:80)
at org.mortbay.jetty.bio.SocketConnector.open(SocketConnector.java:73)
at org.mortbay.jetty.AbstractConnector.doStart(AbstractConnector.java:283)
at org.mortbay.jetty.bio.SocketConnector.doStart(SocketConnector.java:147)
at org.mortbay.component.AbstractLifeCycle.start(AbstractLifeCycle.java:50)
at org.mortbay.jetty.Server.doStart(Server.java:235)
at org.mortbay.component.AbstractLifeCycle.start(AbstractLifeCycle.java:50)
at org.apache.zookeeper.server.admin.JettyAdminServer.start(JettyAdminServer.java:85)
... 5 more

很明顯是由於端口占用。我服務器中的tomcat占用了8080端口，而zookeeper最近的版本中有個內嵌的管理控制台是通過jetty啟動，也會占用8080 端口。

 

通過查看zookeeper的官方文檔，發現有3種解決途徑：

（1）.刪除jetty。

（2）修改端口。

修改方法的方法有兩種，一種是在啟動腳本中增加 -Dzookeeper.admin.serverPort=你的端口號.一種是在zoo.cfg中增加admin.serverPort=沒有被占用的端口號

（3）停用這個服務，在啟動腳本中增加"-Dzookeeper.admin.enableServer=false"

3.客戶端使用的zookeeper和部署在服務端的版本不一致。（這個是網上有人說的，我也沒遇到。）

4.也有可能是 服務器防火牆 沒有開啟 zookeeper默認的2181 端口

5.安裝目錄下 conf 里 默認的配置 文件 要改成 zoo.cfg 或者 復制 一份 改成 zoo.cfg

附 zoo.cfg 配置

tickTime=2000

initLimit=5
syncLimit=2
dataDir=/opt/zookeeper/zookeeper/data
clientPort=2181
admin.serverPort=2182

啟動ZooKeeper服務器: bin/zkServer.sh start

啟動 CLI：bin/zkCli.sh

停止ZooKeeper服務器：bin/zkServer.sh stop

接下來 配置 zookeeper 集群

網上看了 一些資料 都是  在同一台機器上 安裝多個zookeeper 進行模擬的

由於之前安裝 nginx 的測試  多配置了 兩台 虛擬機 所以 試着在多台機器上配置  集群

配置文件如下：

tickTime=2000

initLimit=5
syncLimit=2
dataDir=/opt/zookeeper/zookeeper/data
clientPort=2181
admin.serverPort=2182
server.1=192.168.3.125:2888:3888
server.2=192.168.3.129:2888:3888
server.3=192.168.3.130:2888:3888

 然后 添加  myid 文件

在 /opt/zookeeper/zookeeper/data 這個文件里新建 myid 文件 里面的內容：

在 192.168.3.125 上 myid 里內容為1

192.168.3.129 上 myid 里內容為2

192.168.3.130 上myid 里內容為 3

 130上客戶端測試連接命令

bin/zkCli.sh -server 192.168.3.125:2181

下面說下 出現的問題：

1、從 125 的日志里看到 以下報錯信息

剛開始 只看到 第一 和第四個 紅線處的信息

后來看到 第三處  才發現應該是端口沒有打開   直接關閉了防火牆   問題就沒再出現

2、啟動的時候 提示 java_home 找不到 沒配置

這個應該是 沒有jdk 的緣故

從網上搜了一下 安裝了jdk

在安裝jdk 時 需要在 profile 配置  java_home path  classpath 配置好了以后 就要 執行 source /etc/profile  這個命令的意思是  使 profile 立即生效

但是 發現一個問題

安裝jdk成功后 再啟動 zookeeper 有時 還是會 報java_home 的報錯
 這時 重新執行  source /etc/profile  這個命令   就可以了   不明所以

接下來 測試下 用 java 進行連接  測試

創建一個Maven工程

打開pom.xml文件添加zookeeper依賴

 

         <dependency>

             <groupId>org.apache.zookeeper</groupId>

             <artifactId>zookeeper</artifactId>

             <version> 3.4 . 6 </version>

         </dependency>

package feiye.zookeeper;

import java.io.IOException;
import java.util.concurrent.TimeUnit;

import org.apache.zookeeper.CreateMode;
import org.apache.zookeeper.KeeperException;
import org.apache.zookeeper.ZooDefs.Ids;
import org.apache.zookeeper.ZooKeeper.States;
import org.apache.zookeeper.ZooKeeper;
import org.apache.zookeeper.Watcher;
import org.apache.zookeeper.WatchedEvent;

public class Test {
    private static final int SESSION_TIMEOUT=30*1000;
    private ZooKeeper zk;
    private Watcher  wh=new Watcher ()
    {
        public void process(WatchedEvent  event)
        {
            System.out.println("WatchedEvent >> "+event);
        }
    };
    private void createZKInstance() throws IOException
    {
        zk=new ZooKeeper("192.168.3.125:2181,192.168.3.129:2181,192.168.3.130:2181",Test.SESSION_TIMEOUT,this.wh);
        if(!zk.getState().equals(States.CONNECTED))
        {
            while(true)
            {
                if(zk.getState().equals(States.CONNECTED))
                {
                    break;
                }
                try
                {TimeUnit.SECONDS.sleep(5);}
                catch(InterruptedException  e) {e.printStackTrace();}
            }
        }
    }
    private void ZKOperations() throws KeeperException, InterruptedException
    {
        System.out.println("\n1. 創建 ZooKeeper 節點 (znode ： zoo2, 數據： myData2 ，權限： OPEN_ACL_UNSAFE ，節點類型： Persistent");
        //zk.create(path, data, acl, createMode)
        zk.create("/zoo2", "myData2".getBytes(), Ids.OPEN_ACL_UNSAFE, CreateMode.PERSISTENT);
        System.out.println("\n2. 查看是否創建成功： ");
        System.out.println(new String(zk.getData("/zoo2", this.wh, null)));
        System.out.println("\n3. 修改節點數據");
        zk.setData("/zoo2", "shanhy20160310".getBytes(), -1);
        System.out.println("\n3-1. 再次修改節點數據");
        zk.setData("/zoo2", "shanhy20160310-ABCD".getBytes(), -1);
        System.out.println("\n4 查看節點是否修改成功");
        System.out.println(new String(zk.getData("/zoo2", false, null)));
        System.out.println("\n5 刪除節點");
        zk.delete("/zoo2", -1);
        System.out.println("\n6. 查看節點是否被刪除");
        System.out.println("節點狀態：["+zk.exists("/zoo2", false)+"]");        
    }
    private void ZKClose() throws InterruptedException
    {
        zk.close();
    }
    public static void main(String[] args) throws IOException, KeeperException, InterruptedException {
        Test dm=new Test();
        dm.createZKInstance();
        dm.ZKOperations();
        dm.ZKClose();
    }
}

上面的代碼是基於zk提供的庫的API來你使用的，為了更易於使用，有人寫了開源的zkclient，我們可以直接使用它來操作zk。

zkclient 開源地址：https: //github.com/sgroschupf/zkclient

maven 依賴配置：

 

         <!--zkclient -->

         <dependency>

             <groupId>com.101tec</groupId>

             <artifactId>zkclient</artifactId>

             <version> 0.7 </version>

         </dependency>

 zkClient 針對 zk 的一次性watcher，做了重新封裝，然后定義了 stateChanged、znodeChanged、dataChanged 三種監聽器。

 

監聽children變化

監聽節點數據變化

監聽連接狀態變化

 這篇博客里 講的不錯 借鑒下

http://www.cnblogs.com/shengkejava/p/5633801.html

ZkClient使用

1、jar包引入，演示版本為0.8，非maven項目，可以下載jar包導入到項目中

 

<dependency>
            <groupId>com.101tec</groupId>
            <artifactId>zkclient</artifactId>
            <version>0.8</version>
</dependency>

 

 

2、創建Zookeeper連接

　示例：ZkClient zc = new ZkClient("192.168.117.128:2181",10000,10000,new SerializableSerializer());

　API：ZkClient(java.lang.String zkServers, int sessionTimeout, int connectionTimeout, org.I0Itec.zkclient.serialize.ZkSerializer zkSerializer)

• zkServers：Zookeeper服務器地址
• sessionTimeout：session超時時間
• connectionTimeout：連接超時時間
• zkSerializer：序列化器，ZkClient提供2種
  • SerializableSerializer：對象序列化，可轉換對象
  • BytesPushThroughSerializer：字節數組序列化

3、創建節點

   示例：

 @Test
    public void createNode() {
        createSession();
        User user = new User();
        user.setId(1l);
        user.setName("scot");
        String path = zc.create("/zkClient_01/02",user, CreateMode.PERSISTENT);
        System.out.println("path :" + path);
    }

 API:

public java.lang.String create(java.lang.String path, java.lang.Object data, org.apache.zookeeper.CreateMode mode) public java.lang.String create(java.lang.String path, java.lang.Object data, java.util.List<org.apache.zookeeper.data.ACL> acl, org.apache.zookeeper.CreateMode mode) 

示例用的為第一種，沒有設置訪問權限列表（List<org.apache.zookeeper.data.ACL> acl）

• path：創建節點路徑。（需要確保父路徑存在）
• data：節點數據。設置與獲取要注意創建連接時候的序列化器
• Acl：權限列表。詳情查看 2.1Zookeeper原始API使用
• mode：節點類型。詳情查看 2.1Zookeeper原始API使用

4、節點是否存在

　　boolean exists(java.lang.String path);

5、獲取節點信息

 示例：

 @Test
    public void getNode() {
        createSession();
        User user = zc.readData("/zkClient_01");
        System.out.println(user.getName());

        Stat stat = new Stat();
        User user1 = zc.readData("/zkClient_01",stat);
        System.out.println(user.getName());
        System.out.println(stat);
    }

API:

　　 public <T> T readData(java.lang.String path)public <T> T readData(java.lang.String path, boolean returnNullIfPathNotExists)public <T> T readData(java.lang.String path, org.apache.zookeeper.data.Stat stat)

• path：節點路徑。
• returnnullIfPathNotExists:同字面意思，節點不存在返回null
• stat：節點詳細信息。傳遞stat對象到readData方法，方法內部會填充stat數據

6、獲取子節點

  示例：

@Test
    public void getChild() {
        createSession();
        String path = "/node_scot";
        boolean b = this.exists(path);
        if(b) {
            List<String> children =zc.getChildren(path);
            System.out.println(children.size());
        }else {
            System.out.println("do not have this node");
        }
    }

 API:

   public java.util.List<java.lang.String> getChildren(java.lang.String path) 

 

7、刪除節點

  示例：   

 @Test
    public void del() {
        createSession();
        String path = "/zkClient_01/01";
        if(this.exists(path)) {
            //zc.delete(path);//刪除當前節點，有子節點無法刪除
            zc.deleteRecursive(path);//刪除非子節點
        }
    }

 API:

public boolean delete(java.lang.String path)

public boolean delete(java.lang.String path, int version) 

public boolean deleteRecursive(java.lang.String path) 

• version：節點的版本。如果版本不符無法刪除

 8、更新節點信息

  示例：

@Test
    public void writeNode() {
        createSession();
        User user = new User();
        user.setId(11l);
        user.setName("sksujer002");
        zc.writeData("/zkClient_01",user);
    }

 

9、監控子節點改變（當前節點不存在也可以設置監控）

 示例： 

    @Test
    public void subscribeChildChange() throws InterruptedException {
        createSession();
        zc.subscribeChildChanges("/zkClient_01",new MyZkChildListener());
        Thread.sleep(Integer.MAX_VALUE);
    }

    static class MyZkChildListener implements IZkChildListener {

        @Override
        public void handleChildChange(String s, List<String> strings) throws Exception {
            System.out.println("s:"+s);
            System.out.println("Strings:" + strings);
        }
    }

 

API:

public java.util.List<java.lang.String> subscribeChildChanges(java.lang.String path, org.I0Itec.zkclient.IZkChildListener listener)

public interface IZkChildListener {
　　void handleChildChange(java.lang.String parentPath, java.util.List<java.lang.String> currentChilds) throws java.lang.Exception;
}

• subscribeChildChanges：注冊子節點改變監控

  • path：路徑

  • IZkChildListener listener：子節點監控接口

• IZkChildListener - handChildChange：子節點列表發生改變觸發此方法

  • parentPath：監控節點路徑

  • currentChilds：子節點列表

10、監控節點數據

 示例：

 @Test
    public void subscribeDataChange () throws InterruptedException {
        createSession();
        zc.subscribeDataChanges("/zkClient_01",new MyZkDataListener());
        Thread.sleep(Integer.MAX_VALUE);
    }

    static class MyZkDataListener implements IZkDataListener {

        @Override
        public void handleDataChange(String s, Object o) throws Exception {
            System.out.println("節點信息改變");
            System.out.println("s:"+s);
            System.out.println("o:"+o);
        }

        @Override
        public void handleDataDeleted(String s) throws Exception {
            System.out.println("節點被刪除："+s);
        }
    }

API:

 public void subscribeDataChanges(java.lang.String path, org.I0Itec.zkclient.IZkDataListener listener)


public interface IZkDataListener {
void handleDataChange(java.lang.String dataPath, java.lang.Object object) throws java.lang.Exception;

void handleDataDeleted(java.lang.String dataPath) throws java.lang.Exception;
}

• subscribeDataChanges：注冊節點數據監控

  • IZkDataListener listener：數據改變監控接口

• IZkDataListener - handleDataChange：節點數據改變觸發此方法

  • dataPath：監控節點路徑

  • object：節點的新數據

• IZkDataListener - handleDataDeleted：節點被刪除觸發此方法

• dataPath：監控節點路徑