使用zookeeper實現分布式master選舉（c 接口版本）

zookeeper，已經被很多人所熟知，主要應用場景有（數據訂閱/發布 ，負載均衡， 命名服務， 分布式協調/通知，集群管理，Master選舉，分布式鎖，分布式隊列）。

C接口的描述  主要參考 Haippy 的文章 ：Zookeeper C API 指南 (感謝大神)

但是網上的C++版 示例代碼少之又少，作為一個小白，自己摸索，給大家參考。

Master選舉的需求主要如下：

         1.多台機器同時進行選舉，產生唯一的一台機器作為Master，其它的機器作為slave。

         2.當Master宕機后，需要在所有存活的slave中再次選舉一個成為新的Master。

         3.當新的master宕機后，繼續選舉，如此反復。

這樣保證了在大多數分布式系統中Master不會宕機。在這里我們默認zookeeper是高可用的。（即不考慮zookeeper失效。）

思路主要如下：

        1.每個進程都會去創建一個臨時文件（名為master，該文件里面的值為master的ip地址），zookeeper將會保證那么多的進程只有一個進程能夠創建成功。收到ZOK，其它的都會收到ZNODEEXISTS（已存在）。

        2.沒有創建成功的節點slave節點將會去監視這個已經創建成功的“文件”（master） ，當該文件發生變化時，slave將會觸發相對應的函數。

        臨時文件：為ZOO_EPHEMERAL類型，正如 EPHEMERAL（短暫的）本意，當創建這個文件的進程掛了，zookeeper會自動檢測到（正是利用這個特性）。

        變化： 這個變化有很多種可能，如該文件的內容變了，該文件下的子文件增加或減少了，（在zookeeper中文件既是文件又是一個文件夾），也可能是該文件被刪除了。

        值的一提的是，如Haippy所述，zookeeper watch函數是 “一次性”的，簡單的說  小明 調用了watch觀察 自己家的門。 此時，小紅打開了門，watch函數立刻告訴了小明，小明就過去把門關了。這個時候如果小明沒有再次調用watch函數，小紅再偷偷的開門，小明是不知道的，講了那么啰嗦其實就是一句話“每次觸發watch函數后，請別忘記再次調用watch函數”（當然還是要看具體的場景）。

      下面貼上代碼(所有的解釋都寫在代碼注釋中)： 編譯命令為   g++ election.cpp -o election -lzookeeper_mt -std=c++11  （不是-lzookeeper_st 否則一點反應都沒）

/*
 * =============================================================================
 *
 *       Filename:  election.cpp
 *
 *    Description:  elect master test by zookeeper
 *
 *        Created:  02/15/2013 08:48:49 PM
 *
 *         Author:  zhejiangxiaomai, [e-mail]
 *        Company:  ECNU
 *
 * =============================================================================
 */
#include <unistd.h>
#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <zookeeper/zookeeper.h>
#include <zookeeper/zookeeper_log.h>
#include <iostream>
using namespace std;

int status = -1;
// 1 : master 0 :slave
zhandle_t* init(const char* host, int timeout);
void init_1(zhandle_t* zh, int type, int state, const char* path, void* watcherCtx);
void getResult(int rc, const char *name, const void *data);
void go_to_election(zhandle_t* zh, int type, int state, const char* path, void* ip);
void get_master(int rc, const char *value, int value_len, const struct Stat *stat, const void *data);
void watch_master(zhandle_t* zh, const char* ip);

int main(int argc, const char *argv[])
{
    const char* host = "127.0.0.1:2181";
    int timeout = 30000;
    zoo_set_debug_level(ZOO_LOG_LEVEL_WARN);
    const char* ip = argv[1];
    //初始化連接句柄 
    zhandle_t* zh = init(host, timeout);
    //參加選舉
    go_to_election(zh,0,0,"/master",(void *) ip);
    //按下空格即可清除句柄，退出程序
    getchar();
    zookeeper_close(zh);
    return 0;
}
//創建連接zookeeper的句柄
zhandle_t* init(const char* host, int timeout){
    zhandle_t* zkhandle = zookeeper_init(host,init_1,timeout, 0, NULL, 0);
    if (zkhandle == NULL) {
        fprintf(stderr, "Error when connecting to zookeeper servers...\n");
        exit(EXIT_FAILURE);
    }
    return zkhandle;
}
//做為創建句柄的watch函數（一般輸出句柄的信息，但是我沒有處理）
void init_1(zhandle_t* zh, int type, int state, const char* path, void* watcherCtx)
{
    std::cout<<"init handler"<<endl;
}
//參選函數
void go_to_election(zhandle_t* zh, int type, int state, const char* path, void* ip)
{
    //創建一個/master文件，值為char* 類型的IP，長度為15，
    //該文件為類型為ZOO_EPHEMERAL，當創建完成后會調用getResult函數
    int ret = zoo_acreate(zh, "/master", (char*)ip, 15,
           &ZOO_OPEN_ACL_UNSAFE, ZOO_EPHEMERAL,
           getResult, "election");
    if (ret) {
        fprintf(stderr, "Error %d for %s\n", ret, "election");
        exit(EXIT_FAILURE);
    }
    //此處sleep一秒,沒有這個步驟程序就沒有效果，
    //我認為是create沒有那么快,沒有創建完成的watch就沒有意義。
    sleep(1);
    if(status == 0)
    {
    //如果是slave就觀察master
        watch_master(zh, (const char*)ip);
    }
}
//判斷創建結果，結果保存在rc中，並改變狀態。
//在此看起來其他參數沒有用到，但是這是七種回調函數的一種格式，需要遵守。
void getResult(int rc, const char *name, const void *data)
{
    switch(rc){
        case ZOK:
            std::cout<<"Become master"<<endl;
            status = 1;
            break;
        case ZNODEEXISTS:
            std::cout<<"Become slave, keep watch"<<endl;
            status = 0;
            break;
    }  
}
//在此僅僅是將master文件的值輸出.
void get_master(int rc, const char *value, int value_len, 
    const struct Stat *stat, const void *data){
    std::cout<<(char *)data<<(char*)value<<endl;
} 

void watch_master(zhandle_t* zh, const char* ip){
   //獲取/master文件的值 通過回調函數 get_master. 當該文件發生改變時帶着自己的ip地址重新去注冊
   int ret = zoo_awget(zh, "/master",go_to_election,(void *)ip ,
                   get_master,"get master ip :"); 
   if (ret) {
            fprintf(stderr, "Error %d for %s\n", ret, "re");
            exit(EXIT_FAILURE);
        }
}

實現結果圖：（master從0.1 變為了0.2 變為了0.3）