引言
之前就了解過kafka，看的似懂非懂，最近項目組中引入了kafka，剛好接着這個機會再次學習下。
Kafka在很多公司被用作分布式高性能消息隊列，kafka之前我只用過redis的list來做簡單的隊列處理，也還算好用，可能數據量比較小，也是單機運行，未出現過問題，用作輕量級消息隊列還是比較好用的。而redis的作者antirez，設計redis的初衷並不是用來做消息隊列，但用它做消息隊列的人貌似還挺多，以至於后來antirez后來新開了個項目disque，專門用來做消息隊列，但這個不是本文的重點。
在了解kafka的時候，發現他與zookeeper綁定的比較緊密，為了更好的理解kafka，我必須先將zookeeper搞明白。
ZooKeeper是一種分布式協調服務，用於管理大型主機。在分布式環境中協調和管理服務是一個復雜的過程。ZooKeeper通過其簡單的架構和API解決了這個問題。 ZooKeeper允許開發人員專注於核心應用程序邏輯，而不必擔心應用程序的分布式特性。
這是從互聯網上引用的一段話，分布式應用不同於單機引用，維護起來非常復雜，現在的分布式系統大部分已經離不開zookeeper（或者類似的解決方案）了，zookeeper簡化了分布式應用的管理和部署，本文就通過實例來探討學習下zookeeper。
實例
本人也是持着學習的態度來寫本篇文章的，后文的實例都未在生產環境中使用過，都是學習之后的實踐整理，偏向於應用，對其中的算法原理並未深究。有瑕疵遺漏的地方還望斧正。
配置管理
假如，我們線上有個服務器集群，成百上千台服務器，如果更新代碼的時候怎么更新呢，一台台機器去更新？就算是強大的麒麟臂爬也要累折了o(╯□╰)o，今天我們就試試用zookeeper來給服務器集群部署代碼。
原理
zookeeper提供了節點watch的功能，zookeeper的client（對外提供服務的server）監控zookeeper上的節點（znode），當節點變動的時候，client會收到變動事件和變動后的內容，基於zookeeper的這個特性，我們可以給服務器集群中的所有機器（client）都注冊watch事件，監控特定znode，節點中存儲部署代碼的配置信息，需要更新代碼的時候，修改znode中的值，服務器集群中的每一台server都會收到代碼更新事件，然后觸發調用，更新目標代碼。也可以很容易的橫向擴展，可以隨意的增刪機器，機器啟動的時候注冊監控節點事件即可。
我的機器數量有限，在本地模擬zookeeper集群和服務器集群，原理都是一樣的，可能具體實施的時候有些小異。
在本機通過3個端口模擬zookeeper集群，多個目錄模擬服務器集群。
zookeeper配置
本文只是模擬，為了方便，所有的節點全在一台機器上，效果是類似的。
創建/path/to/zookeeper/conf/zoo1.cfg，/path/to/zookeeper/conf/zoo2.cfg，/path/to/zookeeper/conf/zoo3.cfg三個文件，配置分別如下：
zoo1.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/tmp/zk1/data
dataLogDir=/tmp/zk1/log
clientPort=2181
server.1=localhost:2888:3888
server.2=localhost:2899:3899
server.3=localhost:2877:3877
zoo2.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/tmp/zk2/data
dataLogDir=/tmp/zk2/log
clientPort=2182
server.1=localhost:2888:3888
server.2=localhost:2899:3899
server.3=localhost:2877:3877
zoo3.cfg
tickTime=2000
initLimit=10
syncLimit=5
dataDir=/tmp/zk3/data
dataLogDir=/tmp/zk3/log
clientPort=2183
server.1=localhost:2888:3888
server.2=localhost:2899:3899
server.3=localhost:2877:3877
配置文件中dataDir，dataLogDir，clientPort這三個配置是有差別的。
分別在3個節點對應的dataDir中建立myid文件，里面輸入服務器標識號
echo 1 > /tmp/zk1/data/myid
echo 2 > /tmp/zk2/data/myid
echo 3 > /tmp/zk3/data/myid
啟動三個節點
bin/zkServer.sh start conf/zoo1.cfg
bin/zkServer.sh start conf/zoo2.cfg
bin/zkServer.sh start conf/zoo3.cfg
查看三個節點，可以看到1、3號接節點是follower節點，2號節點是leader節點
➜ zookeeper bin/zkServer.sh status conf/zoo3.cfg
ZooKeeper JMX enabled by default
Using config: conf/zoo3.cfg
Mode: follower
➜ zookeeper bin/zkServer.sh status conf/zoo2.cfg
ZooKeeper JMX enabled by default
Using config: conf/zoo2.cfg
Mode: leader
➜ zookeeper bin/zkServer.sh status conf/zoo1.cfg
ZooKeeper JMX enabled by default
Using config: conf/zoo1.cfg
Mode: follower
客戶端代碼模擬
from kazoo.client import KazooClient
import time
import json
import subprocess
import os
zk = KazooClient(hosts="10.222.76.148:2181, 10.222.76.148:2182, 10.222.76.148:2183")
zk.start()
FILE_DIR = os.path.split(os.path.realpath(__file__))[0]
'''切換到指定文件夾，不存在的話創建並切換'''
def go_dir(dir_name):
if os.path.exists(dir_name):
pass
else:
os.makedirs(dir_name)
os.chdir(dir_name)
'''從git獲取代碼'''
def handle_watch(data):
try:
info = json.loads(data)
if not isinstance(info, dict):
raise Exception("節點數據不是json穿")
if not "relativePath" in info:
raise Exception("節點json缺少[relativePath]字段")
if not "url" in info:
raise Exception("節點json缺少[url]字段")
if not "commitId" in info:
raise Exception("節點json缺少[commitId]字段")
chdir = os.path.join(FILE_DIR, info["relativePath"])
go_dir(chdir)
print("開始執行git clone ...")
res = subprocess.call(['git', 'status'])
if 0 == res:
res = subprocess.call(['git', 'pull'])
else:
res = subprocess.call(['git', 'clone', info["url"], '.'])
if 0 != res:
raise Exception("clone/pull代碼失敗")
commitId = subprocess.check_output(["git", "rev-parse", "HEAD"])
commitId = commitId.decode()
commitId = commitId.strip()
if commitId != info["commitId"]:
raise Exception("正確版本Id[%s]，當前版本Id[%s]" % (commitId, info["commitId"]))
except Exception as e:
print(e)
print("更新失敗")
return 1
else:
print("正確版本Id[%s]，當前版本Id[%s]" % (commitId, info["commitId"]))
print("更新成功")
return 0
finally:
pass
@zk.DataWatch("/app/business/config")
def watch_node(data, stat):
if data:
data = data.decode("utf-8")
handle_watch(data)
else:
print("數據為空")
while True:
time.sleep(100)
print('tick')
新建2個文件夾模擬server集群，復制client.py到每個服務器中
mkdir /tmp/server1
mkdir /tmp/server2
分別運行服務器上監控zookeeper節點變動的代碼:
python3 /tmp/server1/client.py
python3 /tmp/server2/client.py
啟動之后，像znode節點/app/business/config中寫入信息：
from kazoo.client import KazooClient
import json
zk = KazooClient(hosts="192.168.0.105:2181, 192.168.0.105:2182, 192.168.0.105:2183")
zk.start()
znode = {
"url": "https://github.com/aizuyan/daemon.git",
"commitId": "d5f5f144c66f0a36d452e9e13067b21d3d89b743",
"relativePath": "daemon"
}
znode = json.dumps(znode)
znode = bytes(znode, encoding="utf-8")
zk.set("/app/business/config", znode);
寫完之后，會看到上面兩個模擬的服務器會馬上收到信息:
開始執行git clone ...
On branch master
Your branch is up-to-date with 'origin/master'.
nothing to commit, working tree clean
Already up-to-date.
正確版本Id[aea4096f490ff9556124fa5059ca702cc2acdf0e]，當前版本Id[aea4096f490ff9556124fa5059ca702cc2acdf0e]
更新成功
開始執行git clone ...
On branch master
Your branch is up-to-date with 'origin/master'.
nothing to commit, working tree clean
Already up-to-date.
正確版本Id[aea4096f490ff9556124fa5059ca702cc2acdf0e]，當前版本Id[aea4096f490ff9556124fa5059ca702cc2acdf0e]
更新成功
配合上git的hook機制，可以做一個完整的系統，當代碼有更新的時候更新保存代碼信息znode上的數據，zookeeper push到所有watch這個節點的服務器，服務器更新代碼，所有服務器完成一次更新操作。
服務發現
原理
注冊一個持久節點/service/business/what，他下面的每個子節點都是一個可用服務，保存了服務的地址端口等信息，服務調用者通過zookeeper獲取/service/business/what所有子節點信息來得到可用的服務。下面的節點都是臨時節點，服務器啟動的時候會過來注冊一個臨時節點，服務器掛掉之后或主動關閉之后，臨時節點會自動移除，這樣就可以保證使用者獲取的what服務都是可用的，而且可以動態的擴容縮容。
我在本地通過docker來模擬服務器集群，集群中的所有nginx都通過各自的80端口對外提供服務。通過python-nmap定時掃描端口占用情況，如果是open狀態則可對外提供服務，如果是closed狀態，則停止對外提供服務。如果由於網絡抖動刪除了臨時節點，網絡恢復之后，會重新掃描到自身服務可用，然后創建臨時節點。
監控服務
容器中啟動一個nginx，通過一個進程監控nginx綁定的端口，當端口對外提供服務時，我就認為服務可用，當端口停止對外提供服務時，我就認為服務不可用，相應的刪除或者創建臨時節點，代碼如下所示：
from kazoo.client import KazooClient
import time
import nmap
import os
import json
ZNODE_BASE_PATH="/service/business/what/"
zk = KazooClient(
hosts="192.168.0.105:2181, 192.168.0.105:2182, 192.168.0.105:2183"
)
zk.start()
znode = ZNODE_BASE_PATH+"/s"+os.environ["PORT"]
def get_server_info():
server_info = (os.environ["URL"], os.environ["PORT"])
return server_info
def is_port_run(ip, port):
nm = nmap.PortScanner()
info = nm.scan(ip, port)
state = info['scan'][ip]['tcp'][int(port)]['state']
ret = False
if state == "open":
ret = True
return ret
server_info = get_server_info()
server_info = json.dumps(server_info).encode("utf-8")
while True:
time.sleep(2)
is_alive = is_port_run("127.0.0.1", "80")
if is_alive:
if not zk.exists(znode):
zk.create(znode, server_info, ephemeral=True, makepath=True)
else:
if zk.exists(znode):
zk.delete(znode)
docker配置
每個服務器綁定的端口信息通過docker運行的時候傳入參數決定，這樣就可以通過同一個鏡像方便的創建多個容器實例了，方便快捷，下面是dockerfile:
FROM python:latest
MAINTAINER Liam Yan
# 擴充源
RUN grep '^deb ' /etc/apt/sources.list | sed 's/^deb/deb-src/g' > /etc/apt/sources.list.d/deb-src.list
RUN apt-get update -y
RUN apt-get install nginx -y
RUN mkdir /usr/share/nginx/logs
RUN apt-get install nmap -y
RUN pip3 install python-nmap
RUN pip3 install kazoo
ADD nginx.conf /etc/nginx/nginx.conf
ADD is_alive.py /usr/local/is_alive.py
ADD run.sh /usr/local/run.sh
EXPOSE 80
CMD ["/bin/bash", "/usr/local/run.sh"]
其中nginx.conf是容器中的nginx配置文件，最簡單的就可以，只要可以驗證該服務器是否可用即可，但一定要注意，要在nginx配置文件中加入daemon off;，不然docker可能會啟動之后馬上退出。is_alive.py就是上面的用來檢測容器中的服務是否可用。run.sh內容如下，啟動一個后台監控進程之后，再啟動nginx。
nohup python3 /usr/local/is_alive.py &
nginx
創建鏡像並運行
通過dockerfile創建鏡像docker build --rm -t zookeeper_test .，創建成功之后運行5個服務器：
docker run -e "URL=127.0.0.1" -e "PORT=9099" --name yrt5 -p 9099:80 -d nzookeeper_test
docker run -e "URL=127.0.0.1" -e "PORT=9098" --name yrt4 -p 9098:80 -d nzookeeper_test
docker run -e "URL=127.0.0.1" -e "PORT=9097" --name yrt3 -p 9097:80 -d nzookeeper_test
docker run -e "URL=127.0.0.1" -e "PORT=9096" --name yrt2 -p 9096:80 -d nzookeeper_test
docker run -e "URL=127.0.0.1" -e "PORT=9095" --name yrt1 -p 9095:80 -d nzookeeper_test
啟動之后運行docker ps -a，可以看到，端口可以隨便取，只要別沖突就行，
➜ zookeeper git:(master) docker ps -a
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
5ae23ae351ed nginx_python_alive "/bin/bash /usr/loca…" Less than a second ago Up 2 seconds 0.0.0.0:9096->80/tcp yrt5
e4a961e7853e nginx_python_alive "/bin/bash /usr/loca…" 44 seconds ago Up 49 seconds 0.0.0.0:9095->80/tcp yrt4
f96650b188be nginx_python_alive "/bin/bash /usr/loca…" 35 minutes ago Up 35 minutes 0.0.0.0:9099->80/tcp yrt3
084f71db25f2 nginx_python_alive "/bin/bash /usr/loca…" 35 minutes ago Up 35 minutes 0.0.0.0:9090->80/tcp yrt2
159199bee2ed nginx_python_alive "/bin/bash /usr/loca…" 36 minutes ago Up 36 minutes 0.0.0.0:8080->80/tcp yrt1
對外提供服務
通過讀取/service/business/what節點下的所有子節點就可以獲取到所有的可用服務，代碼如下：
from kazoo.client import KazooClient
import json
def get_servers():
zk = KazooClient(hosts="192.168.0.105:2181, 192.168.0.105:2182, 192.168.0.105:2183")
zk.start()
ZNODE = "/service/business/what"
children = zk.get_children(ZNODE)
servers = []
for child in children:
child_znode = ZNODE + "/" + child
child_server_info, stat = zk.get(child_znode)
child_server_info = child_server_info.decode()
child_server_info = json.loads(child_server_info)
servers.append(child_server_info[0] + ":" + child_server_info[1])
return servers
運行之后得到可用服務列表['127.0.0.1:9096', '127.0.0.1:9095', '127.0.0.1:8080', '127.0.0.1:9099', '127.0.0.1:9090']，使用者只需要隨機選擇一個使用就可以了。
除此之外，還可以在從zookeeper獲取可用服務列表的時候加一層緩存，提高性能，額外一個進程watch/service/business/what的子節點變動，當有子節點變動的時候，刪除緩存，這樣就可以做到緩存中的內容'時時'和zookeeper中保持一致了
在kafka中的作用
至此大概對zookeeper在實際應用中的作用有了大概了解，這對我理解他在kafka中的作用有很大的幫助。在kafka中，zookeeper負責的是存儲kafka中的元數據信息，隊列的數據是不會存儲到zookeeper的，kafka是分布式的，zookeeper協調broker、producer、consumer之間的關系，當有新的角色加入的時候，更新zookeeper中的數據，其他角色就可以得到通知，並作出相應的調整，不需要停機更新配置，做到動態擴容。下圖來自互聯網，比較清晰的展示了zookeeper中存儲的kafka元信息數據。
zookeeper在kafka中充當的更像是分布式服務中配置中心的角色，所有配置信息、公共信息都丟到這里來了，此為吾之愚見，望斧正。