前面兩篇文章介紹了Zookeeper是什么和可以干什么,那么接下來我們就實際的接觸一下Zookeeper這個東西,看看具體如何使用,有個大體的感受,后面再描述某些地方的時候也能在大腦中有具體的印象。本文只關注分布式模式的zookeeper,因為這也是在生產環境的唯一部署方式,單機的zookeeper可以在測試和開發環境使用,但是單機環境的zookeeper就不再是zookeeper了。
安裝配置很簡單,官網也有介紹,這里就只對后面的文章有提到的點說明下。
配置-zoo.cfg
這是zookeeper的主要配置文件,因為Zookeeper是一個集群服務,集群的每個節點都需要這個配置文件。為了避免出差錯,zoo.cfg這個配置文件里沒有跟特定節點相關的配置,所以每個節點上的這個zoo.cfg都是一模一樣的配置。這樣就非常便於管理了,比如我們可以把這個文件提交到版本控制里管理起來。其實這給我們設計集群系統的時候也是個提示:集群系統一般有很多配置,應該盡量將通用的配置和特定每個服務的配置(比如服務標識)分離,這樣通用的配置在不同服務之間copy就ok了。ok,下面來介紹一些配置點:
clientPort=2181
client port,顧名思義,就是客戶端連接zookeeper服務的端口。這是一個TCP port。
dataDir=/data
dataLogDir=/datalog
dataLogDir如果沒提供的話使用的則是dataDir。zookeeper的持久化都存儲在這兩個目錄里。dataLogDir里是放到的順序日志(WAL)。而dataDir里放的是內存數據結構的snapshot,便於快速恢復。為了達到性能最大化,一般建議把dataDir和dataLogDir分到不同的磁盤上,這樣就可以充分利用磁盤順序寫的特性。
下面是集群中服務的列表
server.1=127.0.0.1:20881:30881
server.2=127.0.0.1:20882:30882
server.3=127.0.0.1:20883:30883
在上面的例子中,我把三個zookeeper服務放到同一台機器上。上面的配置中有兩個TCP port。后面一個是用於Zookeeper選舉用的,而前一個是Leader和Follower或Observer交換數據使用的。我們還注意到server.后面的數字。這個就是myid(關於myid是什么下一節會介紹)。
上面這幾個是一些基本配置。
還有像 tickTime,這是個時間單位定量。比如tickTime=1000,這就表示在zookeeper里1 tick表示1000 ms,所有其他用到時間的地方都會用多少tick來表示。
比如 syncLimit = 2 就表示fowller與leader的心跳時間是2 tick。
maxClientCnxns -- 對於一個客戶端的連接數限制,默認是60,這在大部分時候是足夠了。但是在我們實際使用中發現,在測試環境經常超過這個數,經過調查發現有的團隊將幾十個應用全部部署到一台機器上,以方便測試,於是這個數字就超過了。
minSessionTimeout, maxSessionTimeout -- 一般,客戶端連接zookeeper的時候,都會設置一個session timeout,如果超過這個時間client沒有與zookeeper server有聯系,則這個session會被設置為過期(如果這個session上有臨時節點,則會被全部刪除,這就是實現集群感知的基礎,后面的文章會介紹這一點)。但是這個時間不是客戶端可以無限制設置的,服務器可以設置這兩個參數來限制客戶端設置的范圍。
autopurge.snapRetainCount,autopurge.purgeInterval -- 客戶端在與zookeeper交互過程中會產生非常多的日志,而且zookeeper也會將內存中的數據作為snapshot保存下來,這些數據是不會被自動刪除的,這樣磁盤中這樣的數據就會越來越多。不過可以通過這兩個參數來設置,讓zookeeper自動刪除數據。autopurge.purgeInterval就是設置多少小時清理一次。而autopurge.snapRetainCount是設置保留多少個snapshot,之前的則刪除。
不過如果你的集群是一個非常繁忙的集群,然后又碰上這個刪除操作,可能會影響zookeeper集群的性能,所以一般會讓這個過程在訪問低谷的時候進行,但是遺憾的是zookeeper並沒有設置在哪個時間點運行的設置,所以有的時候我們會禁用這個自動刪除的功能,而在服務器上配置一個cron,然后在凌晨來干這件事。
以上就是zoo.cfg里的一些配置了。下面就來介紹myid。
配置-myid
在dataDir里會放置一個myid文件,里面就一個數字,用來唯一標識這個服務。這個id是很重要的,一定要保證整個集群中唯一。zookeeper會根據這個id來取出server.x上的配置。比如當前id為1,則對應着zoo.cfg里的server.1的配置。
2. 而且在后面我們介紹leader選舉的時候,這個id的大小也是有意義的。
OK,上面就是配置的講解了,現在我們可以啟動zookeeper集群了。進入到bin目錄,執行 ./zkServer.sh start即可。