zookeeper 和 kafka 安裝

zookeeper

官方網址

• curl -L -O http://mirror.bit.edu.cn/apache/zookeeper/stable/apache-zookeeper-3.5.5.tar.gz

• tar -zxvf apache-zookeeper-3.5.5.tar.gz

• mv apache-zookeeper-3.5.5 /usr/local/

• cd /usr/local/apache-zookeeper-3.5.5

• cp conf/zoo_sample.cfg conf/zoo.cfg

• vim conf/zoo.cfg

tickTime=2000
dataDir=/usr/local/apache-zookeeper-3.5.5/data
clientPort=2181

• ./bin/zkServer.sh start #失敗 cat logs/*.log

[test01@test01s-Mac-mini /usr/local/apache-zookeeper-3.5.5]$cat logs/zookeeper-test01-server-test01s-Mac-mini.local.out
Error: Could not find or load main class org.apache.zookeeper.server.quorum.QuorumPeerMain
Caused by: java.lang.ClassNotFoundException: org.apache.zookeeper.server.quorum.QuorumPeerMain

• vim /etc/profile

export JAVA_HOME="/usr/local/jdk-11.0.1.jdk/Contents/Home/"
export JRE_HOME=$JAVA_HOME/jre
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=$JAVA_HOME/lib/*.jar

• 然后在運行程序,還是運行失敗 然后查看 包里的 README.md
• 執行:

 mvn clean install # 漫長的時間,不知道等了多久
mvn javadoc:aggregate

kafka

kafka 基本概念:

• kafka可以以一個或多個服務以集群的方式去瀏覽多個數據中心
• kafka集群存儲 記錄流 是以 主題(topic)類別的 方式 去存儲的
• 每條 記錄 都 以 鍵,值,時間戳 組成

四個核心的api:

• Productor api:(生產者) 允許 應用去發布 1個或多個的 主題(topic) 的記錄流
• Consumer api(消費者): 允許 應用去 訂閱 1個或多個 主題(topic), 處理 生產的 記錄流 給 消費者
• Streams api(流): 允許 應用 去 扮演一個 處理流的 角色, 消費 一個 來自1個或者多個的主題的 輸入流, 和 生產 1個或多個主題的 輸出流, 有效的 改造 輸入輸出流
• Connector api(連接器): 允許 構建 和重復 運行 消費者和 生產者 去 連接到 kafka 存在的 應用或者數據系統, 例如 關系數據庫的連接器可能捕獲對表的每個更改。