Kafka得介紹與單節點部署

Kafka是一種高吞吐量的分布式發布訂閱消息系統，它可以處理消費者規模的網站中的所有動作流數據。 這種動作（網頁瀏覽，搜索和其他用戶的行動）是在現代網絡上的許多社會功能的一個關鍵因素。 這些數據通常是由於吞吐量的要求而通過處理日志和日志聚合來解決。

Kafka是一種高吞吐量的分布式發布訂閱消息系統，有如下特性：

• 通過O(1)的磁盤數據結構提供消息的持久化，這種結構對於即使數以TB的消息存儲也能夠保持長時間的穩定性能。
• 高吞吐量即使是非常普通的硬件Kafka也可以支持每秒數百萬的消息。
• 支持通過Kafka服務器和消費機集群來分區消息。
• 支持 Hadoop並行數據加載。

Kafka單節點部署

 

操作系統：CentOS Linux release 7.1.1503 (Core)

jkd版本：1.7.0_79 不限於1.8版本

zookeeper版本：zookeeper-3.4.8

說明：確保zookeeper集群已經在上面三台服務器上部署成功。在192.168.1.39服務器上偽集群。

 

下載kafka

訪問網址：http://kafka.apache.org/

左側導航欄最下面有個Download按鈕，點進去

進入網址：http://kafka.apache.org/downloads

我寫這篇筆記的時候，官方建議下載 kafka_2.11-1.0.0.tgz，我們選擇編譯好的tar包，即上圖中紅色框框標記的

 

解壓kafka

[root@test02 src]# tar -zxvf kafka_2.11-1.0.0.tgz

[root@test02 src]# mv kafka_2.11-1.0.0 /data/kafka

移動並重命名

 

配置kafka

[root@test02 src]# cd /data/kafka/config/

[root@test02 config]# vim server.properties

修改

listeners=PLAINTEXT://192.168.1.139:9092

注意配置文件中帶有localhost的配置文件 要改成zookeeper部署得ip

 

開啟相關端口

kafka通信默認是通過9092端口，也就是我們上面配的listeners

[root@test02 kafka]# ./bin/kafka-server-start.sh -daemon ./config/server.properties

jps命令檢查是否啟動成功

[root@test02 kafka]# jps
7131 Kafka
1975 QuorumPeerMain
8223 Jps
1961 QuorumPeerMain
1963 QuorumPeerMain

telnet登錄

[root@test02 kafka]# telnet 192.168.1.139 9092
Trying 192.168.1.139...
Connected to 192.168.1.139.
Escape character is '^]'.

成功

 

本文參考https://www.cnblogs.com/subendong/p/7786547.html