菜譜微信小程序,操作簡單,教程詳細,歡迎大家使用
- Kafka介紹
Kafka是分布式的發布—訂閱消息系統。它最初由LinkedIn(領英)公司發布,使用Scala和Java語言編寫,與2010年12月份開源,成為Apache的頂級項目。Kafka是一個高吞吐量的、持久性的、分布式發布訂閱消息系統。
三大特點:
高吞吐量 可以滿足每秒百萬級別消息的生產和消費——生產消費。
持久性 有一套完善的消息存儲機制,確保數據的高效安全的持久化——中間存儲。
分布式 基於分布式的擴展和容錯機制;Kafka的數據都會復制到幾台服務器上。當某一台故障失效時,生產者和消費者轉而使用其它的機器——整體健壯性。
核心:
Broker:消息代理,一個Kafka節點就是一個broker,多個broker可以組成一個Kafka集群。
Topic:主題,Kafka處理的消息的不同分類。
Partition:Topic物理上的分組,一個topic可以分為多個partion,每個partion是一個有序的隊列。partion中每條消息都會被分配一個有序的Id(offset)
Message:消息,是通信的基本單位,每個producer可以向一個topic(主題)發布一些消息,每個消息都屬於一個partition
Producer:消息和數據的生產者,向Kafka的一個topic發布消息。
Consumer:消息和數據的消費者,定於topic並處理其發布的消息。
安裝配置
kafka依賴zookeeper,在Kafka的設計中,選擇了使用Zookeeper來進行所有Broker的管理,體現在zookeeper上會有一個專門用來進行Broker服務器列表記錄的點,節點路徑為/brokers/ids;此外生產者、消費者的負載均衡可使用zookeeper實現等等。因此需要安裝zookeeper
下載地址:
zookeeper:鏈接:https://pan.baidu.com/s/1iXbLPFzeKTeRaab5CSrD9Q 提取碼:ipv9
kafka:鏈接:https://pan.baidu.com/s/1BhT4XtMiU_J6PyNb7DtciQ 提取碼:sbd5
安裝:
zookeeper:
1.下載解壓(以C:\zookeeper3.4為例),將C:\zookeeper3.4\conf下的zoo_sample.cfg文件更名為zoo.cfg
2.打開zoo.cfg,編輯dataDir=c:\\zookeeper3.4\\temp
3.配置環境變量,系統變量-新建ZOOKEEPER_HOME;並在系統變量path中增加“%ZOOKEEPER_HOME%\bin;”
4.打開cmd窗口,輸入zkServer啟動,默認端口2181;使用kafka期間保持zookeeper啟動
kafka:
1.下載解壓(以C:\kafka2.12為例),打開c:\kafka2.12\config\server.properties,編輯log.dirs=c:\\kafka2.12\\kafka-logs, zookeeper.connect=localhost:2181
2.把c:\kafka2.12\bin\window\kafka-run-class.bat 中179行%CLASSPATH%加上雙引號
3.打開cmd窗口,進入kafka根目錄下,輸入 .\bin\windows\kafka-server-start.bat .\config\server.properties 運行
至此,kafka的安裝配置完成;下篇文章將介紹springboot集成kafka,及其一些配置詳解。
最后說一嘴,關於多個MQ的選型問題,適合項目的就是最好的,適不適合根據各個MQ的優劣勢決定。