kafka介紹及安裝配置(windows)


  菜譜微信小程序,操作簡單,教程詳細,歡迎大家使用

  

 

  • Kafka介紹

Kafka是分布式的發布—訂閱消息系統。它最初由LinkedIn(領英)公司發布,使用Scala和Java語言編寫,與2010年12月份開源,成為Apache的頂級項目。Kafka是一個高吞吐量的、持久性的、分布式發布訂閱消息系統。

三大特點:

  高吞吐量 可以滿足每秒百萬級別消息的生產和消費——生產消費。

  持久性 有一套完善的消息存儲機制,確保數據的高效安全的持久化——中間存儲。

  分布式 基於分布式的擴展和容錯機制;Kafka的數據都會復制到幾台服務器上。當某一台故障失效時,生產者和消費者轉而使用其它的機器——整體健壯性。

核心:

  Broker:消息代理,一個Kafka節點就是一個broker,多個broker可以組成一個Kafka集群。

  Topic:主題,Kafka處理的消息的不同分類。

  Partition:Topic物理上的分組,一個topic可以分為多個partion,每個partion是一個有序的隊列。partion中每條消息都會被分配一個有序的Id(offset)

  Message:消息,是通信的基本單位,每個producer可以向一個topic(主題)發布一些消息,每個消息都屬於一個partition

  Producer:消息和數據的生產者,向Kafka的一個topic發布消息。

  Consumer:消息和數據的消費者,定於topic並處理其發布的消息。

  • 安裝配置

kafka依賴zookeeper,在Kafka的設計中,選擇了使用Zookeeper來進行所有Broker的管理,體現在zookeeper上會有一個專門用來進行Broker服務器列表記錄的點,節點路徑為/brokers/ids;此外生產者、消費者的負載均衡可使用zookeeper實現等等。因此需要安裝zookeeper

下載地址:

  zookeeper:鏈接:https://pan.baidu.com/s/1iXbLPFzeKTeRaab5CSrD9Q  提取碼:ipv9 

 

  kafka:鏈接:https://pan.baidu.com/s/1BhT4XtMiU_J6PyNb7DtciQ  提取碼:sbd5 

 

安裝:

  zookeeper:

    1.下載解壓(以C:\zookeeper3.4為例),將C:\zookeeper3.4\conf下的zoo_sample.cfg文件更名為zoo.cfg

       

    2.打開zoo.cfg,編輯dataDir=c:\\zookeeper3.4\\temp

      

    3.配置環境變量,系統變量-新建ZOOKEEPER_HOME;並在系統變量path中增加“%ZOOKEEPER_HOME%\bin;”

      

      

    4.打開cmd窗口,輸入zkServer啟動,默認端口2181;使用kafka期間保持zookeeper啟動

      

      

  kafka:

    1.下載解壓(以C:\kafka2.12為例),打開c:\kafka2.12\config\server.properties,編輯log.dirs=c:\\kafka2.12\\kafka-logs, zookeeper.connect=localhost:2181

    2.把c:\kafka2.12\bin\window\kafka-run-class.bat 中179行%CLASSPATH%加上雙引號

      

    3.打開cmd窗口,進入kafka根目錄下,輸入 .\bin\windows\kafka-server-start.bat .\config\server.properties 運行

      

 至此,kafka的安裝配置完成;下篇文章將介紹springboot集成kafka,及其一些配置詳解。

最后說一嘴,關於多個MQ的選型問題,適合項目的就是最好的,適不適合根據各個MQ的優劣勢決定。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM