kafka部署在雲服務器(centOS 6.5),本地遠程連接問題


 

kafka簡介

Apache Kafka發源於LinkedIn,於2011年成為Apache的孵化項目,隨后於2012年成為Apache的主要項目之一。Kafka使用Scala和Java進行編寫。Apache Kafka是一個快速、可擴展的、高吞吐、可容錯的分布式發布訂閱消息系統。Kafka具有高吞吐量、內置分區、支持數據副本和容錯的特性,適合在大規模消息處理場景中使用。

 

安裝步驟

  kafka的安裝需要依賴於jdk,和zookeeper。(zk在這里就不多做介紹啦)

  JDK安裝

    jdk最好選用1.8以上的版本,小編這里用的是1.8的

    采用xftp5將jdk1.8與kafka2.12拷貝至服務器。(因為只做了測試,所有目錄規范沒有整理,大家不要像我一樣喔)

              

    tar -zxvf ******* 將jdk解壓

    接下來配置環境變量 輸入vi ~/.bash_profile進入配置jdk環境變量

    

    將jdk放置目錄拷貝編寫JAVA_HOME=${jdk.home}

    在PATH目錄后追加:$JAVA_HOME/bin

    操作完成后保存退出~

    退出記得重新保存環境,讓新配置的環境生效 輸入source ~/.bash_profile

    接下來輸入java -version 查看jdk版本也能確保jdk是否安裝成功~(如果沒有反應代表安裝失敗)

    

    這樣JDK就大功告成了~

  Kafka安裝

    首先按老辦法用Xftp5將kafka遠程復制到linux下並解壓。

    然后進入config/server.properties下添加(這一步尤為重要)

    

    broker.id主要做集群時區別的編號

    port 默認kafka端口號

    host.name 設置為阿里雲內網地址

    advertised.host.name 設置為阿里雲外網映射地址

    接下打開config/zookeeper.properties(新版本kafka自帶zookeeper所以沒有安裝zookeeper)

    配置如下:

      

   啟動之前大家可以創建一些topic使用,參考官網命令 http://kafka.apache.org/quickstart

   在啟動時可以加上nohup ........ & 讓kafka在后台運行,這樣我們就可以關閉遠程窗口,在IDE中隨心所欲的使用kafka不用擔心每次還需要啟動kafka

    注:如果想關閉可以通過kill 9 進程id 殺死進程重新kafka

   然后就先啟動zk

      nohup ./bin/zookeeper-server-start.sh ./config/zookeeper.properties &

   zk啟動成功后,這也窗口不要關,另起一個窗口啟動kafka

      nohup ./bin/kafka-server-start.sh ./config/server.properties &

   接下來啟動你的IDE

      IDE配置如下:

        

        注意:本例子小編采用spring-cloud-stream集成kafka 來測試的

    運行后:

      

      以上kafka日志已經打印並運行成功~

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM