linux上安裝Kafka


寫個一篇kafka文章了。但是那都是針對性能來說的,下面看一下完整的,kafka步驟:

安裝單機三個 Broker 的 Kafka 集群,使用 Kafka 集群發布和接收消息。學完本課程,對 Kafka 有個初步的認識

2.1 Kafka 簡介

Kafka 是一個高吞吐量的分布式發布訂閱消息系統,解耦了消息生產者和消息消費者。與大數據框架 Spark 配合使用,可以實現數據的實時流處理,目前做大數據相關的項目,都會用到 Kafka 消息系統。

理解 Kafka 的整體架構,可以用現實生活中我們經常做的一件事——收發郵件來做類比。公司中同事之間的郵件交流經常發生,比如小王給小李發郵件,郵件會先被發送到郵件服務器(如新浪郵件服務器),小李可以立即收取郵件,也可以到第二天才收取郵件。

郵件的發送過程用下圖來表示:

此處輸入圖片的描述

小王發送郵件,發送的郵件存儲到郵件服務器;小李從郵件服務器上讀取郵件。這里的郵件服務器相當於一個中間人,用於存儲小王和小李交互的數據(郵件)。

Kafka 的整體架構實現了上述例子的類似功能,對比上面郵件發送的示意圖,用 Kafka 來實現類似功能:

此處輸入圖片的描述

生產者生產消息,將消息發送到 Kafka 服務器;消費者消費消息,從 Kafka 服務器讀取消息。這里的 Kafka 服務器相當於一個中間人,用於存儲生產者和消費者交互的數據(消息)。

 

三、實驗步驟

3.1 安裝 Kafka 集群

在實驗樓環境中,打開 xfce 終端,依次執行如下命令:

#切換到 opt 目錄 cd /opt #下載 Kafka 軟件包到當前目錄中 sudo wget http://labfile.oss.aliyuncs.com/courses/859/kafka_2.10-0.10.2.1.tgz 

此處輸入圖片的描述

接着運行如下命令:

#解壓 Kafka 軟件包 sudo tar –zxvf kafka_2.10-0.10.2.1.tgz 

此處輸入圖片的描述

接着運行如下命令:

#重命名 Kafka 軟件包文件夾名稱為 kafka sudo mv kafka_2.10-0.10.2.1 kafka 

此處輸入圖片的描述

依次接着運行如下命令:

#進入到kafka軟件包的 config 目錄 cd /opt/kafka/config #列出當前 config 文件下的文件,可以看到有個 server.properties 文件 ll #復制 server.properties 文件為 server-1.properties sudo cp server.properties server-1.properties sudo cp #復制 server.properties 文件為 server-2.properties server.properties server-2.properties 

此處輸入圖片的描述

到目前為止,我們下載了 Kafka 軟件包,解壓了 Kafka 軟件包,重命名 Kafka 軟件目錄名稱,復制了 Kafka 配置文件

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM