寫個一篇kafka文章了。但是那都是針對性能來說的,下面看一下完整的,kafka步驟:
安裝單機三個 Broker 的 Kafka 集群,使用 Kafka 集群發布和接收消息。學完本課程,對 Kafka 有個初步的認識
2.1 Kafka 簡介
Kafka 是一個高吞吐量的分布式發布訂閱消息系統,解耦了消息生產者和消息消費者。與大數據框架 Spark 配合使用,可以實現數據的實時流處理,目前做大數據相關的項目,都會用到 Kafka 消息系統。
理解 Kafka 的整體架構,可以用現實生活中我們經常做的一件事——收發郵件來做類比。公司中同事之間的郵件交流經常發生,比如小王給小李發郵件,郵件會先被發送到郵件服務器(如新浪郵件服務器),小李可以立即收取郵件,也可以到第二天才收取郵件。
郵件的發送過程用下圖來表示:
小王發送郵件,發送的郵件存儲到郵件服務器;小李從郵件服務器上讀取郵件。這里的郵件服務器相當於一個中間人,用於存儲小王和小李交互的數據(郵件)。
Kafka 的整體架構實現了上述例子的類似功能,對比上面郵件發送的示意圖,用 Kafka 來實現類似功能:
生產者生產消息,將消息發送到 Kafka 服務器;消費者消費消息,從 Kafka 服務器讀取消息。這里的 Kafka 服務器相當於一個中間人,用於存儲生產者和消費者交互的數據(消息)。
三、實驗步驟
3.1 安裝 Kafka 集群
在實驗樓環境中,打開 xfce 終端,依次執行如下命令:
#切換到 opt 目錄 cd /opt #下載 Kafka 軟件包到當前目錄中 sudo wget http://labfile.oss.aliyuncs.com/courses/859/kafka_2.10-0.10.2.1.tgz
接着運行如下命令:
#解壓 Kafka 軟件包 sudo tar –zxvf kafka_2.10-0.10.2.1.tgz
接着運行如下命令:
#重命名 Kafka 軟件包文件夾名稱為 kafka sudo mv kafka_2.10-0.10.2.1 kafka
依次接着運行如下命令:
#進入到kafka軟件包的 config 目錄 cd /opt/kafka/config #列出當前 config 文件下的文件,可以看到有個 server.properties 文件 ll #復制 server.properties 文件為 server-1.properties sudo cp server.properties server-1.properties sudo cp #復制 server.properties 文件為 server-2.properties server.properties server-2.properties
到目前為止,我們下載了 Kafka 軟件包,解壓了 Kafka 軟件包,重命名 Kafka 軟件目錄名稱,復制了 Kafka 配置文件