Linux下Kafka單機安裝配置方法(圖文)


Kafka是一個分布式的、可分區的、可復制的消息系統。它提供了普通消息系統的功能,但具有自己獨特的設計。這個獨特的設計是什么樣的呢

 

介紹

Kafka是一個分布式的、可分區的、可復制的消息系統。它提供了普通消息系統的功能,但具有自己獨特的設計。這個獨特的設計是什么樣的呢?

首先讓我們看幾個基本的消息系統術語:

•Kafka將消息以topic為單位進行歸納。
•將向Kafka topic發布消息的程序成為producers.
•將預訂topics並消費消息的程序成為consumer.
•Kafka以集群的方式運行,可以由一個或多個服務組成,每個服務叫做一個broker.
producers通過網絡將消息發送到Kafka集群,集群向消費者提供消息,如下圖所示:

客戶端和服務端通過TCP協議通信。Kafka提供了Java客戶端,並且對多種語言都提供了支持。

說明:

操作系統:CentOS 6.x 64位

Kafka版本:kafka_2.11-0.8.2.1

實現目的:

單機安裝配置kafka

具體操作:

一、關閉防火牆

關閉: service iptables stop
禁用: chkconfig iptables off

二、安裝JDK

kafka運行需要JDK支持

1、下載JDK

http://download.oracle.com/otn-pub/java/jdk/7u79-b15/jdk-7u79-linux-x64.rpm

注意:直接復制到下載工具進行下載,版本請使用JDK7,JDK8有可能不兼容kafka_2.11-0.8.2.1

下載完成之后,上傳到/usr/local/src目錄下

2、安裝JDK

cd /usr/local/src

chmod +x jdk-7u79-linux-x64.rpm # 添加執行權限

rpm -ivh jdk-7u79-linux-x64.rpm #安裝

安裝完成之后,可以cd /usr/java/ 到安裝目錄查看

3、添加JDK到系統環境變量

vi /etc/profile #編輯,在最后添加以下代碼

JAVA_HOME=/usr/java/jdk1.7.0_79

PATH=$PATH:$JAVA_HOME/bin:/usr/bin:/usr/sbin:/bin:/sbin:/usr/X11R6/bin

CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar

export JAVA_HOME

export PATH

export CLASSPATH

:wq! #保存退出

source /etc/profile #使配置文件立即生效

java -version #查看JDK版本信息

到此,JDK安裝完成。

三、安裝kafka

1、下載kafka

cd /usr/local/src

wget http://archive.apache.org/dist/kafka/0.8.2.1/kafka_2.11-0.8.2.1.tgz

注意,kafka_2.11-0.8.2.1.tgz版本是已經編譯好的版本,解壓就能使用。

tar -xzvf kafka_2.11-0.8.2.1.tgz #解壓

mv kafka_2.11-0.8.2.1 /usr/local/kafka #移動到安裝目錄

2、配置kafka

mkdir /usr/local/kafka/log/kafka #創建kafka日志目錄

cd /usr/local/kafka/config #進入配置目錄

vi server.properties #編輯修改相應的參數

broker.id=0

port=9092 #端口號

host.name=192.168.5.56 #服務器IP地址,修改為自己的服務器IP

log.dirs=/usr/local/kafka/log/kafka #日志存放路徑,上面創建的目錄

zookeeper.connect=localhost:2181 #zookeeper地址和端口,單機配置部署,localhost:2181

:wq! #保存退出

3、配置zookeeper

mkdir /usr/local/kafka/zookeeper #創建zookeeper目錄

mkdir /usr/local/kafka/log/zookeeper #創建zookeeper日志目錄

cd /usr/local/kafka/config #進入配置目錄

vi zookeeper.properties #編輯修改相應的參數

dataDir=/usr/local/kafka/zookeeper #zookeeper數據目錄

dataLogDir=/usr/local/kafka/log/zookeeper #zookeeper日志目錄

clientPort=2181

maxClientCnxns=100

tickTime=2000

initLimit=10

syncLimit=5

:wq! #保存退出

四、創建啟動、關閉kafka腳本

cd /usr/local/kafka

#創建啟動腳本

vi kafkastart.sh #編輯,添加以下代碼

#!/bin/sh

#啟動zookeeper

/usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties &

sleep 3 #等3秒后執行

#啟動kafka

/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties &

:wq! #保存退出

#創建關閉腳本

vi kafkastop.sh #編輯,添加以下代碼

#!/bin/sh

#關閉zookeeper

/usr/local/kafka/bin/zookeeper-server-stop.sh /usr/local/kafka/config/zookeeper.properties &

sleep 3 #等3秒后執行

#關閉kafka

/usr/local/kafka/bin/kafka-server-stop.sh /usr/local/kafka/config/server.properties &

:wq! #保存退出

#添加腳本執行權限

chmod +x kafkastart.sh

chmod +x kafkastop.sh

五、設置腳本開機自動執行

vi /etc/rc.d/rc.local #編輯,在最后添加一行

sh /usr/local/kafka/kafkastart.sh & #設置開機自動在后台運行腳本

:wq! #保存退出

sh /usr/local/kafka/kafkastart.sh #啟動kafka

sh /usr/local/kafka/kafkastop.sh #關閉kafka

至此,Linux下Kafka單機安裝配置完成。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM