kafka 啟動與配置


[root@node3 ~]# cd /usr/local/kafka/
[root@node3 kafka]# ./bin/kafka-server-start.sh -daemon config/server.properties
[root@node3 kafka]# jps
2944 QuorumPeerMain
3350 DFSZKFailoverController
3225 DataNode
3612 Kafka
2637 JournalNode
3629 Jps
[root@node2 kafka]#


配置

#broker的全局唯一編號,不能重復
broker.id=0

#用來監聽鏈接的端口,producer或consumer將在此端口建立連接
port=9092

#處理網絡請求的線程數量
num.network.threads=3

#用來處理磁盤IO的線程數量
num.io.threads=8

#發送套接字的緩沖區大小
socket.send.buffer.bytes=102400

#接受套接字的緩沖區大小
socket.receive.buffer.bytes=102400

#請求套接字的緩沖區大小
socket.request.max.bytes=104857600

#kafka消息存放的路徑
log.dirs=/export/servers/logs/kafka

#topic在當前broker上的分片個數
num.partitions=2

#用來恢復和清理data下數據的線程數量
num.recovery.threads.per.data.dir=1

#segment文件保留的最長時間,超時將被刪除
log.retention.hours=168

#滾動生成新的segment文件的最大時間
log.roll.hours=168

#日志文件中每個segment的大小,默認為1G
log.segment.bytes=1073741824

#周期性檢查文件大小的時間
log.retention.check.interval.ms=300000

#日志清理是否打開   
log.cleaner.enable=true

#broker需要使用zookeeper保存meta數據
zookeeper.connect=192.168.52.106:2181,192.168.52.107:2181,192.168.52.108:2181

#zookeeper鏈接超時時間
zookeeper.connection.timeout.ms=6000

#partion buffer中,消息的條數達到閾值,將觸發flush到磁盤
log.flush.interval.messages=10000

#消息buffer的時間,達到閾值,將觸發flush到磁盤
log.flush.interval.ms=3000

#刪除topic需要server.properties中設置delete.topic.enable=true否則只是標記刪除
delete.topic.enable=true

#此處的host.name為本機IP(重要),如果不改,則客戶端會拋出:Producer connection to localhost:9092 unsuccessful 錯誤!
host.name=kafka01



免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM