轉,原文:https://blog.csdn.net/zfszhangyuan/article/details/53389916
------------------------------------------------
這個問題,在線上集群環境一般不容易出現,因為相關的日志文件參數都已經配置好了,而且經受住時間的的驗證了。
作為新手,我在本地配置了一個單機kafka,用得是kafka自帶的zookeeper服務。
kafka安裝很簡單如下:
1).下載kafka:
wget http://apache.fayea.com/kafka/0.10.1.0/kafka_2.10-0.10.1.0.tgz
2) 解壓:
tar -zxf kafka_2.10-0.10.1.0.tgz
3)啟動zookeeper,kafka
> bin/zookeeper-server-start.sh config/zookeeper.properties &
[2013-04-22 15:01:37,495] INFO Reading configuration from: config/zookeeper.properties (org.apache.zookeeper.server.quorum.QuorumPeerConfig)
...
現在啟動Kafka:
> bin/kafka-server-start.sh config/server.properties &
[2013-04-22 15:01:47,028] INFO Verifying properties (kafka.utils.VerifiableProperties)
[2013-04-22 15:01:47,051] INFO Property socket.send.buffer.bytes is overridden to 1048576 (kafka.utils.VerifiableProperties)
...
備注:要掛到后台使用:
4)新建一個TOPIC
> bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic my-replicated-topic
5)查看創建的topic list
> bin/kafka-topics.sh --list --zookeeper localhost:2181
6)查看topic詳情
> bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic
這個時候我們給topic添加一點數據:
> bin/kafka-console-producer.sh --broker-list localhost:9092 --topic my-replicated-topic
重啟電腦后 啟動zookeeper kafka后發現topic沒了
這里簡略一點:有兩個地方需要配置一下 第一個是zookeeper的數據目錄 和日志目錄(主要是數據目錄),另外一個就是kafka本事的server.properties
1.配置zookeeper的把目錄從tmp目錄修改成自定義目錄
2.kafka的日志目錄重新配置不要放在tmp下面 ,另外設置一下數據 flush策略,保證數據已經flush到磁盤上
下面是flush策略的修改
本文對其他配置沒有做過多介紹,只是把kafka數據落地的配置羅列了一下。
配置好,重啟,問題解決。
————————————————
版權聲明:本文為CSDN博主「zfszhangyuan」的原創文章,遵循 CC 4.0 BY-SA 版權協議,轉載請附上原文出處鏈接及本聲明。
原文鏈接:https://blog.csdn.net/zfszhangyuan/article/details/53389916