kafka沒配置好,導致服務器重啟之后,topic丟失,topic里面的消息也丟失


轉,原文:https://blog.csdn.net/zfszhangyuan/article/details/53389916

------------------------------------------------

這個問題,在線上集群環境一般不容易出現,因為相關的日志文件參數都已經配置好了,而且經受住時間的的驗證了。

作為新手,我在本地配置了一個單機kafka,用得是kafka自帶的zookeeper服務。

kafka安裝很簡單如下:

1).下載kafka:


wget http://apache.fayea.com/kafka/0.10.1.0/kafka_2.10-0.10.1.0.tgz
2) 解壓:


tar -zxf kafka_2.10-0.10.1.0.tgz
3)啟動zookeeper,kafka


> bin/zookeeper-server-start.sh config/zookeeper.properties &
[2013-04-22 15:01:37,495] INFO Reading configuration from: config/zookeeper.properties (org.apache.zookeeper.server.quorum.QuorumPeerConfig)
...


現在啟動Kafka:
> bin/kafka-server-start.sh config/server.properties &
[2013-04-22 15:01:47,028] INFO Verifying properties (kafka.utils.VerifiableProperties)
[2013-04-22 15:01:47,051] INFO Property socket.send.buffer.bytes is overridden to 1048576 (kafka.utils.VerifiableProperties)
...
備注:要掛到后台使用:


4)新建一個TOPIC
> bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic my-replicated-topic


5)查看創建的topic list
> bin/kafka-topics.sh --list --zookeeper localhost:2181


6)查看topic詳情
> bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic

 

這個時候我們給topic添加一點數據:

> bin/kafka-console-producer.sh --broker-list localhost:9092 --topic my-replicated-topic

重啟電腦后 啟動zookeeper kafka后發現topic沒了

這里簡略一點:有兩個地方需要配置一下 第一個是zookeeper的數據目錄 和日志目錄(主要是數據目錄),另外一個就是kafka本事的server.properties

1.配置zookeeper的把目錄從tmp目錄修改成自定義目錄

 

2.kafka的日志目錄重新配置不要放在tmp下面 ,另外設置一下數據 flush策略,保證數據已經flush到磁盤上

 

下面是flush策略的修改

 

 

本文對其他配置沒有做過多介紹,只是把kafka數據落地的配置羅列了一下。

配置好,重啟,問題解決。
————————————————
版權聲明:本文為CSDN博主「zfszhangyuan」的原創文章,遵循 CC 4.0 BY-SA 版權協議,轉載請附上原文出處鏈接及本聲明。
原文鏈接:https://blog.csdn.net/zfszhangyuan/article/details/53389916


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM