Kafka-分區日志文件的清理原理 清理 一般情況下，kafka會根據設置的時間保留數據，把熬過時效的舊數據刪除掉。 早於保留時間的舊事件會被刪除，為每個鍵保留最新的值，從而達到清理的效果。只有當應用程序生成的事件里包含了鍵值對時，為這些主題設置compact策略才有意義。如果主題包含 ...

兩張圖讀懂kafka應用： Kafka 中的術語 　　 broker：中間的kafka cluster，存儲消息，是由多個server組成的集群。 　　topic：kafka給消息提供的分類方式。broker用來存儲不同topic的消息數據。 　　producer：往broker中 ...

場景： kafka先批量拉取消息，完了將拉下來的消息逐條消費，假如此次共拉取40條消息，但在處理第31條時，線程被停掉，就會導致已消費消息offet不會被提交，接下來已經被消費的30條記錄還會被重復消費，這就是kafka重復消費的另一場景； 解決思路： 解決此類重復消費的方式：將能夠唯一標識 ...

Kafka常用腳本 在Kafka安裝目錄下（$KAFKA_HOME/bin），提供了很多內置的腳本供我們使用。使用腳本可以測試Kafka的大多數功能，下面我們就腳本的使用作出說明。 啟動broker bin/kafka-server-start.sh腳本提供了啟動broker的功能 ...

一、Broker啟動 　　當每個 broker 啟動時，會在 ZooKeeper 中的 /brokers/ids 路徑下創建⼀個節點來注冊⾃⼰，節點 ID 為配置⽂件中的 broker.id 參數， ...

Kafka-硬件的選擇 磁盤吞吐量（重要，影響生產者） 生產者客戶端的性能直接受到服務器端磁盤吞吐量的影響。 生產者生成的消息必須被提交到服務器保存，大多數客戶端在發送消息后會一直等待，直到至少一個服務器確認消息已經成功提交為止。 磁盤寫入速度越快，生成消息的延遲就越低。 磁盤容量（制約 ...

本篇文檔使用kafka版本為：0.9.0.0 問題1、在現場項目中，kafka連接正常一直無數據？ 1）通常是確認配置是否正確，包含任務配置，ip端口號； 2）查看topic offset：是否有新數據進來，數據是否被消費掉了， 3）然后檢查kafka服務是否正常，查看服務是否有節點 ...

目錄 1、Kafka概念 2、kafka架構 3、Kafka消費模型 4、實現Kafka的生產端 5、實現Kafka的消費端 6、Flume整合Kafka 1、調整flume的配置文件，監控namenode的日志文件 2、啟動 ...