1.為什么分區 kafka有主題（Topic）的概念，它是承載真實數據的邏輯容器，而在主題之下還分為若干個分區，也就是說kafka的消息組織方式實際上是三級結構： 主題---分區---消息。主題下的每條消息只會保存在某一個分區中，而不會在多個分區中保存多份。官網上的這張圖非常清晰地展示 ...

1：消息存儲 segment段中有兩個核心的文件一個是log,一個是index。 當log文件等於1G時，新的會寫入到下一個segment中。 ​ 通過下圖中的數據，可以看到一個segment段差不多會存儲70萬條數據。 所以問題這么龐大的數據，kafka是如何快速從海量 ...

kafka是為分布式環境設計的,因此如果日志文件,其實也可以理解成消息數據庫,放在同一個地方,那么必然會帶來可用性的下降,一掛全掛,如果全量拷貝到所有的機器上,那么數據又存在過多的冗余,而且由於每台機器的磁盤大小是有限的,所以即使有再多的機器,可處理的消息還是被磁盤所限制,無法 ...

log.retention.ms 消息時間Kafka通常根據時間決定數據可以保留多久。默認使用log.retention.hours參數配置時間，默認值是168小時，也就是一周。除此之外，還有其他兩個參數，log.retention.minutes和log.retention.ms，這三個參數作用 ...

Kafka 消息以 Partition 作為存儲單元，那么在 Partition 內消息是以什么樣的格式存儲的呢，如何處理 Partition 中的消息，又有哪些安全策略來保證消息不會丟失呢，這一篇我們一起看看這些問題。 Partition 文件存儲方式 每個 Topic 的消息被一個或者多個 ...

原因一： kafka 沒有設置正確配置文件的時候 num.partition 設置是 1； 原因二： kafka 創建主題的時候沒有創建一個分區以上的數量； ...

kafka在所有broker中選出一個controller，所有Partition的Leader選舉都由controller決定。controller會將Leader的改變直接通過RPC的方式（比Zookeeper Queue的方式更高效）通知需為此作出響應 ...

一、 kafka讀寫流程 寫流程 讀流程 二、數據可靠性保證 為保證 producer 發送的數據，能可靠的發送到指定的 topic，topic 的每個 partition 收到 producer 發送的數據后，都需要向 producer 發送 ack ...