（1）順序讀寫：基於磁盤的隨機讀寫確實很慢，但磁盤的順序讀寫性能卻很高，一些情況下磁盤順序讀寫性能甚至要高於內存隨機讀寫。（Kafka的message是不斷追加到本地磁盤文件末尾的，而不是隨機的寫入，這使得Kafka寫入吞吐量得到了顯著提升 。） （2）Page Cache:為了優化讀寫性能 ...

眾所周知kafka的吞吐量比一般的消息隊列要高，號稱the fastest，那他是如何做到的，讓我們從以下幾個方面分析一下原因。 生產者（寫入數據） 生產者（producer）是負責向Kafka提交數據的，我們先分析這一部分。 Kafka會把收到的消息都寫入到硬盤中，它絕對不會丟失數據 ...

背景 在公司做的數據同步過程中，大部分是需要使用到Kafka做消息中間件，來實時做同步的，以及最近在做的實時消息推送給數倉，數倉需要准實時拿到數據進行分析，這些都離不開Kafka，但為什么我們第一時間就是想到了Kafka了，這么好用的原因是什么呢？我們就來分析一下吧，我自己也算做一個歸納總結 ...

1.順序讀寫 kafka的消息是不斷追加到文件中的，這個特性使kafka可以充分利用磁盤的順序讀寫性能 順序讀寫不需要硬盤磁頭的尋道時間，只需很少的扇區旋轉時間，所以速度遠快於隨機讀寫 生產者負責寫入數據，Kafka會將消息持久化到磁盤，保證不會丟失數據，Kafka采用了倆個技術提高寫入 ...

現在基本上大數據的場景中都會有kafka的身影，那么為什么這些場景下要用kafka而不用其他傳統的消息隊列呢？例如rabbitmq。主要的原因是因為kafka天然的百萬級TPS，以及它對接其他大數據組件的流處理功能，比如可以更好的對接Apache storm。本文只是討論kafka作為消息隊列 ...

offset信息，嚴格講broker基本只關心存儲數據； 3：kafka的ack策略也是提高吞吐量的手段： ...

背景 保證kafka高吞吐量的另外一大利器就是消息壓縮。就像上圖中的壓縮餅干。 壓縮即空間換時間，通過空間的壓縮帶來速度的提升，即通過少量的cpu消耗來減少磁盤和網絡傳輸的io。 消息壓縮模型 消息格式V1 kafka不會直接操作單條消息，而是直接操作一個消息集合。 消息格式 ...

kafka節點信息： num.network.threads=3 log.dirs=/data2/zdh/kafka/data,/data3/zdh/kafka/data,/data4/zdh/kafka/data,/data5/zdh/kafka/data,/data6/zdh ...