Kafka每秒可以处理一百万条以上消息，吞吐量达到每秒百万级。那么Kafka为什么那么高的吞吐量呢？ 　　简单来说有以下几点原因： 　　1）、顺序读写 　　　　Kafka的消息是不断追加到文件末尾的，这个特性使Kafka可以充分利用磁盘的顺序读写性能。顺序读写不需要磁盘磁头的寻道时间 ...

众所周知kafka的吞吐量比一般的消息队列要高，号称the fastest，那他是如何做到的，让我们从以下几个方面分析一下原因。 生产者（写入数据） 生产者（producer）是负责向Kafka提交数据的，我们先分析这一部分。 Kafka会把收到的消息都写入到硬盘中，它绝对不会丢失数据 ...

背景 在公司做的数据同步过程中，大部分是需要使用到Kafka做消息中间件，来实时做同步的，以及最近在做的实时消息推送给数仓，数仓需要准实时拿到数据进行分析，这些都离不开Kafka，但为什么我们第一时间就是想到了Kafka了，这么好用的原因是什么呢？我们就来分析一下吧，我自己也算做一个归纳总结 ...

1.顺序读写 kafka的消息是不断追加到文件中的，这个特性使kafka可以充分利用磁盘的顺序读写性能 顺序读写不需要硬盘磁头的寻道时间，只需很少的扇区旋转时间，所以速度远快于随机读写 生产者负责写入数据，Kafka会将消息持久化到磁盘，保证不会丢失数据，Kafka采用了俩个技术提高写入 ...

现在基本上大数据的场景中都会有kafka的身影，那么为什么这些场景下要用kafka而不用其他传统的消息队列呢？例如rabbitmq。主要的原因是因为kafka天然的百万级TPS，以及它对接其他大数据组件的流处理功能，比如可以更好的对接Apache storm。本文只是讨论kafka作为消息队列 ...

offset信息，严格讲broker基本只关心存储数据； 3：kafka的ack策略也是提高吞吐量的手段： ...

背景 保证kafka高吞吐量的另外一大利器就是消息压缩。就像上图中的压缩饼干。 压缩即空间换时间，通过空间的压缩带来速度的提升，即通过少量的cpu消耗来减少磁盘和网络传输的io。 消息压缩模型 消息格式V1 kafka不会直接操作单条消息，而是直接操作一个消息集合。 消息格式 ...

kafka节点信息： num.network.threads=3 log.dirs=/data2/zdh/kafka/data,/data3/zdh/kafka/data,/data4/zdh/kafka/data,/data5/zdh/kafka/data,/data6/zdh ...