最近的业务接触了一下消息插件kafka ，其他客户端负责发送，我方负责接收消费。功能很简单，但是！！！！我们要求把消息入库，而且数据量每天达到了千万级别，这就日了苟啊！ 废话不多说，上代码！ 由于消息需要入库，我使用的是手动提交消息，如果不入库，不要求准确定，使用自动提交就ok ...

一、消费者和消费者群组 　　在 Kafka 中，消费者通常是消费者群组的一部分，多个消费者群组共同读取同一个主题时，彼此之间互不影响。Kafka 之所以要引入消费者群组这个概念是因为 Kafka 消费者经常会做一些高延迟的操作，比如把数据写到数据库或 HDFS ，或者进行耗时的计算，在这些情况下 ...

消费者组 kafka 使用消费者组来控制消费组消费，每个消费组都可以消费 topic 的全量信息，消费组内部的消费者再各自进行引流，消费不同的分区信息。 消费者从属于消费组，一个组里的消费者订阅的是相同的主题，每个消费者接收主题一部分的分区的消息。 一个消费者组只有一个消费者的情况 ...

fetch.min.bytes 该属性指定了消费者’从服务器获取记录的最小字节数。 broker 在收到消费者的数据请求时， 如果可用的数据量小于fetch.min.bytes 指定的大小，那么它会等到有足够的可用数据时才把它返回给消费者。 作用:可以降低消费者和 broker 的工作负载 ...

Kafka消费者Demo 依赖包： 源码： ...

消费者api，自动提交offset 手动提交offset，同步提交 手动提交offset，异步提交 ...

一个正常的消费逻辑需要具备以下几个步骤： 1. 消息订阅 1.1 subscribe订阅主题 subscribe有如下重载方法： 如果消费则采用正则表达式的方式订阅，如果新创建的新的主题并且符合正则表达式，那么该消费者就可以消费到新添加主题中的消息。如果应用程序需要消费 ...

消费方式： consumer 采用 pull(拉)模式从 broker 中读取数据。 　　push(推)模式很难适应消费速率不同的消费者，因为消息发送速率是由 broker 决定的。 它的目标是尽可能以最快速度传递消息，但是这样很容易造成 ...