...

Kafka-常用术语(消息、生产者、消费者、集群、broker解释) 消息和批次 kafka的数据单元被称为消息。类似于数据库表中的一行数据。 消息由字节数组组成，所以对于kafka来说，消息里的数据没有特别的格式或含义。 消息可以有一个可选的元数据，也就是键，键也是一个字节数组，当消息 ...

场景： kafka先批量拉取消息，完了将拉下来的消息逐条消费，假如此次共拉取40条消息，但在处理第31条时，线程被停掉，就会导致已消费消息offet不会被提交，接下来已经被消费的30条记录还会被重复消费，这就是kafka重复消费的另一场景； 解决思路： 解决此类重复消费的方式：将能够唯一标识 ...

1.fetch.min.bytes consumer一次拉取中拉取的最小数据量，默认值为1B 2.fetch.max.bytes consumer一次拉取中拉取的最大数据量，默认值为52428800B，即50MB 3.fetch.max.wait.ms 指定Kafka的等待时间，默认值 ...

Kafka-如何保证消费者的可靠性 只有那些被提交到kafka的数据，也就是那些已经被写入所有同步副本的数据，对消费者是可用的，这意味着消费者得到的消息已经具备了一致性。消费者唯一要做的是跟踪哪些消息是已经读取过的，哪些是还没有读取过的。这是在读取消息时不丢失消息的关键。 在从分区读取数据时 ...

Kafka-消费者-偏移量的提交方式 每次调用poll()方法，它总是返回由生产者写入Kafka但还没有被消费者读取过的记录，可以追踪到哪些记录是被群组里的哪个消费者读取的。 更新分区当前位置的操作叫做提交。 消费者往一个叫做 _consumer_offset的特殊主题发送消息，消息里包含 ...

消费者不需要自行管理 offset（分组+topic+分区），系统通过 broker 将 offset 存放在本地。低版本通过 zk 自行管理。系统自行管理分区和副本情况。消费者断线后会自动根据上一次记录的 offset 去获取数据（默认一分钟更新一次 offset），同一个分组中的客户 ...

（1）Customer和Customer Group （1）两种常用的消息模型 队列模型（queuing）和发布-订阅模型（publish-subscribe）。 队列的处理方式是一组消费者从服务器读取消息，一条消息只由其中的一个消费者来处理。 发布-订阅模型中，消息被广播给所有的消费者 ...