librdkafka消费者消费方式


   最近在研究librdkafka消费着模式,一直对RdKafka::KafkaConsumer::assign(vector<RdKafka::TopicPartition *> &)函数有疑问,今天做了个小实验验证了自己的想法。

 其实kafka有两种消费模式,一种是订阅模式,一种是特定分区模式:

 1. 订阅模式:消费着订阅某个topic,那么对于这个topic所有分区内的消息,它都能去消费(当然,同一消费者组的消费者只能消费一次指定topic的消息)。即只要有分区有消息阻塞,且它是空闲状态,

                          它就可以去消费。使用librdkafka c++版本,即调用RdKafka::KafkaConsumer::subscirbe(const vector<string> &topics>.

    2. 分区模式:消费着消费指定topic的指定分区。即消费者只消费指定分区,即使当前分区无数据,而其他分区数据阻塞,也会不去干扰别的分区。使用librdkafka c++版本,调用

                           RdKafka::KafkaConsumer::assign(const vector<RdKafka::TopicPartition*> &).   

 

   两种消费模式各有优劣, 订阅模式可以大大的提高消费速率,但是无法满足需要时序处理的场景,这种场景下,就只能使用分区模式了,分区模式可以很好的保证同一个分区数据的时序性,但是当数据量

   过大的时候,消费速率会受影响。   


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM