【原创】Kafka Consumer多线程实例续篇
在上一篇《Kafka Consumer多线程实例》中我们讨论了KafkaConsumer多线程的两种写法：多KafkaConsumer多线程以及单KafkaConsumer多线程。在第二种用法中我使用的是自动提交的方式，省去了多线程提交位移的麻烦。很多人跑来问如果是手动提交应该怎么写 ...
原文：【原创】Kafka Consumer多线程实例
Kafka . 版本开始推出了Java版本的consumer，优化了coordinator的设计以及摆脱了对zookeeper的依赖。社区最近也在探讨正式用这套consumer API替换Scala版本的consumer的计划。鉴于目前这方面的资料并不是很多，本文将尝试给出一个利用KafkaConsumer编写的多线程消费者实例，希望对大家有所帮助。 这套API最重要的入口就是KafkaCons ...
2016-12-02 11:10 52 28685 推荐指数：
相关推荐
【原创】Kafka Consumer多线程消费
上一篇《Kafka Consumer多线程实例续篇》修正了多线程提交位移的问题，但依然可能出现数据丢失的情况，原因在于多个线程可能拿到相同分区的数据，而消费的顺序会破坏消息本身在分区中的顺序，因而扰乱位移的提交。这次我使用KafkaConsumer的pause和resume方法来防止这种情形的发生 ...
Apache Kafka系列(四) 多线程Consumer方案
迁移到：http://www.itrensheng.com/archives/apache-kafka-kafka-connectfileconnector ...
【原创】如何确定Kafka的分区数、key和consumer线程数
在Kafak中国社区的qq群中，这个问题被提及的比例是相当高的，这也是Kafka用户最常碰到的问题之一。本文结合Kafka源码试图对该问题相关的因素进行探讨。希望对大家有所帮助。 怎么确定分区数？ “我应该选择几个分区？”——如果你在Kafka中国社区的群里 ...
kafka producer自定义partitioner和consumer多线程
为了更好的实现负载均衡和消息的顺序性，Kafka Producer可以通过分发策略发送给指定的Partition。Kafka Java客户端有默认的Partitioner，平均的向目标topic的各个Partition中生产数据，如果想要控制消息的分发策略，有两种方式，一种是在发送前创建 ...
kafka学习总结014 --- consumer多线程问题
KafkaConsumer是非线程安全的，多线程共享一个KafkaConsumer实例，kafka会有如下异常：java.util.ConcurrentModificationException: KafkaConsumer is not safe for multi-threaded ...
【原创】kafka consumer源代码分析
顾名思义，就是kafka的consumer api包。 一、ConsumerConfig.scala Kafka consumer的配置类，除了一些默认值常量及验证参数的方法之外，就是consumer的配置参数了，比如group.id, consumer.id等，详细列表见官网 ...
【原创】Kafka console consumer源代码分析(一)
上一篇中分析了Scala版的console producer代码，这篇文章为读者带来一篇console consumer工作原理分析的随笔。其实不论是哪个consumer，大部分的工作原理都是类似的。本文利用console consumer作为切入点，既容易理解又不失一般性 ...