【原创】Kafka console consumer源代码分析(一)
上一篇中分析了Scala版的console producer代码，这篇文章为读者带来一篇console consumer工作原理分析的随笔。其实不论是哪个consumer，大部分的工作原理都是类似的。本文利用console consumer作为切入点，既容易理解又不失一般性 ...
原文：【原创】kafka consumer源代码分析
顾名思义，就是kafka的consumer api包。 一 ConsumerConfig.scala Kafka consumer的配置类，除了一些默认值常量及验证参数的方法之外，就是consumer的配置参数了，比如group.id, consumer.id等，详细列表见官网。 二 ConsumerIterator.scala KafkaStream的迭代器类，当stream底层的阻塞队列为空时 ...
2015-06-09 13:59 2 2664 推荐指数：
相关推荐
Kafka 源代码分析.
这里记录kafka源代码笔记.(代码版本是0.8.2.1) kafka的源代码如何下载.这里简单说一下. git clone https://git-wip-us.apache.org/repos/asf/kafka.git kafka 通过官网给出的链接clone项目代码之后.一般 ...
Kafka 源代码分析之Log
这里分析Log对象本身的源代码. Log类是一个topic分区的基础类.一个topic分区的所有基本管理动作.都在这个对象里完成.类源代码文件为Log.scala.在源代码log目录下. Log类是LogSegment的集合和管理封装.首先看看初始化代码. 上面 ...
【原创】Kakfa message包源代码分析
笔者最近在研究Kafka的message包代码，有了一些心得，特此记录一下。其实研究的目的从来都不是只是看源代码，更多地是想借这个机会思考几个问题：为什么是这么实现的？你自己实现方式是什么？比起人家的实现方式，你的方案有哪些优缺点？ 任何消息引擎系统最重要的都是定义消息，使用 ...
kafka consumer代码梳理
kafka consumer是一个单纯的单线程程序，因此相对于producer会更好理解些。阅读consumer代码的关键是理解回调，因为consumer中使用了大量的回调函数。参看kafka中的回调函数 1 整体流程 从KafkaConsumer#pollOnce(..)入口 ...
Kafka consumer代码研究及核心逻辑分析
Kafka Consumer API是客户端的接口，封装了消息的接收，心跳的检测，consumer的rebalance等，此分析的代码基于kafka-clients-0.10.0.1 java版本 KafkaConsumer.pollOnce 是轮询的入口，完成一次轮询动作，包括consumer ...
【原创】Kafka Consumer多线程消费
上一篇《Kafka Consumer多线程实例续篇》修正了多线程提交位移的问题，但依然可能出现数据丢失的情况，原因在于多个线程可能拿到相同分区的数据，而消费的顺序会破坏消息本身在分区中的顺序，因而扰乱位移的提交。这次我使用KafkaConsumer的pause和resume方法来防止这种情形的发生 ...
【原创】Kafka Consumer多线程实例
Kafka 0.9版本开始推出了Java版本的consumer，优化了coordinator的设计以及摆脱了对zookeeper的依赖。社区最近也在探讨正式用这套consumer API替换Scala版本的consumer的计划。鉴于目前这方面的资料并不是很多，本文将尝试给出一个 ...