由于 . .x 版 Kafka 与 . .x 版有很大的变化，这种变化对下游 Storm 有非常大的影响， . .x 版的 Kafka 不但增加了权限管理的功能，而且还将 simple 和 high consumer 的 offsets 进行统一管理，也就意味着在 . .x 中 Storm 需要去负责管理 offsets，而在 . .x 中，Storm 不需要关心 consumer 的 offse ...
2018-02-08 14:33 1 1048 推荐指数：
继续SparkStreaming整合Kafka 其实将offset保存在zookeeper上不适用于高并发的情况的，于是乎，借鉴上次的代码。将offset保存在Hbasea上的方法也大概写了一下，暂时运行起来是没有问题的。 直接上代码（代码比较粗糙，但是思路应该还算 ...
先来一段到处都有的原理（出处到处都有，就不注明了） Streaming和Kafka整合有两种方式--Receiver和Direct，简单理解为：Receiver方式是通过zookeeper来连接kafka队列，Direct方式是直接连接到kafka的节点上获取数据 Receiver ...
什么是Metadata？ Topic/Partion与broker的映射关系：每一个Topic的每一个Partion的Leader、Follower的信息。 它存在哪里？持久化在Zookeeper中 ...
由Kafka内置实现了失败检测和Rebalance(ZKRebalancerListener)，但是它存在羊群效应和脑裂的问题，客户端代码实现低级API也不能解决这个问题。如果将失败探测和Rebalance的逻辑放到一个高可用的中心Coordinator，这两个问题即可解决。同时还可大大减少 ...
Kafka 0.8.2.x 2.For Kafka 0.9.x.x and 0.10.0.0 ...
下载源码 git clone -b 1.1.1 https://github.com/apache/kafka.git --depth=1 使用这样的方式下载主要是解决两个问题：其一，下载指定分支代码，这样不用下载最新代码然后切换到具体的tags。其二，因源码太大 ...
DelayedTaskQueue 是在ConsumerNetworkClient类中使用，是Kafka自己实现的一个很重要的数据结构。 官方解释：延时队列，Tracks a set of tasks to be executed after a delay. 我的理解 ...
ConsumerConfig.scala 储存Consumer的配置 按照我的理解，0.10的Kafka没有专门的SimpleConsumer，仍然是沿用0.8版本的。 1.从poll开始 消费的规则如下： 一个partition只能被同一个ConsumersGroup的一个线程 ...
