Apache Kafka 源码剖析
Getting Start 下载 http://kafka.apache.org/ 优点和应用场景 Kafka消息驱动，符合发布-订阅模式，优点和应用范围都共通 发布-订阅模式优点 解耦合 ： 两个应用不需要相互调用 可扩展性 ： 消费者的个数 ...
原文：Kafka 源码剖析
.概述 在对Kafka使用层面掌握后，进一步提升分析其源码是极有必要的。纵观Kafka源码工程结构，不算太复杂，代码量也不算大。分析研究其实现细节难度不算太大。今天笔者给大家分析的是其核心处理模块，core模块。 .内容 首先，我们需要对Kafka的工程结构有一个整体的认知度，Kafka 大家最为熟悉的就是其消费者与生产者。然其，底层的存储机制，选举机制，备份机制等实现细节，需要我们对其源码仔细 ...
2017-05-06 18:14 1 13458 推荐指数：
相关推荐
四、Kafka 核心源码剖析
一、Kafka消费者源码介绍 1.分区消费模式源码介绍 分区消费模式直接由客户端(任何高级语言编写)使用Kafka提供的协议向服务器发送RPC请求获取数据，服务器接受到客户端的RPC请求后，将数据构造成RPC响应，返回给客户端，客户端解析相应的RPC响应获取数据。Kafka支持的协议众多 ...
Kafka日志压缩剖析
1.概述 最近有些同学在学习Kafka时，问到Kafka的日志压缩（Log Compaction）问题，对于Kafka的日志压缩有些疑惑，今天笔者就为大家来剖析一下Kafka的日志压缩的相关内容。 2.内容 2.1 日志压缩是什么？ Kafka是一个基于Log的流处理系统，一个Topic ...
Kafka Streams 剖析
1.概述 Kafka Streams 是一个用来处理流式数据的库，属于Java类库，它并不是一个流处理框架，和Storm，Spark Streaming这类流处理框架是明显不一样的。那这样一个库是做什么的，能应用到哪些场合，如何使用。笔者今天就给大家来一一剖析这些内容。 2.内容 ...
Kafka Fetch Session剖析
1.概述 最近有同学留言在使用Kafka的过程中遇到一些问题，比如在拉取的Topic中的数据时会抛出一些异常，今天笔者就为大家来分享一下Kafka的Fetch流程。 2.内容 2.1 背景 首先，我们来了解一下，Fetch Session的目标。Kafka在1.1.0以后的版本中优化 ...
Elasticsearch 与 Kafka 整合剖析
1.概述 目前，随着大数据的浪潮，Kafka 被越来越多的企业所认可，如今的Kafka已发展到0.10.x，其优秀的特性也带给我们解决实际业务的方案。对于数据分流来说，既可以分流到离线存储平台（HDFS），离线计算平台（Hive仓库），也可以分流实时流水计算（Storm，Spark）等，同样 ...
深度剖析 Kafka Producer 的缓冲池机制【图解 + 源码分析】
上次跟大家分享的文章「Kafka Producer 异步发送消息居然也会阻塞？」中提到了缓冲池，后面再经过一番阅读源码后，发现了这个缓冲池设计的很棒，被它的设计思想优雅到了，所以忍不住跟大家继续分享一波。 在新版的 Kafka Producer 中，设计了一个消息缓冲池，在创建 Producer ...
NSQ源码剖析之nsqd
NSQ简介 NSQ 是实时的分布式消息处理平台，其设计的目的是用来大规模地处理每天数以十亿计级别的消息。NSQ 具有分布式和去中心化拓扑结构，该结构具有无单点故障、故障容错、高可用性以及能够保证 ...