Kafka日志压缩剖析
1.概述 最近有些同学在学习Kafka时，问到Kafka的日志压缩（Log Compaction）问题，对于Kafka的日志压缩有些疑惑，今天笔者就为大家来剖析一下Kafka的日志压缩的相关内容。 2.内容 2.1 日志压缩是什么？ Kafka是一个基于Log的流处理系统，一个Topic ...
原文：Elasticsearch 与 Kafka 整合剖析
.概述 目前，随着大数据的浪潮，Kafka 被越来越多的企业所认可，如今的Kafka已发展到 . .x，其优秀的特性也带给我们解决实际业务的方案。对于数据分流来说，既可以分流到离线存储平台 HDFS ，离线计算平台 Hive仓库 ，也可以分流实时流水计算 Storm，Spark 等，同样也可以分流到海量数据查询 HBase ，或是及时查询 ElasticSearch 。而今天笔者给大家分享的就是 ...
2017-06-10 14:19 1 16153 推荐指数：
相关推荐
Apache Kafka 源码剖析
Getting Start 下载 http://kafka.apache.org/ 优点和应用场景 Kafka消息驱动，符合发布-订阅模式，优点和应用范围都共通 发布-订阅模式优点 解耦合 ： 两个应用不需要相互调用 可扩展性 ： 消费者的个数 ...
Kafka Streams 剖析
1.概述 Kafka Streams 是一个用来处理流式数据的库，属于Java类库，它并不是一个流处理框架，和Storm，Spark Streaming这类流处理框架是明显不一样的。那这样一个库是做什么的，能应用到哪些场合，如何使用。笔者今天就给大家来一一剖析这些内容。 2.内容 ...
Kafka 源码剖析
1.概述 在对Kafka使用层面掌握后，进一步提升分析其源码是极有必要的。纵观Kafka源码工程结构，不算太复杂，代码量也不算大。分析研究其实现细节难度不算太大。今天笔者给大家分析的是其核心处理模块，core模块。 2.内容 首先，我们需要对Kafka的工程结构有一个整体的认知度 ...
Kafka Fetch Session剖析
1.概述 最近有同学留言在使用Kafka的过程中遇到一些问题，比如在拉取的Topic中的数据时会抛出一些异常，今天笔者就为大家来分享一下Kafka的Fetch流程。 2.内容 2.1 背景 首先，我们来了解一下，Fetch Session的目标。Kafka在1.1.0以后的版本中优化 ...
四、Kafka 核心源码剖析
一、Kafka消费者源码介绍 1.分区消费模式源码介绍 分区消费模式直接由客户端(任何高级语言编写)使用Kafka提供的协议向服务器发送RPC请求获取数据，服务器接受到客户端的RPC请求后，将数据构造成RPC响应，返回给客户端，客户端解析相应的RPC响应获取数据。Kafka支持的协议众多 ...
ElasticSearch 写操作 剖析
ElasticSearch 写操作 剖析 在看ElasticSearch权威指南基础入门中关于：分片内部原理这一小节内容后，大致对ElasticSearch的索引、搜索底层实现有了一个初步的认识。记录一下在看文档的过程中碰到的问题以及我的理解。此外，在文章的末尾，还讨论分布式系统中的主从复制原理 ...
Elasticsearch document深度剖析
1. 针对Elasticsearch并发冲突问题，ES内部是如何解决的？ 1）ES内部是线程异步并发修改的，是基于_version版本号进行乐观锁并发控制的； 2）若后修改的先到了，那么修改后版本发生变化，先修改的后到发现版本不一致就扔掉了，保证了数据的正确性； 3）primary ...