Kafka日志壓縮剖析
1.概述 最近有些同學在學習Kafka時，問到Kafka的日志壓縮（Log Compaction）問題，對於Kafka的日志壓縮有些疑惑，今天筆者就為大家來剖析一下Kafka的日志壓縮的相關內容。 2.內容 2.1 日志壓縮是什么？ Kafka是一個基於Log的流處理系統，一個Topic ...
原文：Elasticsearch 與 Kafka 整合剖析
.概述 目前，隨着大數據的浪潮，Kafka 被越來越多的企業所認可，如今的Kafka已發展到 . .x，其優秀的特性也帶給我們解決實際業務的方案。對於數據分流來說，既可以分流到離線存儲平台 HDFS ，離線計算平台 Hive倉庫 ，也可以分流實時流水計算 Storm，Spark 等，同樣也可以分流到海量數據查詢 HBase ，或是及時查詢 ElasticSearch 。而今天筆者給大家分享的就是 ...
2017-06-10 14:19 1 16153 推薦指數：
相關推薦
Apache Kafka 源碼剖析
Getting Start 下載 http://kafka.apache.org/ 優點和應用場景 Kafka消息驅動，符合發布-訂閱模式，優點和應用范圍都共通 發布-訂閱模式優點 解耦合 ： 兩個應用不需要相互調用 可擴展性 ： 消費者的個數 ...
Kafka Streams 剖析
1.概述 Kafka Streams 是一個用來處理流式數據的庫，屬於Java類庫，它並不是一個流處理框架，和Storm，Spark Streaming這類流處理框架是明顯不一樣的。那這樣一個庫是做什么的，能應用到哪些場合，如何使用。筆者今天就給大家來一一剖析這些內容。 2.內容 ...
Kafka 源碼剖析
1.概述 在對Kafka使用層面掌握后，進一步提升分析其源碼是極有必要的。縱觀Kafka源碼工程結構，不算太復雜，代碼量也不算大。分析研究其實現細節難度不算太大。今天筆者給大家分析的是其核心處理模塊，core模塊。 2.內容 首先，我們需要對Kafka的工程結構有一個整體的認知度 ...
Kafka Fetch Session剖析
1.概述 最近有同學留言在使用Kafka的過程中遇到一些問題，比如在拉取的Topic中的數據時會拋出一些異常，今天筆者就為大家來分享一下Kafka的Fetch流程。 2.內容 2.1 背景 首先，我們來了解一下，Fetch Session的目標。Kafka在1.1.0以后的版本中優化 ...
四、Kafka 核心源碼剖析
一、Kafka消費者源碼介紹 1.分區消費模式源碼介紹 分區消費模式直接由客戶端(任何高級語言編寫)使用Kafka提供的協議向服務器發送RPC請求獲取數據，服務器接受到客戶端的RPC請求后，將數據構造成RPC響應，返回給客戶端，客戶端解析相應的RPC響應獲取數據。Kafka支持的協議眾多 ...
ElasticSearch 寫操作 剖析
ElasticSearch 寫操作 剖析 在看ElasticSearch權威指南基礎入門中關於：分片內部原理這一小節內容后，大致對ElasticSearch的索引、搜索底層實現有了一個初步的認識。記錄一下在看文檔的過程中碰到的問題以及我的理解。此外，在文章的末尾，還討論分布式系統中的主從復制原理 ...
Elasticsearch document深度剖析
1. 針對Elasticsearch並發沖突問題，ES內部是如何解決的？ 1）ES內部是線程異步並發修改的，是基於_version版本號進行樂觀鎖並發控制的； 2）若后修改的先到了，那么修改后版本發生變化，先修改的后到發現版本不一致就扔掉了，保證了數據的正確性； 3）primary ...