Apache Kafka 源碼剖析
Getting Start 下載 http://kafka.apache.org/ 優點和應用場景 Kafka消息驅動，符合發布-訂閱模式，優點和應用范圍都共通 發布-訂閱模式優點 解耦合 ： 兩個應用不需要相互調用 可擴展性 ： 消費者的個數 ...
原文：Kafka 源碼剖析
.概述 在對Kafka使用層面掌握后，進一步提升分析其源碼是極有必要的。縱觀Kafka源碼工程結構，不算太復雜，代碼量也不算大。分析研究其實現細節難度不算太大。今天筆者給大家分析的是其核心處理模塊，core模塊。 .內容 首先，我們需要對Kafka的工程結構有一個整體的認知度，Kafka 大家最為熟悉的就是其消費者與生產者。然其，底層的存儲機制，選舉機制，備份機制等實現細節，需要我們對其源碼仔細 ...
2017-05-06 18:14 1 13458 推薦指數：
相關推薦
四、Kafka 核心源碼剖析
一、Kafka消費者源碼介紹 1.分區消費模式源碼介紹 分區消費模式直接由客戶端(任何高級語言編寫)使用Kafka提供的協議向服務器發送RPC請求獲取數據，服務器接受到客戶端的RPC請求后，將數據構造成RPC響應，返回給客戶端，客戶端解析相應的RPC響應獲取數據。Kafka支持的協議眾多 ...
Kafka日志壓縮剖析
1.概述 最近有些同學在學習Kafka時，問到Kafka的日志壓縮（Log Compaction）問題，對於Kafka的日志壓縮有些疑惑，今天筆者就為大家來剖析一下Kafka的日志壓縮的相關內容。 2.內容 2.1 日志壓縮是什么？ Kafka是一個基於Log的流處理系統，一個Topic ...
Kafka Streams 剖析
1.概述 Kafka Streams 是一個用來處理流式數據的庫，屬於Java類庫，它並不是一個流處理框架，和Storm，Spark Streaming這類流處理框架是明顯不一樣的。那這樣一個庫是做什么的，能應用到哪些場合，如何使用。筆者今天就給大家來一一剖析這些內容。 2.內容 ...
Kafka Fetch Session剖析
1.概述 最近有同學留言在使用Kafka的過程中遇到一些問題，比如在拉取的Topic中的數據時會拋出一些異常，今天筆者就為大家來分享一下Kafka的Fetch流程。 2.內容 2.1 背景 首先，我們來了解一下，Fetch Session的目標。Kafka在1.1.0以后的版本中優化 ...
Elasticsearch 與 Kafka 整合剖析
1.概述 目前，隨着大數據的浪潮，Kafka 被越來越多的企業所認可，如今的Kafka已發展到0.10.x，其優秀的特性也帶給我們解決實際業務的方案。對於數據分流來說，既可以分流到離線存儲平台（HDFS），離線計算平台（Hive倉庫），也可以分流實時流水計算（Storm，Spark）等，同樣 ...
深度剖析 Kafka Producer 的緩沖池機制【圖解 + 源碼分析】
上次跟大家分享的文章「Kafka Producer 異步發送消息居然也會阻塞？」中提到了緩沖池，后面再經過一番閱讀源碼后，發現了這個緩沖池設計的很棒，被它的設計思想優雅到了，所以忍不住跟大家繼續分享一波。 在新版的 Kafka Producer 中，設計了一個消息緩沖池，在創建 Producer ...
NSQ源碼剖析之nsqd
NSQ簡介 NSQ 是實時的分布式消息處理平台，其設計的目的是用來大規模地處理每天數以十億計級別的消息。NSQ 具有分布式和去中心化拓撲結構，該結構具有無單點故障、故障容錯、高可用性以及能夠保證 ...