Kafka 源碼剖析
1.概述 在對Kafka使用層面掌握后，進一步提升分析其源碼是極有必要的。縱觀Kafka源碼工程結構，不算太復雜，代碼量也不算大。分析研究其實現細節難度不算太大。今天筆者給大家分析的是其核心處理模塊，core模塊。 2.內容 首先，我們需要對Kafka的工程結構有一個整體的認知度 ...
原文：Apache Kafka 源碼剖析
Getting Start 下載 http: kafka.apache.org 優點和應用場景 Kafka消息驅動，符合發布 訂閱模式，優點和應用范圍都共通 發布 訂閱模式優點 解耦合 ： 兩個應用不需要相互調用 可擴展性 ： 消費者的個數可實時擴展 實時性 ： 消費者能實時的獲取生產者發布的事件 高效 ：減少由於多個消費者請求數據造成的數據計算帶來的資源消耗 異步通訊 ：發布 訂閱模式是天生的異 ...
2019-03-29 15:39 0 670 推薦指數：
相關推薦
四、Kafka 核心源碼剖析
一、Kafka消費者源碼介紹 1.分區消費模式源碼介紹 分區消費模式直接由客戶端(任何高級語言編寫)使用Kafka提供的協議向服務器發送RPC請求獲取數據，服務器接受到客戶端的RPC請求后，將數據構造成RPC響應，返回給客戶端，客戶端解析相應的RPC響應獲取數據。Kafka支持的協議眾多 ...
Apache Kafka源碼分析 - KafkaApis
kafka apis反映出kafka broker server可以提供哪些服務，broker server主要和producer，consumer，controller有交互，搞清這些api就清楚了broker server的所有行為 handleOffsetRequest 提供 ...
Apache Spark源碼走讀之14 -- Graphx實現剖析
歡迎轉載，轉載請注明出處，徽滬一郎。 概要 圖的並行化處理一直是一個非常熱門的話題，這里頭的重點有兩個，一是如何將圖的算法並行化，二是找到一個合適的並行化處理框架。Spark作為一個非常優秀的並行 ...
Kafka日志壓縮剖析
1.概述 最近有些同學在學習Kafka時，問到Kafka的日志壓縮（Log Compaction）問題，對於Kafka的日志壓縮有些疑惑，今天筆者就為大家來剖析一下Kafka的日志壓縮的相關內容。 2.內容 2.1 日志壓縮是什么？ Kafka是一個基於Log的流處理系統，一個Topic ...
Kafka Streams 剖析
1.概述 Kafka Streams 是一個用來處理流式數據的庫，屬於Java類庫，它並不是一個流處理框架，和Storm，Spark Streaming這類流處理框架是明顯不一樣的。那這樣一個庫是做什么的，能應用到哪些場合，如何使用。筆者今天就給大家來一一剖析這些內容。 2.內容 ...
Kafka Fetch Session剖析
1.概述 最近有同學留言在使用Kafka的過程中遇到一些問題，比如在拉取的Topic中的數據時會拋出一些異常，今天筆者就為大家來分享一下Kafka的Fetch流程。 2.內容 2.1 背景 首先，我們來了解一下，Fetch Session的目標。Kafka在1.1.0以后的版本中優化 ...
Elasticsearch 與 Kafka 整合剖析
1.概述 目前，隨着大數據的浪潮，Kafka 被越來越多的企業所認可，如今的Kafka已發展到0.10.x，其優秀的特性也帶給我們解決實際業務的方案。對於數據分流來說，既可以分流到離線存儲平台（HDFS），離線計算平台（Hive倉庫），也可以分流實時流水計算（Storm，Spark）等，同樣 ...