Apache Kafka 源碼剖析
Getting Start 下載 http://kafka.apache.org/ 優點和應用場景 Kafka消息驅動，符合發布-訂閱模式，優點和應用范圍都共通 發布-訂閱模式優點 解耦合 ： 兩個應用不需要相互調用 可擴展性 ： 消費者的個數 ...
原文：Kafka日志壓縮剖析
.概述 最近有些同學在學習Kafka時，問到Kafka的日志壓縮 Log Compaction 問題，對於Kafka的日志壓縮有些疑惑，今天筆者就為大家來剖析一下Kafka的日志壓縮的相關內容。 .內容 . 日志壓縮是什么 Kafka是一個基於Log的流處理系統，一個Topic可以有若干個Partition，Partition是復制的基本單元，在一個Broker節點上，一個Partition的數 ...
2020-01-19 10:01 1 2959 推薦指數：
相關推薦
Kafka Streams 剖析
1.概述 Kafka Streams 是一個用來處理流式數據的庫，屬於Java類庫，它並不是一個流處理框架，和Storm，Spark Streaming這類流處理框架是明顯不一樣的。那這樣一個庫是做什么的，能應用到哪些場合，如何使用。筆者今天就給大家來一一剖析這些內容。 2.內容 ...
Kafka 源碼剖析
1.概述 在對Kafka使用層面掌握后，進一步提升分析其源碼是極有必要的。縱觀Kafka源碼工程結構，不算太復雜，代碼量也不算大。分析研究其實現細節難度不算太大。今天筆者給大家分析的是其核心處理模塊，core模塊。 2.內容 首先，我們需要對Kafka的工程結構有一個整體的認知度 ...
Kafka Fetch Session剖析
1.概述 最近有同學留言在使用Kafka的過程中遇到一些問題，比如在拉取的Topic中的數據時會拋出一些異常，今天筆者就為大家來分享一下Kafka的Fetch流程。 2.內容 2.1 背景 首先，我們來了解一下，Fetch Session的目標。Kafka在1.1.0以后的版本中優化 ...
四、Kafka 核心源碼剖析
一、Kafka消費者源碼介紹 1.分區消費模式源碼介紹 分區消費模式直接由客戶端(任何高級語言編寫)使用Kafka提供的協議向服務器發送RPC請求獲取數據，服務器接受到客戶端的RPC請求后，將數據構造成RPC響應，返回給客戶端，客戶端解析相應的RPC響應獲取數據。Kafka支持的協議眾多 ...
Elasticsearch 與 Kafka 整合剖析
1.概述 目前，隨着大數據的浪潮，Kafka 被越來越多的企業所認可，如今的Kafka已發展到0.10.x，其優秀的特性也帶給我們解決實際業務的方案。對於數據分流來說，既可以分流到離線存儲平台（HDFS），離線計算平台（Hive倉庫），也可以分流實時流水計算（Storm，Spark）等，同樣 ...
logrus 剖析之滾動日志
在實際開發過程中,為了節省磁盤,日志需要按照時間或者大小維度進行切割分成多分,歸檔過期的日志,刪除久遠的日志.這個就是在日常開發中經常遇見的日志滾動(log rotation) 那么在 logrus 中我們該如何實現這個功能呢? logrus本身並沒有實現滾動日志功能,但是我們可以使用第三方滾動 ...
Kafka監控系統Kafka Eagle剖析
1.概述 最近有同學留言反饋了使用Kafka監控工具Kafka Eagle的一些問題，這里筆者特意整理了這些問題。並且希望通過這篇博客來解答這些同學的在使用Kafka Eagle的時候遇到的一些困惑，同時也給出一些定位分析Kafka Eagle異常的時的解決辦法。 2.內容 2.1 背景 ...