Kafka學習筆記之Kafka日志刪出策略
0x00 概述 kafka將topic分成不同的partitions，每個partition的日志分成不同的segments，最后以segment為單位將陳舊的日志從文件系統刪除。 假設kafka的在server.properity文件中設置的日志目錄為tmp/kafka-logs，對於名為 ...
原文：kafka學習筆記（四）kafka的日志模塊
概述 日志段及其相關代碼是 Kafka 服務器源碼中最為重要的組件代碼之一。你可能會非常關心，在 Kafka 中，消息是如何被保存和組織在一起的。畢竟，不管是學習任何消息引擎，弄明白消息建模方式都是首要的問題。因此，你非常有必要學習日志段這個重要的子模塊的源碼實現。今天，我會帶你詳細看下日志段部分的源碼。不過在此之前，你需要先了解一下 Kafka 的日志結構日志是 Kafka 服務器端代碼的重要組 ...
2020-08-23 10:24 0 883 推薦指數：
相關推薦
Kafka學習筆記（四、Kafka存儲機制和日志）
目錄： Kafka存儲機制 Kafka分區規則 Kafka分區策略 Kafka日志 Kafka存儲機制 再說Kafka存儲機制之前我們先了解下分區和副本的作用： 分區：為了提高性能（也就是分而治之，它是高並發分布式中心思想）。 副本：為了高可用（保證數據安全 ...
kafka學習筆記（六）kafka的controller模塊
概述 今天我們主要看一下kafka的controller的代碼，controller代碼是kafka的非常重要的代碼，需要我們深入學習。從某種意義上來說，它是kafka最核心的組件，一方面，他要為集群中的所有主題分區選取領導者副本；另一方面，它還承載着集群的全部元數據信息，並負責講這些元數據信息 ...
kafka學習筆記（七）kafka的狀態機模塊
概述 這一篇隨筆介紹kafka的狀態機模塊，Kafka 源碼中有很多狀態機和管理器，比如之前我們學過的 Controller 通道管理器 ControllerChannelManager、處理 Controller 事件的 ControllerEventManager，等等。這些管理器和狀態機 ...
kafka學習筆記（五）kafka的請求處理模塊
概述 現在介紹學習一下kafka的請求處理模塊，請求處理模塊就是網絡請求處理和api處理，這是kafka無論是對客戶端還是集群內部都是非常重要的模塊。現在我們對他進行源碼深入探討。當我們說到 Kafka 服務器端，也就是 Broker 的時候，往往會說它承擔着消息持久化的功能，但本質上 ...
Kafka 學習筆記之 Topic日志清理
Topic日志清理 server.properties： log.cleanup.policy=delete (默認) 1. 按時間維度進行Kafka日志清理 log.retention.hours=1 log.retention.minutes=60 log.retention.ms ...
Kafka學習筆記（六、Kafka Connect）
目錄： 什么是Kafka Connect Kafka Connect能干什么 Kafka Connect使用示例 什么是Kafka Connect 它是一種用於Kafka和其它系統之間（其它數據源）流式數據傳輸的工具，如Mysql >> Oracle，Json ...
kafka學習筆記（二）kafka的基本使用
概述 第一篇隨筆從消息隊列的定義和各種應用，以及kafka的分類定義和基本知識，第二篇就寫一篇關於kafka的基本實際配置和使用的隨筆，包括kafka的集群參數的配置，生產者使用機制，消費者使用機制。總之我會使用由淺到深，由概括到具體的介紹kafka的每個功能。 kafka集群的配置 ...