Kafka源码解析（一）---LogSegment以及Log初始化
我们先回想一下Kafka的日志结构是怎样的？ Kafka 日志对象由多个日志段对象组成，而每个日志段对象会在磁盘上创建一组文件，包括消息日志文件（.log）、位移索引文件（.index）、时间戳索引文件（.timeindex）以及已中止（Aborted）事务的索引文件（.txnindex ...
原文：Kafka源码解析（二）---Log分析
上一篇文章讲了LogSegment和Log的初始化，这篇来讲讲Log的主要操作有哪些。 一般来说Log 的常见操作分为 大部分。 高水位管理操作 日志段管理 关键位移值管理 读写操作 其中关键位移值管理主要包含Log Start Offset 和 LEO等。 高水位HighWatermark 高水位HighWatermark初始化 高水位是通过LogOffsetMetadata类来定义的： 这里传 ...
2020-06-21 16:05 0 634 推荐指数：
相关推荐
Kafka的Log存储解析
引言 Kafka中的Message是以topic为基本单位组织的，不同的topic之间是相互独立的。每个topic又可以分成几个不同的partition(每个topic有几个partition是在创建topic时指定的)，每个partition存储一部分Message。借用官方的一张图，可以直观 ...
Kafka 源代码分析之Log
这里分析Log对象本身的源代码. Log类是一个topic分区的基础类.一个topic分区的所有基本管理动作.都在这个对象里完成.类源代码文件为Log.scala.在源代码log目录下. Log类是LogSegment的集合和管理封装.首先看看初始化代码. 上面 ...
log4j源码解析-文件解析
承接前文log4j源码解析，前文主要介绍了log4j的文件加载方式以及Logger对象创建。本文将在此基础上具体看下log4j是如何解析文件并输出我们所常见的日志格式 附例 文件的加载方式，我们就选举log4j.properties作为分析的文件例子，并附上相应的通用配置 此处 ...
Kafka 0.8源码分析—ZookeeperConsumerConnector
1.HighLevelApi High Level Api是多线程的应用程序，以Topic的Partition数量为中心。消费的规则如下： 一个partition只能被同一个Consumer ...
Kafka源码分析(二) - 生产者
的消息 step 4：发送消息 二. 线程模型 三. 源码分析 1 ...
Apache Kafka源码分析 - KafkaApis
kafka apis反映出kafka broker server可以提供哪些服务，broker server主要和producer，consumer，controller有交互，搞清这些api就清楚了broker server的所有行为 handleOffsetRequest 提供 ...
kafka源码分析之一server启动分析
0. 关键概念 关键概念 Concepts Function Topic 用于划分Message的逻辑概念，一个Topic可以分布在多个Broker上。 Partition 是Kafka中横向 ...