Kafka学习笔记之Kafka日志删出策略
0x00 概述 kafka将topic分成不同的partitions，每个partition的日志分成不同的segments，最后以segment为单位将陈旧的日志从文件系统删除。 假设kafka的在server.properity文件中设置的日志目录为tmp/kafka-logs，对于名为 ...
原文：kafka学习笔记（四）kafka的日志模块
概述 日志段及其相关代码是 Kafka 服务器源码中最为重要的组件代码之一。你可能会非常关心，在 Kafka 中，消息是如何被保存和组织在一起的。毕竟，不管是学习任何消息引擎，弄明白消息建模方式都是首要的问题。因此，你非常有必要学习日志段这个重要的子模块的源码实现。今天，我会带你详细看下日志段部分的源码。不过在此之前，你需要先了解一下 Kafka 的日志结构日志是 Kafka 服务器端代码的重要组 ...
2020-08-23 10:24 0 883 推荐指数：
相关推荐
Kafka学习笔记（四、Kafka存储机制和日志）
目录： Kafka存储机制 Kafka分区规则 Kafka分区策略 Kafka日志 Kafka存储机制 再说Kafka存储机制之前我们先了解下分区和副本的作用： 分区：为了提高性能（也就是分而治之，它是高并发分布式中心思想）。 副本：为了高可用（保证数据安全 ...
kafka学习笔记（六）kafka的controller模块
概述 今天我们主要看一下kafka的controller的代码，controller代码是kafka的非常重要的代码，需要我们深入学习。从某种意义上来说，它是kafka最核心的组件，一方面，他要为集群中的所有主题分区选取领导者副本；另一方面，它还承载着集群的全部元数据信息，并负责讲这些元数据信息 ...
kafka学习笔记（七）kafka的状态机模块
概述 这一篇随笔介绍kafka的状态机模块，Kafka 源码中有很多状态机和管理器，比如之前我们学过的 Controller 通道管理器 ControllerChannelManager、处理 Controller 事件的 ControllerEventManager，等等。这些管理器和状态机 ...
kafka学习笔记（五）kafka的请求处理模块
概述 现在介绍学习一下kafka的请求处理模块，请求处理模块就是网络请求处理和api处理，这是kafka无论是对客户端还是集群内部都是非常重要的模块。现在我们对他进行源码深入探讨。当我们说到 Kafka 服务器端，也就是 Broker 的时候，往往会说它承担着消息持久化的功能，但本质上 ...
Kafka 学习笔记之 Topic日志清理
Topic日志清理 server.properties： log.cleanup.policy=delete (默认) 1. 按时间维度进行Kafka日志清理 log.retention.hours=1 log.retention.minutes=60 log.retention.ms ...
Kafka学习笔记（六、Kafka Connect）
目录： 什么是Kafka Connect Kafka Connect能干什么 Kafka Connect使用示例 什么是Kafka Connect 它是一种用于Kafka和其它系统之间（其它数据源）流式数据传输的工具，如Mysql >> Oracle，Json ...
kafka学习笔记（二）kafka的基本使用
概述 第一篇随笔从消息队列的定义和各种应用，以及kafka的分类定义和基本知识，第二篇就写一篇关于kafka的基本实际配置和使用的随笔，包括kafka的集群参数的配置，生产者使用机制，消费者使用机制。总之我会使用由浅到深，由概括到具体的介绍kafka的每个功能。 kafka集群的配置 ...