0x00 概述 kafka将topic分成不同的partitions，每个partition的日志分成不同的segments，最后以segment为单位将陈旧的日志从文件系统删除。 假设kafka的在server.properity文件中设置的日志目录为tmp/kafka-logs，对于名为 ...

partition是kafka中的重要设计概念，处于topic之下，消息都是存在partition中的， 生产的消息实际是发到partition中的，消费某个topic，实际也是从partition中拉取的消息 topic创建时，若不指定分区个数，则使用server.properties中配置 ...

当我们使用kafka向指定Topic发送消息时，如果该Topic具有多个partition，无论消费者有多少，最终都会保证一个partition内的消息只会被一个Consumer group中的一个Consumer消费，也就是说同一Consumer group中的多个Consumer自动会起到负载 ...

topic中partition存储分布 Topic在逻辑上可以被认为是一个queue。每条消费都必须指定它的topic，可以简单理解为必须指明把这条消息放进哪个queue里。为了使得 Kafka的吞吐率可以水平扩展，物理上把topic分成一个或多个partition，每个partition ...

broker的数量最好大于等于partition数量 一个partition最好对应一个硬盘，这样能最大限度发挥顺序写的优势。 broker如果免得是多个partition，需要随机分发，顺序IO会退化成随机IO。 实验条件：3个 Broker，1个 Topic，无Replication ...

server.properties中指定了partition的数量num.partitions。这指的是多单个topic的parti ...

众所周知，Apache Kafka是基于生产者和消费者模型作为开源的分布式发布订阅消息系统（当然，目前Kafka定位于an open-source distributed event streaming platform），由Scala和Java编写。 Kafka提供了类似于JMS的特性，但设计 ...

目录： 什么是Kafka Connect Kafka Connect能干什么 Kafka Connect使用示例 什么是Kafka Connect 它是一种用于Kafka和其它系统之间（其它数据源）流式数据传输的工具，如Mysql >> Oracle，Json ...