0x00 概述 kafka將topic分成不同的partitions，每個partition的日志分成不同的segments，最后以segment為單位將陳舊的日志從文件系統刪除。 假設kafka的在server.properity文件中設置的日志目錄為tmp/kafka-logs，對於名為 ...

partition是kafka中的重要設計概念，處於topic之下，消息都是存在partition中的， 生產的消息實際是發到partition中的，消費某個topic，實際也是從partition中拉取的消息 topic創建時，若不指定分區個數，則使用server.properties中配置 ...

當我們使用kafka向指定Topic發送消息時，如果該Topic具有多個partition，無論消費者有多少，最終都會保證一個partition內的消息只會被一個Consumer group中的一個Consumer消費，也就是說同一Consumer group中的多個Consumer自動會起到負載 ...

topic中partition存儲分布 Topic在邏輯上可以被認為是一個queue。每條消費都必須指定它的topic，可以簡單理解為必須指明把這條消息放進哪個queue里。為了使得 Kafka的吞吐率可以水平擴展，物理上把topic分成一個或多個partition，每個partition ...

broker的數量最好大於等於partition數量 一個partition最好對應一個硬盤，這樣能最大限度發揮順序寫的優勢。 broker如果免得是多個partition，需要隨機分發，順序IO會退化成隨機IO。 實驗條件：3個 Broker，1個 Topic，無Replication ...

server.properties中指定了partition的數量num.partitions。這指的是多單個topic的parti ...

眾所周知，Apache Kafka是基於生產者和消費者模型作為開源的分布式發布訂閱消息系統（當然，目前Kafka定位於an open-source distributed event streaming platform），由Scala和Java編寫。 Kafka提供了類似於JMS的特性，但設計 ...

目錄： 什么是Kafka Connect Kafka Connect能干什么 Kafka Connect使用示例 什么是Kafka Connect 它是一種用於Kafka和其它系統之間（其它數據源）流式數據傳輸的工具，如Mysql >> Oracle，Json ...