kafka高可用探究 眾所周知 kafka 的 topic 可以使用 --replication-factor 數和 partitions 數來保證服務的高可用性 問題發現 但在最近的運維過程中，3台集群的kafka，副本與分區都為3，有其中一台 broker 掛了導致整個集群成了 ...

一、簡介 1.1　概述 Kafka是最初由Linkedin公司開發，是一個分布式、分區的、多副本的、多訂閱者，基於zookeeper協調的分布式日志系統（也可以當做MQ系統），常見可以用於web/nginx日志、訪問日志，消息服務等等，Linkedin於2010年貢獻給了Apache基金會 ...

一、下載 下載地址： http://kafka.apache.org/downloads.html http://mirrors.hust.edu.cn/apache/ 二、安裝前提（zookeeper安裝） 參考http://www.cnblogs.com/qingyunzong/p ...

一、Kafka的架構 如上圖所示，一個典型的Kafka集群中包含若干Producer（可以是web前端產生的Page View，或者是服務器日志，系統CPU、Memory等），若干broker（Kafka支持水平擴展，一般broker數量越多，集群吞吐率越高），若干Consumer ...

數據存儲格式 Kafka的高可靠性的保障來源於其健壯的副本（replication）策略。一個Topic可以分成多個Partition，而一個Partition物理上由多個Segment組成。 Segment分2部分：索引文件和數據文件。索引文件保存元數據，記錄了消息在數據文件中的偏移 ...

　　一直在思考寫一些什么東西作為2017年開篇博客。突然看到一篇《Kafka學習之路》的博文，覺得十分應景，於是決定搬來這“他山之石”。雖然對於Kafka博客我一向堅持原創，不過這篇來自Confluent團隊Gwen Shapira女士的博文實在精彩，所以還是翻譯給大家，原文參見 ...

一、術語 1.1 Broker Kafka 集群包含一個或多個服務器，服務器節點稱為broker。 broker存儲topic的數據。 如果某topic有N個partition，集群有N個broker，那么每個broker存儲該topic的一個partition。 如果某topic有N ...

Apache Kafka是分布式發布-訂閱消息系統，在 kafka官網上對 kafka 的定義：一個分布式發布-訂閱消息傳遞系統。 它最初由LinkedIn公司開發，Linkedin於2010年貢獻給了Apache基金會並成為頂級開源項目。Kafka是一種快速、可擴展的、設計內在就是分布式的，分區 ...