系統運維的過程中，每一個細節都值得我們關注 下圖為我們的基本日志處理架構 所有日志由Rsyslog或者Filebeat收集，然后傳輸給Kafka，Logstash作為Consumer消費Kafka里邊的數據，分別寫入Elasticsearch和Hadoop，最后使用Kibana ...

ELK架構下利用Kafka Group實現Logstash的高可用 原創： 37丫37 運維咖啡吧 3天前 系統運維的過程中，每一個細節都值得我們關注 下圖為我們的基本日志處理架構 所有日志由Rsyslog或者Filebeat收集，然后傳 ...

數據存儲格式 Kafka的高可靠性的保障來源於其健壯的副本（replication）策略。一個Topic可以分成多個Partition，而一個Partition物理上由多個Segment組成。 Segment分2部分：索引文件和數據文件。索引文件保存元數據，記錄了消息在數據文件中的偏移 ...

kafka高可用探究 眾所周知 kafka 的 topic 可以使用 --replication-factor 數和 partitions 數來保證服務的高可用性 問題發現 但在最近的運維過程中，3台集群的kafka，副本與分區都為3，有其中一台 broker 掛了導致整個集群成了 ...

一、術語 1.1 Broker Kafka 集群包含一個或多個服務器，服務器節點稱為broker。 broker存儲topic的數據。 如果某topic有N個partition，集群有N個broker，那么每個broker存儲該topic的一個partition。 如果某topic有N ...

Apache Kafka是分布式發布-訂閱消息系統，在 kafka官網上對 kafka 的定義：一個分布式發布-訂閱消息傳遞系統。 它最初由LinkedIn公司開發，Linkedin於2010年貢獻給了Apache基金會並成為頂級開源項目。Kafka是一種快速、可擴展的、設計內在就是分布式的，分區 ...

在Kubernetes中，通常kube-schduler和kube-controller-manager都是多副本進行部署的來保證高可用，而真正在工作的實例其實只有一個。這里就利用到 leaderelection 的選主機制，保證leader是處於工作狀態，並且在leader掛掉之后，從其他節點 ...

一、高可用的由來 1.1　為何需要Replication 　　在Kafka在0.8以前的版本中，是沒有Replication的，一旦某一個Broker宕機，則其上所有的Partition數據都不可被消費，這與Kafka數據持久性及Delivery Guarantee的設計目標相悖 ...