一、簡介 1.1 概述 Kafka是最初由Linkedin公司開發,是一個分布式、分區的、多副本的、多訂閱者,基於zookeeper協調的分布式日志系統(也可以當做MQ系統),常見可以用於web/nginx日志、訪問日志,消息服務等等,Linkedin於2010年貢獻給了Apache基金會 ...
一 Kafka的架構 如上圖所示,一個典型的Kafka集群中包含若干Producer 可以是web前端產生的Page View,或者是服務器日志,系統CPU Memory等 ,若干broker Kafka支持水平擴展,一般broker數量越多,集群吞吐率越高 ,若干Consumer Group,以及一個Zookeeper集群。Kafka通過Zookeeper管理集群配置,選舉leader,以及在C ...
2018-05-07 19:39 2 28540 推薦指數:
一、簡介 1.1 概述 Kafka是最初由Linkedin公司開發,是一個分布式、分區的、多副本的、多訂閱者,基於zookeeper協調的分布式日志系統(也可以當做MQ系統),常見可以用於web/nginx日志、訪問日志,消息服務等等,Linkedin於2010年貢獻給了Apache基金會 ...
一、下載 下載地址: http://kafka.apache.org/downloads.html http://mirrors.hust.edu.cn/apache/ 二、安裝前提(zookeeper安裝) 參考http://www.cnblogs.com/qingyunzong/p ...
一直在思考寫一些什么東西作為2017年開篇博客。突然看到一篇《Kafka學習之路》的博文,覺得十分應景,於是決定搬來這“他山之石”。雖然對於Kafka博客我一向堅持原創,不過這篇來自Confluent團隊Gwen Shapira女士的博文實在精彩,所以還是翻譯給大家,原文參見 ...
Kafka的概念: 1、 AMQP協議 Advanced Message Queuing Protocol (高級消息隊列協議) The Advanced Message Queuing Protocol (AMQP): 是一個標准開放的應用層 ...
一、高可用的由來 1.1 為何需要Replication 在Kafka在0.8以前的版本中,是沒有Replication的,一旦某一個Broker宕機,則其上所有的Partition數據都不可被消費,這與Kafka數據持久性及Delivery Guarantee的設計目標相悖 ...
一、Kafka在zookeeper中存儲結構圖 二、分析 2.1 topic注冊信息 /brokers/topics/[topic] : 存儲某個topic的partitions所有分配信息 2.2 partition狀態信息 /brokers ...
一、簡介 1.1 概述 Kafka是最初由Linkedin公司開發,是一個分布式、分區的、多副本的、多訂閱者,基於zookeeper協調的分布式日志系統(也可以當做MQ系統),常見可以用於web/nginx日志、訪問日志,消息服務等等,Linkedin於2010年貢獻 ...
前面我們說了RabbitMQ和RocketMQ的安裝和簡單的使用,這次我們說一下Kafka的安裝配置,后面我會用幾個真實案例來說一下MQ的真實使用場景。天冷了,不願意伸手,最近沒怎么寫博客了,還請見諒。 一、目標 1.知道什么是Kafka 2.懂得kafka的單機和集群安裝 ...