原文:Kafka學習之路 (二)Kafka的架構

一 Kafka的架構 如上圖所示,一個典型的Kafka集群中包含若干Producer 可以是web前端產生的Page View,或者是服務器日志,系統CPU Memory等 ,若干broker Kafka支持水平擴展,一般broker數量越多,集群吞吐率越高 ,若干Consumer Group,以及一個Zookeeper集群。Kafka通過Zookeeper管理集群配置,選舉leader,以及在C ...

2018-05-07 19:39 2 28540 推薦指數:

查看詳情

Kafka學習之路 (一)Kafka的簡介

一、簡介 1.1 概述 Kafka是最初由Linkedin公司開發,是一個分布式、分區的、多副本的、多訂閱者,基於zookeeper協調的分布式日志系統(也可以當做MQ系統),常見可以用於web/nginx日志、訪問日志,消息服務等等,Linkedin於2010年貢獻給了Apache基金會 ...

Tue May 08 03:18:00 CST 2018 8 182095
Kafka學習之路 (四)Kafka的安裝

一、下載 下載地址: http://kafka.apache.org/downloads.html http://mirrors.hust.edu.cn/apache/ 二、安裝前提(zookeeper安裝) 參考http://www.cnblogs.com/qingyunzong/p ...

Tue May 08 17:50:00 CST 2018 4 14822
【譯】Kafka學習之路

  一直在思考寫一些什么東西作為2017年開篇博客。突然看到一篇《Kafka學習之路》的博文,覺得十分應景,於是決定搬來這“他山之石”。雖然對於Kafka博客我一向堅持原創,不過這篇來自Confluent團隊Gwen Shapira女士的博文實在精彩,所以還是翻譯給大家,原文參見 ...

Fri Jan 20 06:56:00 CST 2017 3 6689
Kafka 學習筆記之 架構

Kafka的概念: 1、 AMQP協議 Advanced Message Queuing Protocol (高級消息隊列協議) The Advanced Message Queuing Protocol (AMQP): 是一個標准開放的應用層 ...

Sun Jul 16 23:13:00 CST 2017 0 2806
Kafka學習之路 (三)Kafka的高可用

一、高可用的由來 1.1 為何需要Replication   在Kafka在0.8以前的版本中,是沒有Replication的,一旦某一個Broker宕機,則其上所有的Partition數據都不可被消費,這與Kafka數據持久性及Delivery Guarantee的設計目標相悖 ...

Tue May 08 04:10:00 CST 2018 4 30042
Kafka學習之路 (五)Kafka在zookeeper中的存儲

一、Kafka在zookeeper中存儲結構圖 二、分析 2.1 topic注冊信息 /brokers/topics/[topic] : 存儲某個topic的partitions所有分配信息 2.2 partition狀態信息 /brokers ...

Tue May 08 19:06:00 CST 2018 5 15686
Kafka(一)Kafka的簡介與架構

一、簡介 1.1 概述 Kafka是最初由Linkedin公司開發,是一個分布式、分區的、多副本的、多訂閱者,基於zookeeper協調的分布式日志系統(也可以當做MQ系統),常見可以用於web/nginx日志、訪問日志,消息服務等等,Linkedin於2010年貢獻 ...

Thu Aug 02 04:03:00 CST 2018 1 11635
java架構之路(MQ專題)kafka集群配置和簡單使用

  前面我們說了RabbitMQ和RocketMQ的安裝和簡單的使用,這次我們說一下Kafka的安裝配置,后面我會用幾個真實案例來說一下MQ的真實使用場景。天冷了,不願意伸手,最近沒怎么寫博客了,還請見諒。 一、目標   1.知道什么是Kafka   2.懂得kafka的單機和集群安裝 ...

Wed Nov 20 00:52:00 CST 2019 0 372
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM