原文:Kafka学习之路 (二)Kafka的架构

一 Kafka的架构 如上图所示,一个典型的Kafka集群中包含若干Producer 可以是web前端产生的Page View,或者是服务器日志,系统CPU Memory等 ,若干broker Kafka支持水平扩展,一般broker数量越多,集群吞吐率越高 ,若干Consumer Group,以及一个Zookeeper集群。Kafka通过Zookeeper管理集群配置,选举leader,以及在C ...

2018-05-07 19:39 2 28540 推荐指数:

查看详情

Kafka学习之路 (一)Kafka的简介

一、简介 1.1 概述 Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志、访问日志,消息服务等等,Linkedin于2010年贡献给了Apache基金会 ...

Tue May 08 03:18:00 CST 2018 8 182095
Kafka学习之路 (四)Kafka的安装

一、下载 下载地址: http://kafka.apache.org/downloads.html http://mirrors.hust.edu.cn/apache/ 二、安装前提(zookeeper安装) 参考http://www.cnblogs.com/qingyunzong/p ...

Tue May 08 17:50:00 CST 2018 4 14822
【译】Kafka学习之路

  一直在思考写一些什么东西作为2017年开篇博客。突然看到一篇《Kafka学习之路》的博文,觉得十分应景,于是决定搬来这“他山之石”。虽然对于Kafka博客我一向坚持原创,不过这篇来自Confluent团队Gwen Shapira女士的博文实在精彩,所以还是翻译给大家,原文参见 ...

Fri Jan 20 06:56:00 CST 2017 3 6689
Kafka 学习笔记之 架构

Kafka的概念: 1、 AMQP协议 Advanced Message Queuing Protocol (高级消息队列协议) The Advanced Message Queuing Protocol (AMQP): 是一个标准开放的应用层 ...

Sun Jul 16 23:13:00 CST 2017 0 2806
Kafka学习之路 (三)Kafka的高可用

一、高可用的由来 1.1 为何需要Replication   在Kafka在0.8以前的版本中,是没有Replication的,一旦某一个Broker宕机,则其上所有的Partition数据都不可被消费,这与Kafka数据持久性及Delivery Guarantee的设计目标相悖 ...

Tue May 08 04:10:00 CST 2018 4 30042
Kafka学习之路 (五)Kafka在zookeeper中的存储

一、Kafka在zookeeper中存储结构图 二、分析 2.1 topic注册信息 /brokers/topics/[topic] : 存储某个topic的partitions所有分配信息 2.2 partition状态信息 /brokers ...

Tue May 08 19:06:00 CST 2018 5 15686
Kafka(一)Kafka的简介与架构

一、简介 1.1 概述 Kafka是最初由Linkedin公司开发,是一个分布式、分区的、多副本的、多订阅者,基于zookeeper协调的分布式日志系统(也可以当做MQ系统),常见可以用于web/nginx日志、访问日志,消息服务等等,Linkedin于2010年贡献 ...

Thu Aug 02 04:03:00 CST 2018 1 11635
java架构之路(MQ专题)kafka集群配置和简单使用

  前面我们说了RabbitMQ和RocketMQ的安装和简单的使用,这次我们说一下Kafka的安装配置,后面我会用几个真实案例来说一下MQ的真实使用场景。天冷了,不愿意伸手,最近没怎么写博客了,还请见谅。 一、目标   1.知道什么是Kafka   2.懂得kafka的单机和集群安装 ...

Wed Nov 20 00:52:00 CST 2019 0 372
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM