Kafka学习笔记（六、Kafka Connect）
目录： 什么是Kafka Connect Kafka Connect能干什么 Kafka Connect使用示例 什么是Kafka Connect 它是一种用于Kafka和其它系统之间（其它数据源）流式数据传输的工具，如Mysql >> Oracle，Json ...
原文：Kafka学习笔记（二、Kafka中的角色）
目录： Kafka Broker和集群 Kafka主题和分区 Kafka Producer和Consumer Kafka Broker和集群： Broker：一个独立的Kafka服务器被称为broker，它用于接收生产者的消息，并设置消息的偏移量，还会把消息保存到磁盘中。 集群：多个Kafka实例组成Kafka集群，每个实例都被称为broker。其中每个Kafka集群中都会有一个节点被选为领导节点 ...
2020-01-11 21:49 0 672 推荐指数：
相关推荐
kafka学习笔记（二）kafka的基本使用
概述 第一篇随笔从消息队列的定义和各种应用，以及kafka的分类定义和基本知识，第二篇就写一篇关于kafka的基本实际配置和使用的随笔，包括kafka的集群参数的配置，生产者使用机制，消费者使用机制。总之我会使用由浅到深，由概括到具体的介绍kafka的每个功能。 kafka集群的配置 ...
Kafka 学习笔记
为什么使用消息队列？ 以用户下单购买商品的行为举例，在使用微服务架构时，我们需要调用多个服务。传统的调用方式是同步调用，这会存在一定的性能问题 使用消息队列可以实现异步的通信方式，相比于同步的通信⽅式，异步的⽅式可以让上游快速成功，极大提高系统的吞吐量。在分布式系统中，通过下游多个服务 ...
Kafka 学习笔记之 架构
Kafka的概念： 1、 AMQP协议 Advanced Message Queuing Protocol （高级消息队列协议） The Advanced Message Queuing Protocol (AMQP)： 是一个标准开放的应用层 ...
kafka学习笔记
kafka学习笔记 参考文档 Kafka背景及架构介绍 Kafka背景 对网站使用情况做报表，如活动数据（page view、查看内容、搜索内容等）和运营数据（CPU、IO使用率、请求时间、服务器日志等）要用到的数据的收集和分析。 Kafka简介 Kafka是一个分布式的，基于发布 ...
Kafka学习笔记之Kafka日志删出策略
0x00 概述 kafka将topic分成不同的partitions，每个partition的日志分成不同的segments，最后以segment为单位将陈旧的日志从文件系统删除。 假设kafka的在server.properity文件中设置的日志目录为tmp/kafka-logs，对于名为 ...
kafka学习笔记（三）kafka的使用技巧
概述 上一篇随笔主要介绍了kafka的基本使用包括集群参数，生产者基本使用，consumer基本使用，现在来介绍一下kafka的使用技巧。 分区机制 我们在使用 Apache Kafka 生产和消费消息的时候，肯定是希望能够将数据均匀地分配到所有服务器上。比如很多公司使用 Kafka 收集 ...
Kafka学习笔记（五、Kafka偏移量）
目录： MetaData信息 Kafka偏移量 客户端负载均衡 MetaData信息 客户端如何知道该往哪个节点发送请求来获取数据：通过元数据。 元数据（MetaData）是什么：topic、topic的分区、每个分区有哪些副本、哪个副本是leader等信息。 一般 ...