kafka学习笔记（三）kafka的使用技巧
概述 上一篇随笔主要介绍了kafka的基本使用包括集群参数，生产者基本使用，consumer基本使用，现在来介绍一下kafka的使用技巧。 分区机制 我们在使用 Apache Kafka 生产和消费消息的时候，肯定是希望能够将数据均匀地分配到所有服务器上。比如很多公司使用 Kafka 收集 ...
原文：kafka学习笔记（二）kafka的基本使用
概述 第一篇随笔从消息队列的定义和各种应用，以及kafka的分类定义和基本知识，第二篇就写一篇关于kafka的基本实际配置和使用的随笔，包括kafka的集群参数的配置，生产者使用机制，消费者使用机制。总之我会使用由浅到深，由概括到具体的介绍kafka的每个功能。 kafka集群的配置 这里我只是介绍我认为比较重要的参数，当然也借鉴了网上多次提到的参数配置。严格来说这些配置并不单单指 Kafka 服 ...
2020-08-09 20:15 0 612 推荐指数：
相关推荐
Kafka学习笔记（六、Kafka Connect）
目录： 什么是Kafka Connect Kafka Connect能干什么 Kafka Connect使用示例 什么是Kafka Connect 它是一种用于Kafka和其它系统之间（其它数据源）流式数据传输的工具，如Mysql >> Oracle，Json ...
Kafka学习笔记（6）----Kafka使用Producer发送消息
1. Kafka的Producer 不论将kafka作为什么样的用途，都少不了的向Broker发送数据或接受数据，Producer就是用于向Kafka发送数据。如下： 2. 添加依赖 pom.xml文件如下： 3. 发送消息 ...
Kafka学习笔记（7）----Kafka使用Cosumer接收消息
1. 什么是KafkaConsumer? 应用程序使用KafkaConsul'le 「向Kafka 订阅主题，并从订阅的主题上接收消息。Kafka的消息读取不同于从其他消息系统读取数据，它涉及了一些独特的概念和想法。 1.1 消费者和消费者群组 单个的消费者就跟前面的消息系统 ...
Kafka 学习笔记
为什么使用消息队列？ 以用户下单购买商品的行为举例，在使用微服务架构时，我们需要调用多个服务。传统的调用方式是同步调用，这会存在一定的性能问题 使用消息队列可以实现异步的通信方式，相比于同步的通信⽅式，异步的⽅式可以让上游快速成功，极大提高系统的吞吐量。在分布式系统中，通过下游多个服务 ...
Kafka 学习笔记之 架构
Kafka的概念： 1、 AMQP协议 Advanced Message Queuing Protocol （高级消息队列协议） The Advanced Message Queuing Protocol (AMQP)： 是一个标准开放的应用层 ...
kafka学习笔记
kafka学习笔记 参考文档 Kafka背景及架构介绍 Kafka背景 对网站使用情况做报表，如活动数据（page view、查看内容、搜索内容等）和运营数据（CPU、IO使用率、请求时间、服务器日志等）要用到的数据的收集和分析。 Kafka简介 Kafka是一个分布式的，基于发布 ...
Kafka学习笔记之Kafka日志删出策略
0x00 概述 kafka将topic分成不同的partitions，每个partition的日志分成不同的segments，最后以segment为单位将陈旧的日志从文件系统删除。 假设kafka的在server.properity文件中设置的日志目录为tmp/kafka-logs，对于名为 ...