kafka学习笔记（二）kafka的基本使用
概述 第一篇随笔从消息队列的定义和各种应用，以及kafka的分类定义和基本知识，第二篇就写一篇关于kafka的基本实际配置和使用的随笔，包括kafka的集群参数的配置，生产者使用机制，消费者使用机制。总之我会使用由浅到深，由概括到具体的介绍kafka的每个功能。 kafka集群的配置 ...
原文：kafka-node的学习使用
kafka node地址： 下面代码只是消费信息的 估计后面再真正生产中可能会出现别的问题，后续在接着记录 最近几天出现了重复消费信息和消息丢失的情况。主要原因是因为node.js是异步的，而且出现错误就导致项目停止，这样被消费的消息就没办法提交。还有就是会出现重复的offset信息。本身对kafka就不是很懂，kafka node的文档说明也比较少，实在是想不到用什么好方法来解决这个问题，就是用 ...
2020-04-08 22:44 0 3395 推荐指数：
相关推荐
kafka学习笔记（三）kafka的使用技巧
概述 上一篇随笔主要介绍了kafka的基本使用包括集群参数，生产者基本使用，consumer基本使用，现在来介绍一下kafka的使用技巧。 分区机制 我们在使用 Apache Kafka 生产和消费消息的时候，肯定是希望能够将数据均匀地分配到所有服务器上。比如很多公司使用 Kafka 收集 ...
Kafka学习笔记（6）----Kafka使用Producer发送消息
1. Kafka的Producer 不论将kafka作为什么样的用途，都少不了的向Broker发送数据或接受数据，Producer就是用于向Kafka发送数据。如下： 2. 添加依赖 pom.xml文件如下： 3. 发送消息 ...
Kafka学习笔记（7）----Kafka使用Cosumer接收消息
1. 什么是KafkaConsumer? 应用程序使用KafkaConsul'le 「向Kafka 订阅主题，并从订阅的主题上接收消息。Kafka的消息读取不同于从其他消息系统读取数据，它涉及了一些独特的概念和想法。 1.1 消费者和消费者群组 单个的消费者就跟前面的消息系统 ...
如何学习kafka?
本文是我学习kafka的一个思路和总结，希望对刚接触kafka的你有所帮助。在学习kafka之前，最好能对kafka有一个简单的了解，可以提出一些问题，带着问题去学习，就会容易一些。 0 什么是kakfa1 kafka的版本2 kakfa中的术语3 Kafka消息模型 ...
Kafka学习之（四）PHP操作Kafka
简单测试 环境：Centos6.4，PHP7，kafka服务器IP：192.168.9.154，PHP服务器:192.168.9.157 在192.168.9.157创建目录和文件。 记住消费者PHP文件要在终端运行:php consumer.php ...
Kafka学习之路 （二）Kafka的架构
一、Kafka的架构 如上图所示，一个典型的Kafka集群中包含若干Producer（可以是web前端产生的Page View，或者是服务器日志，系统CPU、Memory等），若干broker（Kafka支持水平扩展，一般broker数量越多，集群吞吐率越高），若干Consumer ...
Kafka学习笔记（六、Kafka Connect）
目录： 什么是Kafka Connect Kafka Connect能干什么 Kafka Connect使用示例 什么是Kafka Connect 它是一种用于Kafka和其它系统之间（其它数据源）流式数据传输的工具，如Mysql >> Oracle，Json ...