1. Kafka的Producer 　　不论将kafka作为什么样的用途，都少不了的向Broker发送数据或接受数据，Producer就是用于向Kafka发送数据。如下： 　　 2. 添加依赖 　　pom.xml文件如下： 3. 发送消息 ...

概述 第一篇随笔从消息队列的定义和各种应用，以及kafka的分类定义和基本知识，第二篇就写一篇关于kafka的基本实际配置和使用的随笔，包括kafka的集群参数的配置，生产者使用机制，消费者使用机制。总之我会使用由浅到深，由概括到具体的介绍kafka的每个功能。 kafka集群的配置 ...

概述 上一篇随笔主要介绍了kafka的基本使用包括集群参数，生产者基本使用，consumer基本使用，现在来介绍一下kafka的使用技巧。 分区机制 我们在使用 Apache Kafka 生产和消费消息的时候，肯定是希望能够将数据均匀地分配到所有服务器上。比如很多公司使用 Kafka 收集 ...

日常工作中有时候需要向kafka中发送消息来测试功能或者性能，这时候我们怎么办呢？我之前是自己写个简单的python脚本来模拟发送消息的，其实用Jmeter来实现也比较简单方便。 1、我们必须有kafka相关的jar包。 我是直接下载的相关jar包，链接：https ...

目录： 什么是Kafka Connect Kafka Connect能干什么 Kafka Connect使用示例 什么是Kafka Connect 它是一种用于Kafka和其它系统之间（其它数据源）流式数据传输的工具，如Mysql >> Oracle，Json ...

关于 Topic 和 Partition Topic 在 kafka 中，topic 是一个存储消息的逻辑概念，可以认为是一个消息集合。每条消息发送到 kafka 集群的消息都有一个类别。物理上来说，不同的 topic 的消息是分开存储的，每个 topic 可以有多个生产者向它发送消息 ...

之前写了一篇关于kafka集群搭建的点击打开链接。想了解的可以看下。 今天这个实现是和前面集群对应的。使用的是新版的API。属性如果想定制自己的，需要到官方网址上面去查看一下对应的值。 推介大家多去看看官方的介绍和demo。网上有些翻译过来的例子并不完善，最好是知己知彼，才能百战不殆 ...

Spark streaming 和kafka 处理确保消息不丢失的总结 接入kafka 我们前面的1到4 都在说 spark streaming 接入 kafka 消息的事情。讲了两种接入方式，以及spark streaming 如何和kafka协作接收数据，处理数据生成rdd的 主要有 ...