转载请注明出处：http://www.cnblogs.com/xiaodf/ 创建kafka topic 查看所有topic列表 查看指定topic信息 控制台向topic生产数据 控制台消费topic的数据 查看topic某分区偏移量最大（小）值 增加topic ...

最近工作中遇到需要使用kafka的场景，测试消费程序启动后，要莫名的过几十秒乃至几分钟才能成功获取到到topic的partition和offset，而后开始消费数据，于是学习了一下查看kafka broker里topic和consumer group状态的相关命令，这里记录一下。 命令参考 ...

一、为什么需要消息系统 二、kafka 架构 2.1 拓扑结构 如下图： 图.1 2.2 相关概念 如图.1中，kafka 相关名词解释如下： 2.3 zookeeper 节点 kafka 在 zookeeper 中的存储结构如下图所示 ...

一、安装 kafka可以通过官网下载：https://kafka.apache.org/downloads kafka根据Scala版本不同，又分为多个版本，我不需要使用Scala，所以就下载官方推荐版本kafka_2.12-2.4.0.tgz。 使用tar -xzvf ...

1、查询topic，进入kafka目录： bin/kafka-topics.sh --list --zookeeper localhost:2181 2、查询topic内容： bin/kafka ...

一，问题描述 搭建的用来测试的单节点Kafka集群（Zookeeper和Kafka Broker都在同一台Ubuntu上），在命令行下使用： 创建了一个3个分区的Topic如下：（Topic名称为 topicForTest） 使用 Console producer ...

参考 Kafka bootstrap-servers vs zookeeper in kafka-console-consumer 中说建议使用新版(新版本指的是kafka 0.8.0之后的版本)的 --bootstrap-server Kafka专业术语，参考 Apache kafka ...

项目源码:https://github.com/xuebus/springkafkaproducer 这是生产者端的代码,消费者请参考另一篇博客: https://www.cnblogs.com/ ...

准备工作 kafka版本：kafka_2.10-0.10.1.0 spring版本：spring4.3 配置文件 pom文件配置（也可以直接下载jar包） Kafka和spring集成的支持类库，spring和kafka通信监听 kafka发送消息以及接受消息使用的类库 ...

前言 在上一篇 Kafka使用Java实现数据的生产和消费demo 中介绍如何简单的使用kafka进行数据传输。本篇则重点介绍kafka中的 consumer 消费者的讲解。 应用场景 在上一篇kafka的consumer消费者，我们使用的是自动提交offset下标。 但是offset下标 ...