原文:kafka 主题管理

对于 kafka 主题 topic 的管理 增删改查 ,使用最多的便是kafka自带的脚本。 创建主题 kafka提供了自带的 kafka topics 脚本,用来帮助用户创建主题 topic 。 create 表明我们要创建主题,而 partitions 和 replication factor 分别设置了主题的分区数以及每个分区下的副本数。 这里为什么用的 bootstrap server 参 ...

2019-09-17 19:45 3 1492 推荐指数:

查看详情

kafka主题管理

若代理设置了 auto.create.topics.enable=true,这样还未创建topic就往kafka发送消息时, 会自动创建一个 ${num.partitions}个分区和{default.replication.factor}个副本的主题 创建主题 1.创建一个名称 ...

Wed Oct 24 22:50:00 CST 2018 0 3311
KafkaKafka topic主题删除不了

前言 利用kafka命令删除topic不成功。 原因&解决方式 1. 配置文件未将delete.topic.enable=true,导致删除命令未及时生效; 解决方式: 第一种: 找到conf目录下server.properties配置文件,修改 ...

Fri May 15 23:42:00 CST 2020 0 1255
kafka主题与消费

同一个消费者组不能同时消费同一个分区的数据 不同分区可以消费同一组不同消费者 同一个消费者可以同时消费多个topicA的数据 Topic和consumer依赖 ...

Thu Aug 15 17:33:00 CST 2019 0 529
KAFKA详解:主题说明(二)

一、主题说明 二、生产者消费者角色说明 1、生产消费者 从生产者的角度来说,他所操作的单元,一般情况下属于主题为单位 从消费者的角度来说,他所操作的单元,一般情况下属于主题为单位 生产者、消费者可以以主题更细单位来操作--->(分区),也是消息的分类 从kafka的角度来说 ...

Thu Sep 27 19:39:00 CST 2018 0 702
Apache Kafka主题 - 架构和分区

1.卡夫卡话题 在这篇Kafka文章中,我们将学习Kafka主题Kafka Architecture的整体概念。Kafka中的体系结构包括复制,故障转移以及并行处理。此外,我们还将看到创建Kafka主题的方法以及Apache Kafka主题的示例,以便更好地理解Kafka。此外,我们将看到 ...

Sun May 12 23:44:00 CST 2019 0 641
kafka 按照主题消费 和 按照分区消费

一次项目想,多线程消费主题的中的数据,百度了一波之后,可以按分区进行单独消费,记录一下 首先,传统按照主题消费: 按照主题分区消费: 参考:https://blog.csdn.net/russle/article/details/81258590 ...

Fri May 08 21:28:00 CST 2020 0 572
kafka主题offset各种需求修改方法

  简要:开发中,常常因为需要我们要认为修改消费者实例对kafka某个主题消费的偏移量。具体如何修改?为什么可行?其实很容易,有时候只要我们换一种方式思考,如果我自己实现kafka消费者,我该如何让我们的消费者代码如何控制对某一个主题消费,以及我们该如何实现不同消费者组可以消费同一个主题的同一 ...

Fri Dec 23 05:40:00 CST 2016 1 4543
Kafka的常用管理命令

1. 查看kafka都有那些topic a. list/usr/hdp/current/kafka-broker/bin/kafka-topics.sh --list --zookeeper test1.hadoop.puhuifinance.com:2181b. ...

Fri Mar 04 23:36:00 CST 2016 0 7468
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM