原文:kafka修改对应topic的日志保存周期

.server.properties配置 在创建topic时候设置参数,会覆盖server.properties的相同属性的配置 log.retention.bytes xxx topic每个分区的最大文件大小,一个topic的大小限制 分区数 log.retention.bytes。 没有大小限制log.retention.bytes和log.retention.minutes任意一个达到要求 ...

2021-07-19 17:53 0 321 推荐指数:

查看详情

Kafka在线修改topic日志保存时长(不停机,不重启)

使用场景: 某些时候,当几个topic生产者突发产生大量消息时,会造成磁盘空间紧张,这时,除了增加磁盘,另一个方法就是修改配置文件,将日志保存时间修改小一点,但这两种方案,都必须停机和重启kafka,显然,这在生产集群上,是不能这么处理的。这里,可以通过在线修改单个topic的配置,以覆盖默认 ...

Fri Dec 04 23:10:00 CST 2020 0 1435
Kafka日志Topic数据清理

由于项目原因,最近经常碰到Kafka消息队列拥堵的情况。碰到这种情况为了不影响在线系统的正常使用,需要大家手动的清理Kafka Log。但是清理Kafka Log又不能单纯的去删除中间环节产生的日志,中间关联的很多东西需要手动同时去清理,否则可能会导致删除后客户端无法消费的情况。 在介绍 ...

Wed Dec 21 06:22:00 CST 2016 1 73483
Kafka日志Topic数据清理

由于项目原因,最近经常碰到Kafka消息队列拥堵的情况。碰到这种情况为了不影响在线系统的正常使用,需要大家手动的清理Kafka Log。但是清理Kafka Log又不能单纯的去删除中间环节产生的日志,中间关联的很多东西需要手动同时去清理,否则可能会导致删除后客户端无法消费的情况。 在介绍手动 ...

Wed Dec 26 01:13:00 CST 2018 0 1468
修改kafka topic offset 的方法

在spark JOB中消费kafka队列数据时,通过zookeeper记录了kafka的偏移量,有时数据量较大,JOB处理不过来,这事需要kafka修改偏移量offset,如: 开始尝试调用kafka内置的类kafka.tools.UpdateOffsetsInZK,修改 ...

Thu Jul 05 01:19:00 CST 2018 0 7395
(一)kafka修改topic分区的位置

(一)kafka修改topic分区的位置 环境:kafka_2.10-0.8.2.1 + JDK1.7.0_80 1. 查看分区topic的分区分布 $ le-kafka-topics.sh --describe --topic http_zhixin_line1 结果如下: 2. ...

Fri Jul 15 02:18:00 CST 2016 0 4119
kafka修改topic副本数

工作案例: 大数据开发用系统脚本自动在kafkatopic,检查后才发现副本数只有1个,存在数据丢失的风险。需要立刻把副本数改为3个。 开始干活,首先想到的是下面的命令: ${BIN_PATH}/kafka-topics.sh --zookeeper ...

Fri Jul 19 05:48:00 CST 2019 0 3862
std::set的迭代器不能修改对应的元素

c++不长搞,每次搞都频繁掉进陷阱里。。。 std::set<int> iset;std::set<int>::iterator it = iset.insert(4).first;(*it)++; // error. 原因:std::set的迭代器不能修改对应的元素 ...

Sat Oct 13 01:14:00 CST 2012 0 7258
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM