原文:kafka topic监控采集

使用开源的项目 直接通过编译好的二进制文件部署 kafka exporter二进制文件下载地址下载kafka exporter . . .linux amd .tar.gz 启动kafka exporter 部署prometheus,结合consul动态注册服务 配置consul 下载prometheus . . .linux amd 配置 最好是通过consul进行动态注册服务,consul配置 ...

2020-07-23 11:00 0 621 推荐指数:

查看详情

kafka监控topic的lag情况监控

需求描述:lag(滞后)是kafka消费队列性能监控的重要指标,lag的值越大,表示kafka的堆积越严重。本篇文章将使用python脚本+influxdb+grafana的方式对kafka的offset、logsiz和lag这三个参数进行监控,并以图形化的方式进行展现。 架构描述:使用 ...

Thu Mar 08 18:22:00 CST 2018 0 2002
kafka删除topic

手动: 删除kafka存储目录(server.properties文件log.dirs配置,默认为"/tmp/kafka-logs")相关topic目录 删除zookeeper "/brokers/topics/"目录下相关topic节点 命令+手动 ...

Thu Apr 23 19:21:00 CST 2015 2 3426
kafka实战 - 删除topic

概述   在平时对kafka的运维工作中,我们经常会由于某些原因去删除一个topic,比如这个topic是测试用的,生产环境中需要删除。或者我想扩容topic的同时,这个topic中的数据我不想要了,这时候删除topic,增加broker,再重新创建topic就会是比较简单的方法。但是kafka ...

Wed Nov 28 06:57:00 CST 2018 1 5687
kafka 创建 topic

执行 windows 脚本 命令行程序,获取 broker 元数据,计算副本分配方案,然后把 topic 的信息写入 zk KafkaController 监听 zk 节点的变化,并产生 TopicChange 事件 ...

Mon May 11 02:42:00 CST 2020 0 872
kafka删除topic数据

一、概述 生产环境中,有一个topic的数据量非常大。这些数据不是非常重要,需要定期清理。 要求:默认保持24小时,某些topic 需要保留2小时或者6小时 二、清除方式 主要有3个: 1. 基于时间 2. 基于日志大小 3. 基于日志起始偏移量 详情,请参考链接 ...

Wed Jan 30 01:34:00 CST 2019 0 1241
kafka删除topic

------------恢复内容开始------------ 最近测试环境的kafkaTopic太多太乱,大部分测试用的topic已经没有用了,就想着删掉。查阅了网上博客资料之后进行了操作。 1.有说在kafka的server配置文件中加上delete.topic.enable=true ...

Wed Dec 08 00:56:00 CST 2021 0 1889
KafkaKafka topic主题删除不了

前言 利用kafka命令删除topic不成功。 原因&解决方式 1. 配置文件未将delete.topic.enable=true,导致删除命令未及时生效; 解决方式: 第一种: 找到conf目录下server.properties配置文件,修改 ...

Fri May 15 23:42:00 CST 2020 0 1255
kafka topic查看删除

1,查看kafka topic列表,使用--list参数 2,查看kafka特定topic的详情,使用--topic与--describe参数 列出了lx_test_topic的parition数量、replica因子以及每个partition的leader、replica信息 ...

Thu May 30 18:56:00 CST 2019 0 839
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM