原文:使用脚本+kafka自带命令行工具 统计数据写入kafka速率

思路 每隔一段时间 比如说 秒 统计一次某topic的所有partition的最大offset值之和,这便是该topic的message总数。 然后除以间隔时间就可以粗略但方便得出 某topic的数据增长速率 即相应程序写kafka的速率 Kafka常用topic操作命令汇总 中有统计最大offset命令 shell实现 注意: 第一次打印出来的speed请忽略 为了shell更加简单方便没有特殊 ...

2020-02-14 18:08 0 1055 推荐指数:

查看详情

kafka命令行脚本使用

zookeeper集群部署:http://www.cnblogs.com/ding2016/p/8280696.html kafka集群部署:http://www.cnblogs.com/ding2016/p/8282907.html 测试环境:        测试流程:①主线 ...

Mon Jan 15 01:36:00 CST 2018 0 1082
kafka:安装和命令行使用

在讲kafka使用之前,可以简要介绍一下安装local版本: 在linux下安装本地版(localhost): 1. 首先下载 kafka:http://kafka.apache.org/downloads 2. 其次解压(命令:tar -xzf ...

Mon Nov 02 07:32:00 CST 2020 0 387
kafka命令行操作

1)创建Topic 2)查看所有的Topic 3)查看topic的详细信息 4)修改topic 5)删除topic 当kafka是旧版本时,需要先更改server.propertites里的文件,再删除 6)生产者 7)消费者 8)疑问:为什么启动 ...

Wed Dec 09 03:29:00 CST 2020 0 746
Kafka命令行操作

Kafka命令行操作 (如果是服务器单独安装的kafka,就进入到xxx.sh所在的路径下,执行以下命令) 1)查看当前服务器中的所有topic [sea@hadoop002 kafka]$ bin/kafka-topics.sh --zookeeper host12:2181 --list ...

Fri Jun 26 01:22:00 CST 2020 0 4142
Kafka命令行操作

Kafka命令行操作 1)查看当前服务器中的所有topic [sea@hadoop002 kafka]$ bin/kafka-topics.sh --zookeeper hadoop002:2181 --list 2)创建topic [sea@hadoop002 kafka ...

Mon Aug 05 18:49:00 CST 2019 0 612
日常利器,shell脚本统计数据

前言 最近就干了两件有意思的事,昨天分享了一个,今天我们来分享另一个——shell脚本统计数据。 相比于python,shell是另一种特别常用,特别实用,也特别基础的脚本语言,基本上所有的linux系统都支持shell,更准确地说,shell让系统运行更方便,是shell让linux更强 ...

Mon Nov 08 05:48:00 CST 2021 0 122
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM