我在要完成这个需求的时候大概有两个思路。 第一种方法： 我们直接使用 Kafka 提供的 bin 工具，去把我们关心的 lag 值 show 出来然后通过代码处理一下报出来。例如： 我们可以起个远程的 cmd 脚本，定期去执行 kafka-consumer ...

一、背景 公司业务某些页面加载很慢，简单通过日志并不能确认到底是哪些接口慢导致的，最近又在研究influxdb，于是计划通过influxdb+telegraf+grafana实现一套nginx监控，用来分析接口的耗时。 二、安装 我的开发机是centos7，以下安装命令都是在centos ...

一、Spark-StructuredStreaming checkpointLocation 介绍 Structured Streaming 在 Spark 2.0 版本于 2016 年引入， 是基 ...

1. telegraf的redis配置 2. influxdb的配置 3.redis的grafana的dashboard：6908 https://grafana.com/grafana/dashboards/6908/revisions ...

influxdb 安装 telegraf 安装 创建 Influxdb数据库 配置Telegraf 检查Telegraf配置 telegrfa默认开启下列几项系统性能收集 ...

Kafka 官方对于自身的 LAG 监控并没有太好的方法，虽然Kafka broker 自带有 kafka-topic.sh, kafka-consumer-groups.sh, kafka-console-consumer.sh 等脚本，但是对于大规模的生产集群上，使用脚本采集是非常不可靠 ...

1.安装平台 1).grafana , 访问各类数据源 , 自定义报表、显示图表等等 , 用于提供界面监控 , 默认端口为3000 , 默认登陆信息admin 2).influxdb , 时序数据库 , 默认端口为Web端8083 , API端8086 ...

注：我是在Centos7上安装的，下面是我的安装过程，对于Ubuntu 15.04+给了对应的参照。 influxdb 安装 在Ubuntu上 telegraf 安装 在Ubuntu上 创建 Influxdb数据库 配置Telegraf 检查Telegraf ...