原文:TDengine助力顺丰科技大数据监控改造

作者:尹飞 小T导读:顺丰科技大数据集群每天需要采集海量监控数据,以确保集群稳定运行。之前虽然采用了OpenTSDB HBase作为大数据监控平台全量监控数据的存储方案,但有不少痛点,必须对全量监控数据存储方案进行改造。通过对IoTDB Druid ClickHouse TDengine等时序数据存储方案的调研,最终我们选择了TDengine。大数据监控平台采用TDengine后,在稳定性 写入 ...

2021-04-30 14:35 0 235 推荐指数:

查看详情

大数据监控

数据作为大数据系统的核心,需要进行监控,合理的监控与报警策略不但可以帮助我们快速发现和定位故障,而且还可以智能化的预测可能发生的问题。我们可以根据业务的规则制定重点的监控指标,保证数据具备高质量。 在大数据监控中,对数据质量进行监控是最为直接的。因为从数据使用者的角度来说 ...

Wed Mar 23 04:41:00 CST 2022 0 959
zabbix监控大数据

参考: https://github.com/Staroon/zabbix-hadoop-template 支持监控HDFS、NameNode, YARN ResourceManager, Hive, Zookeeper, HBase Master. 提供的脚本只是一个思路参考,理论上兼容 ...

Wed Sep 04 19:22:00 CST 2019 0 485
云计算助力大数据分析

前记:这是我老婆随手写的一篇文章,结合了她当前的分析工作和云计算,介绍了云计算对大数据分析的助力。   在互联网后时代,数据分析已经成为企业保持竞争力的必要方法。企业在成长和发展的过程中积累了海量的数据,这些历史数据不管是通过纸质媒介,还是通过硬盘记录下来,都是企业宝贵的数据资产。对数据 ...

Mon Nov 26 18:30:00 CST 2018 0 847
双汇大数据方案选型:从棘手的InfluxDB+Redis到毫秒级查询的TDengine

双汇发展多个分厂的能源管控大数据系统主要采用两种技术栈:InfluxDB/Redis和Kafka/Redis/HBase/Flink,对于中小型研发团队来讲,无论是系统搭建,还是实施运维都非常棘手。经过对InfluxDB/Redis和TDengine大数据平台的功能和性能对比测试,最终 ...

Wed Nov 18 22:24:00 CST 2020 1 1229
大数据集群监控工具

大数据集群监控工具 1.大数据监控工具Ganglia Ganglia原理:https://blog.csdn.net/tryhl/article/details/44494811 Ganglia 的安装与部署:https://blog.csdn.net/Felix_CB/article ...

Wed Dec 09 04:16:00 CST 2020 0 398
大数据集群监控工具

大数据集群监控工具 1.大数据监控工具Ganglia Ganglia原理:https://blog.csdn.net/tryhl/article/details/44494811 Ganglia 的安装与部署:https://blog.csdn.net/Felix_CB/article ...

Sun Nov 22 07:16:00 CST 2020 0 701
 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM