原文:TDengine助力順豐科技大數據監控改造

作者:尹飛 小T導讀:順豐科技大數據集群每天需要采集海量監控數據,以確保集群穩定運行。之前雖然采用了OpenTSDB HBase作為大數據監控平台全量監控數據的存儲方案,但有不少痛點,必須對全量監控數據存儲方案進行改造。通過對IoTDB Druid ClickHouse TDengine等時序數據存儲方案的調研,最終我們選擇了TDengine。大數據監控平台采用TDengine后,在穩定性 寫入 ...

2021-04-30 14:35 0 235 推薦指數:

查看詳情

大數據監控

數據作為大數據系統的核心,需要進行監控,合理的監控與報警策略不但可以幫助我們快速發現和定位故障,而且還可以智能化的預測可能發生的問題。我們可以根據業務的規則制定重點的監控指標,保證數據具備高質量。 在大數據監控中,對數據質量進行監控是最為直接的。因為從數據使用者的角度來說 ...

Wed Mar 23 04:41:00 CST 2022 0 959
zabbix監控大數據

參考: https://github.com/Staroon/zabbix-hadoop-template 支持監控HDFS、NameNode, YARN ResourceManager, Hive, Zookeeper, HBase Master. 提供的腳本只是一個思路參考,理論上兼容 ...

Wed Sep 04 19:22:00 CST 2019 0 485
雲計算助力大數據分析

前記:這是我老婆隨手寫的一篇文章,結合了她當前的分析工作和雲計算,介紹了雲計算對大數據分析的助力。   在互聯網后時代,數據分析已經成為企業保持競爭力的必要方法。企業在成長和發展的過程中積累了海量的數據,這些歷史數據不管是通過紙質媒介,還是通過硬盤記錄下來,都是企業寶貴的數據資產。對數據 ...

Mon Nov 26 18:30:00 CST 2018 0 847
雙匯大數據方案選型:從棘手的InfluxDB+Redis到毫秒級查詢的TDengine

雙匯發展多個分廠的能源管控大數據系統主要采用兩種技術棧:InfluxDB/Redis和Kafka/Redis/HBase/Flink,對於中小型研發團隊來講,無論是系統搭建,還是實施運維都非常棘手。經過對InfluxDB/Redis和TDengine大數據平台的功能和性能對比測試,最終 ...

Wed Nov 18 22:24:00 CST 2020 1 1229
大數據集群監控工具

大數據集群監控工具 1.大數據監控工具Ganglia Ganglia原理:https://blog.csdn.net/tryhl/article/details/44494811 Ganglia 的安裝與部署:https://blog.csdn.net/Felix_CB/article ...

Wed Dec 09 04:16:00 CST 2020 0 398
大數據集群監控工具

大數據集群監控工具 1.大數據監控工具Ganglia Ganglia原理:https://blog.csdn.net/tryhl/article/details/44494811 Ganglia 的安裝與部署:https://blog.csdn.net/Felix_CB/article ...

Sun Nov 22 07:16:00 CST 2020 0 701
 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM