问题描述 zabbix server 平稳运行有一段时间了,但是最近问题却来了,今天早上收到zabbixserver磁盘空间不足的告警。通过查看之后发现是大部分数据是zabbix 库的的数据 在进一步查看发现是history表和history_uint数据太多导致磁盘占用过多。 问题分析 ...
处理大数据量数据访问速度缓慢的问题 方案 水平分库分表,比如根据年份划分,XXX 数据库 XXX 数据库等等 查询的时候根据查询时间,去不同的数据库查询,然后组合结果返回 示例代码 HistoricalDataManage 方案 建立历史数据库和实时数据库,历史数据库存储所有数据,实时数据库仅保留常用数据 定时将实时数据库的数据存入历史数据库,并删除实时数据库中的旧数据 参考资料 数据库中的历史数 ...
2020-05-06 20:52 0 563 推荐指数:
问题描述 zabbix server 平稳运行有一段时间了,但是最近问题却来了,今天早上收到zabbixserver磁盘空间不足的告警。通过查看之后发现是大部分数据是zabbix 库的的数据 在进一步查看发现是history表和history_uint数据太多导致磁盘占用过多。 问题分析 ...
腾讯 分时成交 当天 http://stockhtm.finance.qq.com/sstock/quotpage/q/600103.htm#detail http://stock.gtimg. ...
特别提醒: a、文中测试的Zabbix版本为 3.0.3 。 b、清理数据属于高危操作,请在测试环境中验证后再执行线上操作!!! 1、统计数据库中每个表所占的空间: mysql> SELECT table_name AS "Tables", round ...
在昨天的文章『用python制作动态图表看全球疫情变化趋势』中,由于篇幅原因,在数据处理与数据可视化相关内容上我们只是简单带过,那么我将以python小小白的角度去还原如何处理数据与数据可视化。本文为第一篇:获取数据并处理。 一、数据获取 一开始就有一个问题摆在面前,疫情数据哪里获取。虽然国内 ...
2018/12/24 14:00:57 zabbix监控运行一段时间以后,会留下大量的历史监控数据,zabbix数据库一直在增大;可能会造成系统性能下降,查看历史数据室查询速度缓慢。 zabbix里面最大的表就是history和history_uint两个表,而且zabbix ...
abbix运行一段时间之后,会留下大量的历史 数据,会发现zabbix的数据库一直在增大。运行3个月后笔者的数据库达到了5.7G,可能造成系统性能下降,查看历史数据时查询速度缓慢。zabbix里面最大的表就是历史记录的表了,网上很多人都是写全部清空这些表的数据,其实我们可以按时间来删除里面 ...
...
由于量化策略研究需要用到尽量全的历史数据,包括:股票、外汇、期货、基金等等的分钟、小时、日历史数据,而且数据尽量全,最好能从九几年起。所以我在网上做了较多的搜查以找到可用的数据源。以下分别列出几个方案,并讨论其优缺,最后总结出一条可行的路。 Tushare 数据接口: 该接口 ...