刚完成了一个存储百亿级数据，响应时间要求10毫秒内的交易系统数据存储设计方案，现在有空整理一下思维。 一、分库分表 1.实时数据和历史数据分离 分为ABC表，AB表每日日切，只存储1天数据，每到24点切另外1张表。C表存储历史数据，T-1数据日终批量AB表迁移至C表 这样实现动态数据和静 ...

作者：龙逸尘，腾讯 CSIG 高级工程师 为什么要构建监控系统 在后移动互联网时代，良好的用户体验是增长的基础，稳定的使用体验就是用户体验的基础。大型的互联网公司，特别是面向 C 端客户的公司，对业务系统稳定性的要求越来越高，因此对线上问题发现和处理的速度要求通常是分钟级 ...

掌握搜索技能，才能在庞大的数据集中找到准确的目标。本篇就带你进入另一个非凡的旅程，即使你没有像Google或Baidu一样强大的技术，一样也可以做出与之相匹敌的用户体验。 搜索是现代软件必备的一项基础功能，而 Elasticsearch 就是一款功能强大的开源分布式搜索与数据分析引擎。 它可 ...

阅读本文大概需要 6 分钟。 如果面试的时候碰到这样一个面试题：ES 在数据量很大的情况下（数十亿级别）如何提高查询效率？ 这个问题说白了，就是看你有没有实际用过 ES，因为啥？其实 ES 性能并没有你想象中那么好的。 很多时候数据量大了，特别是有几亿条数据 ...

select to_char(systimestamp,'yyyy-mm-dd hh24:mi:ssxff') time1, 关键在 systimestamp ...

日志数据是最常见的一种海量数据，以拥有大量用户群体的电商平台为例，双 11 大促活动期间，它们可能每小时的日志数量达到百亿规模，海量的日志数据暴增，随之给技术团队带来严峻的挑战。 本文将从海量日志系统在优化、部署、监控方向如何更适应业务的需求入手，重点从多种日志系统的架构设计对比 ...

小结： 1、 有赞百亿级日志系统架构设计https://tech.youzan.com/you-zan-bai-yi-ji-ri-zhi-xi-tong-jia-gou-she-ji/ 马梦婕 | 15 Apr 2019 | 16 min (4265 words ...

背景： 随着公司各项业务的快速发展与扩张，服务器和各种应用系统随之而增加，同时对应用系统、服务器的稳定性，可持续性提出了更高的要求，公司希望搭建一套综合的分析与监控系统，为各个部分提供决策支持。 需要解决的问题： （1）数据孤岛问题，数据分散在不同的业务系统 ...