记一次大数据量后台服务的性能优化
背景 最近被分配到的一个需求，数据量每周新增上千万，预计两个月就会破亿，这里记录一下对这个服务的性能优化的过程。 正文 需求介绍 首先大致介绍一下这个需求的内容。这个需求是一个周报服务，每周日向用户推送他本周使用服务的时常，最晚使用时间等统计数据，这应该是很多应用都有实现的功能 ...
原文：一次大量数据更新的性能优化调研
问题 工作中需要同步一些数据，大概接近百万条的量级，更新时间非常慢，需要 个多小时，更新的频率是每周一次。随着数据量的一步步增加，时间也越来越多，逐渐成为一个风险因子，于是想到要尝试做一些优化，降低同步时间。 分析 经过调查，需要同步的是TABLE A，同步的过程可以简化表述为两步： Call API B to get updated value. Update records in DB. 首先 ...
2019-04-16 19:32 0 1451 推荐指数：
相关推荐
记一次大量 TCP 连接失败
背景 在一段没有日志的历史遗留代码上面加入监控部署后不久，就收到了服务调用成功率低的告警，真是哗了狗了 解决过程 client端在线上单机部署，根据监控上面的返回码比例看出失败原因都是链接失 ...
记录一次大量CLOSE_WAIT的情况
近期的项目中，有一个特殊的需求，对于每个客户端程序有若干个机构，对于每个机构有不同的客户端证书，程序间隔一段时间向服务端进行请求，根据请求的成功与否更新各机构的状态（如正常，证书未配置，证书过期等）。 实际投入测试环境进行使用的时候，运行了一段时间之后，客户端程序出现了大量 ...
一次大数据量导出优化--借助xml导出xls、xlsx文件
最近遇到一个问题，线上生产环境某个功能导出数据到excel文件非常缓慢，几万数据导十多分钟都导不出来，导出慢的原因一是主表A数据量太大，接近2亿，另外里面部分数据来自于另外一张表B，B表也是几千万的数据量，数据库层面能做的优化已经做了，视图、索引这些工具都上了（没有分表是一开始项目设计阶段就没考虑 ...
详述一次大量删除导致MySQL慢查的过程
墨墨导读：本文记录一次大量删除导致MySQL慢查的分析，大家有没有遇到过这种问题？ 今晚20:30-21:30，相约云和恩墨大讲堂，从cost=0异常分析看Oracle统计信息的奥秘，详情及报名请戳： 从cost=0异常分析看Oracle统计信息的奥秘 一、背景 监控 ...
一次EF批量插入多表数据的性能优化经历
距离上次的博客已经有15个多月了，感慨有些事情还是需要坚持，一旦停下来很有可能就会停很久或者从此再也不会坚持。但我个人一直还坚持认为属于技术狂热份子，且喜欢精益求精的那种。最近遇到两个和数据迁移相关的项目，均遇到需要性能优化的问题，这里拿第二个项目的一个小优化过程与大家分享，技术并不 ...
一次oracle大量数据删除经历
oracle有个数据表现在已经有2500万条数据了，软件用到这个表的数据时就变的特别慢，所以准备把一个月以前的数据全部清除。 我的步骤是(下边操作都是在plsql中运行的) 1、首先 将这个月的数据导出到一个临时表中(这些数据是自己希望保留的) create ...
【vue】渲染大量数据时性能优化
对应vue渲染大量数据时可以考虑下面几点： 1. 异步渲染组件：因为组件渲染太多，影响页面的渲染时间，所有可以延迟组件渲染，可以考虑v-if处理 2. 可以使用虚拟滚动的组件：参考使用这个插件 vue-virtual-scroller 地址：https://github.com ...