记一次大数据量后台服务的性能优化
背景 最近被分配到的一个需求，数据量每周新增上千万，预计两个月就会破亿，这里记录一下对这个服务的性能优化的过程。 正文 需求介绍 首先大致介绍一下这个需求的内容。这个需求是一个周报服务，每周日向用户推送他本周使用服务的时常，最晚使用时间等统计数据，这应该是很多应用都有实现的功能 ...
原文：一次大数据量导出优化--借助xml导出xls、xlsx文件
最近遇到一个问题，线上生产环境某个功能导出数据到excel文件非常缓慢，几万数据导十多分钟都导不出来，导出慢的原因一是主表A数据量太大，接近 亿，另外里面部分数据来自于另外一张表B，B表也是几千万的数据量，数据库层面能做的优化已经做了，视图 索引这些工具都上了 没有分表是一开始项目设计阶段就没考虑，后面也没有专人维护，是另外一段故事了，这里不展开描述 ，但是依旧很慢，那就只能改导出代码了。 项目原 ...
2021-12-21 16:53 0 817 推荐指数：
相关推荐
【Easyexcel】java导入导出超大数据量的xlsx文件 解决方法
解决方法： 使用easyexcel解决超大数据量的导入导出xlsx文件 easyexcel最大支持行数 1048576。 官网地址： https://alibaba-easyexcel.github.io/ GitHub地址： https ...
关于poi导出大数据量EXCEL导出缓慢的解决方案--生成xml格式的表格文件(注意xls格式为03 07下格式会不一样)
今天遇到了一个POI导出EXCEL文件结果文件大小太大导致系统运行缓慢的问题。想到了使用输出XML格式的表格来完成。 首先，我们需要理解一下为什么POI导出EXCEL文件会导致文件大小变大。最主要的原因应该是POI变成中经常会对无关的单元格设置属性。例如：一个EXCEL工作表的最大列数为256 ...
使用内存映射文件MMF实现大数据量导出时的内存优化（Windows篇）
前言 导出功能几乎是所有应用系统必不可少功能，今天我们来谈一谈，如何使用内存映射文件MMF进行内存优化，本文重点介绍使用方法，相关原理可以参考文末的连接 实现 我们以单次导出一个excel举例(csv同理)，excel包含1~n个sheet，在每个sheet中存储的按行 ...
Excel---导出与读取（大数据量）
Excel下载 首先大数据量的下载，一般的Excel下载操作是不可能完成的，会导致内存溢出 SXSSFWorkbook 是专门用于大数据了的导出 构造入参rowAccessWindowSize 这个参数，会指定一个sheet可读取的row数目，超过该数目的row ...
java使用POI大数据量批量导出
1.问题背景 设计到几十张数据库表，每张表有几万到十几万数据不等，现在需要尽可能快的导出excel数据。 2.遇到的问题及解决思路 2.1 数据量大，生成速度慢。下载的文件太大。 使用多线程下载，一个表的数据分配一条线程，全部下载完成压缩成一个zip文件 ...
大数据量导出Excel的方案
试共同条件： 数据总数为110011条，每条数据条数为19个字段。 电脑配置为：P4 2.67GHz，1G内存。 一、POI、JXL、FastExcel比较 POI、JXL、FastExcel均为java第三方开源导出Excel的开源项目。 导出方案一：一次性全部导出到一个Excel文件中 ...
Export大数据量导出和打包
项目需求 导出生成大批量数据的文件，一个Excel中最多存有五十万条数据，查询多余五十万的数据写多个Excel中。导出完成是生成的多个Excel文件打包压缩成zip，而后更新导出记录中的压缩文件路径。 大数据量文件一般采用异步生成文件，导出时首先授权生成一个流水号，而后将数据携带流水号 ...