## 一、背景导出大量数据时，虚拟机频繁GC，内存耗尽，CPU爆满，可采用Mybatis数据流式读取进行优化。## 二、JDBC三种读取方式：1. 一次全部（默认）：一次获取全部。2. 流式：多次获取，一次一行。3. 游标：多次获取，一次多行。mybatis默认采取第一种。## 三、实现 ...

总结下这周帮助客户解决报表生成操作的mysql 驱动的使用上的一些问题，与解决方案。由于生成报表逻辑要从数据库读取大量数据并在内存中加工处理后在 生成大量的汇总数据然后写入到数据库。基本流程是 读取->处理->写入。 1 读取操作开始遇到的问题是当sql查询数据量比较大时候基本读 ...

import asyncio import aiomysql async def dbdaochu(loop): sqlstr='sql' conn = await aiom ...

概述： 　　2018，在平（tou）静（lan）了一段时间后，开始找点事情来做。这一次准备开发一个个人博客，在开发过程之中完善一下自己的技术。本系列博客只会提出一些比较有价值的技术思路，不会像写流水账一样记录开发过程。 　　技术栈方面，会采用Spring Boot 2.0 作为底层框架，主要 ...

查看分区数据量，查看全库数据量 USE information_schema; SELECT PARTITION_NAME,TABLE_ROWS FROM INFORMATION_SCHEMA.PARTITIONS WHERE TABLE_NAME = 'sale_data ...

提供以下两个思路： 思路一：利用 URL转发 一般域名商都会提供 URL 转发的功能，但是国内的几个大厂商例如阿里云、腾讯云等目前均要求转发的域名要备案以及转发目标地址也要备案。因此这里可能大多数 ...

处理大批量的excel表格数据 只能是 xlsx格式的excel表格 常用的读取： 然后再获取对应的Sheet、Row和Cell，然后获取excel中的内容，但是这种方式POI会把文件的所有内容都加载到内存中，读取大的excel文件时很容易占用大量内存。 后来接 ...

本人的CSDN博客链接： 传送门 自2020年12月4日之后，CSDN主要放平时比赛的题解反思，博客园放算法教学，大型比赛题解反思两处都会放，望各位大佬多多支持 update:2021年1月4日之后，CSDN也会放一些算法教学，请多多支持 update:2021年7月6日之后，博客园主要会放在 ...