...

一、场景 　　在开发excel处理数据时，因为数据库的卡顿，一次插入2000条数据速度可能需要1min左右，所以考虑使用线程池；每200个分组，有n组，就开(n+1)个线程去分批同时处理这些数据。 二、依赖 1. pom.xml 2. excel的表格只有一个字 ...

<!-- https://mvnrepository.com/artifact/org.apache.commons/commons-collections4 --> ...

当需要处理数据量太多，此时可以分批处理，代码如下： ...

在项目中存在list集合数据量过大，需要对这个list集合进行分批处理，自己写了一个list分批处理的一个算法： 这样list分批就写好了 转载地址 ...

最近由于业务需要，数据量比较大，需要使用多线程来分批处理，提高处理效率和能力，于是就写了一个通用的多线程处理工具，只需要实现自己的业务逻辑就可以正常使用，现在记录一下 主要是针对大数据量list，将list划分多个线程处理 ResultBean类： 返回结果统一bean ...

mysql分批导出数据和分批导入数据库 　　由于某些原因，比如说测试环境有很多库，需要迁移到新的环境中，不需要导出系统库的数据。而数据库又有好多，如何才能将每个库导出到独立的文件中呢？导入到一个文件的话，又很大，不好办。 这里是这个在测试环境下的实验记录，方便操作。 # 导出的脚本 ...

遇到问题： 数据库里的数据要都跑一遍，全拿出来会卡爆缓存，还有一种是跑一个删一个。不行数据还要呢，或则复制一份，跑一个删一个。还是不行麻烦。 理想状况：可以分批次取，一次取多少，记录下当前值。以后可以从当前值 ，接着取。 具体使用过程 ...