用的是xlsx包，由于v8默认内存限制是1.4G，当导出的数据太大的时候，内存会炸，由于csv格式的excel文件，本质上就是文本文件，所以在不调大内存上限的情况下，实现思路是分批处理，用流的方式追加到文件，第一批处理有header，后面追加没有header。微软excel能打开最大的行数 ...

利用mysql内存表插入速度快的特点，先存储过程在内存表中生成数据，然后再从内存表插入普通表中，MyISAM 插入速度快与 innodb；mysql 5.7 一.创建内存表 二.创建普通表 三.创建一个函数，用于生成随机字符串，show ...

需要向数据库添加100W条测试数据，直接在普通表中添加速度太慢，可以使用内存表添加，然后将内存表数据复制到普通表 创建表 编写函数 编写存储过程 执行 结果 可以看到添加数据一共只花了6分钟左右。 ...

需求：在web页面操作，一次导出百万条数据并生成excel 分析： 1、异步生成Excel，非实时，完成后使用某种方式通知用户 2、生成多个excel文件，并打包成zip文件，因为一个excel容纳不了这么多数据，即使分别放在不同的sheet中也不行 ...

思路： 先创建一个自定义的数据库表； 生成一个列表，列表中的数据应该和数据库表中的每一列对应； 利用cursor.executemany 批量插入列表中的数据。 注意点： 批量添加数据时，数据格式必须list[tuple(),tuple(),tuple ...

http://blog.csdn.net/rabinsong/article/details/8452946 ...

前言： 　　测试在mysql中使用索引和不使用索引查询数据的速度区别、 创建测试用表： 向表中插入一百万条数据： 查询数据： 可以看到查询用户名为“用户名888888”的信息，耗费了0.5s左右，在人的眼睛中这是非常短暂的,但是在计算机的世界中,是非常久 ...

1、前言 因为负责基础服务,经常需要处理一些数据,但是大多时候采用awk以及java程序即可,但是这次突然有百万级数据需要处理,通过awk无法进行匹配,然后我又采用java来处理,文件一分为8同时开启8个线程并发处理,但是依然处理很慢,处理时长起码在1天+所以无法忍受这样的处理速度就采用 ...