用的是xlsx包，由於v8默認內存限制是1.4G，當導出的數據太大的時候，內存會炸，由於csv格式的excel文件，本質上就是文本文件，所以在不調大內存上限的情況下，實現思路是分批處理，用流的方式追加到文件，第一批處理有header，后面追加沒有header。微軟excel能打開最大的行數 ...

利用mysql內存表插入速度快的特點，先存儲過程在內存表中生成數據，然后再從內存表插入普通表中，MyISAM 插入速度快與 innodb；mysql 5.7 一.創建內存表 二.創建普通表 三.創建一個函數，用於生成隨機字符串，show ...

需要向數據庫添加100W條測試數據，直接在普通表中添加速度太慢，可以使用內存表添加，然后將內存表數據復制到普通表 創建表 編寫函數 編寫存儲過程 執行 結果 可以看到添加數據一共只花了6分鍾左右。 ...

需求：在web頁面操作，一次導出百萬條數據並生成excel 分析： 1、異步生成Excel，非實時，完成后使用某種方式通知用戶 2、生成多個excel文件，並打包成zip文件，因為一個excel容納不了這么多數據，即使分別放在不同的sheet中也不行 ...

思路： 先創建一個自定義的數據庫表； 生成一個列表，列表中的數據應該和數據庫表中的每一列對應； 利用cursor.executemany 批量插入列表中的數據。 注意點： 批量添加數據時，數據格式必須list[tuple(),tuple(),tuple ...

http://blog.csdn.net/rabinsong/article/details/8452946 ...

前言： 　　測試在mysql中使用索引和不使用索引查詢數據的速度區別、 創建測試用表： 向表中插入一百萬條數據： 查詢數據： 可以看到查詢用戶名為“用戶名888888”的信息，耗費了0.5s左右，在人的眼睛中這是非常短暫的,但是在計算機的世界中,是非常久 ...

1、前言 因為負責基礎服務,經常需要處理一些數據,但是大多時候采用awk以及java程序即可,但是這次突然有百萬級數據需要處理,通過awk無法進行匹配,然后我又采用java來處理,文件一分為8同時開啟8個線程並發處理,但是依然處理很慢,處理時長起碼在1天+所以無法忍受這樣的處理速度就采用 ...