1.問題背景 　　設計到幾十張數據庫表，每張表有幾萬到十幾萬數據不等，現在需要盡可能快的導出excel數據。 2.遇到的問題及解決思路 　　2.1 數據量大，生成速度慢。下載的文件太大。 　　　　　使用多線程下載，一個表的數據分配一條線程，全部下載完成壓縮成一個zip文件 ...

一、前言 程序訪問 MySQL 數據庫時，當查詢出來的數據量特別大時，數據庫驅動把加載到的數據全部加載到內存里，就有可能會導致內存溢出（OOM）。 其實在 MySQL 數據庫中提供了流式查詢，允許把符合條件的數據分批一部分一部分地加載到內存中，可以有效避免OOM；本文主要介紹如何使用流式 ...

批處理、以及預編譯 String url = “jdbc:mysql://localhost:3306/U ...

　　最近在公司備份數據庫數據，簡單的看了一下。當然我用的是簡單的手動備份。 　　第一：其實最好的方法是直接用： 　　mysqldump -u用戶名 -p密碼 數據庫名 < 數據庫名.sql 在linux在操作的，測試過一個一萬多行的導入數據，共121m。在linux下，幾秒 ...

近期項目中遇到一個問題，有一批數據，少則幾百條，多則上萬條，需要向數據庫中進行插入和更新操作，即：當數據庫中有數據時，更新之，沒有數據時，插入之。 解決問題的步驟如下： 首先想到的當然是用先根據條件select count(*) from table where "case"，判斷select ...

不管是日常業務數據處理中，還是數據庫的導入導出，都可能遇到需要處理大量數據的插入。插入的方式和數據庫引擎都會對插入速度造成影響，這篇文章旨在從理論和實踐上對各種方法進行分析和比較，方便以后應用中插入方法的選擇。 插入分析 MySQL中插入一個記錄需要的時間由下列因素組成，其中的數字表示大約比例 ...

Excel下載 　　首先大數據量的下載，一般的Excel下載操作是不可能完成的，會導致內存溢出 　　SXSSFWorkbook 是專門用於大數據了的導出　　 　　構造入參rowAccessWindowSize 　　這個參數，會指定一個sheet可讀取的row數目，超過該數目的row ...

在工作中，同事遇到一個需要批量生成不重復碼的功能，之前我處理的都是用php 直接用數組 in_array解決的，那時候生成的數量倒還不多，大概也就幾萬個，所以直接將php的運行內存提高一點，然后就解決問題了。但是這次要處理的數據量比較大，是五千萬個，就容易出現問題。 首先，運行內存是肯定不夠 ...