用過POI的人都知道，在POI以前的版本中並不支持大數據量的處理，如果數據量過多還會常報OOM錯誤， 這時候調整JVM的配置參數也不是一個好對策（注：jdk在32位系統中支持的內存不能超過2個G，而在64位中沒有限制，但是在64位的系統中，性能並不是太好）,好在POI3.8版本新出來了一個 ...

前提 這篇文章不是標題黨，下文會通過一個仿真例子分析如何優化百萬級別數據Excel導出。 筆者負責維護的一個數據查詢和數據導出服務是一個相對遠古的單點應用，在上一次雲遷移之后擴展為雙節點部署，但是發現了服務經常因為大數據量的數據導出頻繁Full GC，導致應用假死無法響應外部的請求 ...

先看結果吧，這只是測試其中有很多因數影響了性能。 表總數為：7千多萬，測試導出100萬 表字段有17個字段 最終excel大小有60多兆 總耗時：126165毫秒 差不多2分多鍾 其核心簡單來說就是分批寫入，就是分頁 ...

一、思路 Java使用POI導出Excel，采用2萬一個Excel，生成后放到服務器某路徑文件夾下，循環查詢並生成直到數據全部導出到Excel后，打包成Zip壓縮包並循環刪除已被打包的Excel，打包完成后彈窗下載。 目前的效率如下： 1591550 15分鍾 999650 8分鍾 ...

百萬級別數據表，進行有條件的數據刪除，這個時候采用delete from的一次性刪除的方法是很不明智的： 1、delete操作會被完整記錄到日志里，它需要大量空間和時間 2、如果刪除中間發生中斷，一切刪除會回滾（在一個事務里） 3、同時刪除多行，記錄上的鎖也許會被提升為排它表鎖，從而阻礙操作 ...

近日做項目過程中，遇到一個客戶要求將每個月產生的交易明細數據快速導出到excel，方便他們財務人員在excel中查找原因和分析結果。現將實現方法共享出來，原來速度導出這么多數據要半小時，現在用這速度提高了一倍，有興趣的可以自己試下。如果覺得有用，大家幫我點個贊!你們的鼓勵是我們更新代碼的動力 ...

百萬級 字段選擇優化 表字段 not null，因為 null 值很難查詢優化且占用額外的索引空間，推薦默認數字 0。 數據狀態類型的字段，比如 status, type 等等，盡量不要定義負數，如 -1。因為這樣可以加上 UNSIGNED，數值容量就會擴大一倍。 可以的話 ...

個人博客網：https://wushaopei.github.io/ (你想要這里多有) 這里先進行造數據，向redis中寫入五百萬條數據，具體方式有如下三種： 方法一：（Lua 腳本） vim redis_load.lua #!/bin/bash for i ...