有效提升大數據量寫入excel的效率

在開發過程中經常會有需要將數據導出到 excel 的需求，當數據量很大，達到幾萬甚至幾十萬、幾百萬級別的時候，如何加快生成 excel 的速度呢？
首先普及一下知識背景：
Excel2003 及以下版本一張表最多支持 65536 行、256 列數據，所以要生成十萬、百萬級別數據就不能用 Excel2003 了；
Excel2007 版本一張表最多支持1048576行，16384 列，基本可以滿足百萬級別以下的數據量級。

一般通過 poi 生成 excel 的方式如下：(原諒我以前沒有研究過poi，就只會用這種方式，而且網上的demo好多也是這種方式)

public static void exportDataToExcel1(String[] header, List<String[]> datas, String path) {
        File file = new File(path);
        Workbook workbook = null;
        if (path.endsWith(EXCEL_2003)) {
            workbook = new HSSFWorkbook();
        }
        if (path.endsWith(EXCEL_2007)) {
            workbook = new XSSFWorkbook();
        }
        Sheet sheet = workbook.createSheet();
        Row firstRow = sheet.createRow(0); //第一行
        for (int i = 0; i < header.length; i++) {
            Cell cell = firstRow.createCell(i);
            cell.setCellValue(header[i]);
        }
        if (datas != null && datas.size() > 0) {
            for (int i = 0; i < datas.size(); i++) {
                Row row = sheet.createRow(i + 1);
                String[] d = datas.get(i);
                for (int j = 0; j < d.length; j++) {
                    Cell cell = row.createCell(j);
                    cell.setCellValue(d[j]);
                }
            }
        }
        try {
            OutputStream outputStream = new FileOutputStream(file);
            workbook.write(outputStream);
            outputStream.flush();
            outputStream.close();
        } catch (FileNotFoundException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        }
    }

利用上述方式生成一張 10萬 行、30 列的 excel 表在我的電腦上耗時大約40多秒

數據准備了 1731 ms
導出花費了 46795 ms

查看 poi 官網http://poi.apache.org/spreadsheet/index.html發現從 3.8 beta3 版本開始新增 SXSSF api 用於解決大數據量場景

這種方式新增了自動刷入數據的機制，可以設置一個數據量閾值，達到這個閾值后會將數據刷入到磁盤，緩解了運行時的壓力。

改后的代碼如下：

public static void exportDataToExcel(String[] header, List<String[]> datas, String path) {
        File file = new File(path);
        SXSSFWorkbook sxssfWorkbook = new SXSSFWorkbook(100);
        Sheet sheet = sxssfWorkbook.createSheet();
        Row firstRow = sheet.createRow(0);         //第一行
        for (int i = 0; i < header.length; i++) {
            Cell cell = firstRow.createCell(i);
            cell.setCellValue(header[i]);
        }
        if (datas != null && datas.size() > 0) {
            for (int i = 0; i < datas.size(); i++) {
                Row row = sheet.createRow(i + 1);
                String[] d = datas.get(i);
                for (int j = 0; j < d.length; j++) {
                    Cell cell = row.createCell(j);
                    cell.setCellValue(d[j]);
                }
            }
        }
        try {
            OutputStream outputStream = new FileOutputStream(file);
            sxssfWorkbook.write(outputStream);
            outputStream.flush();
            outputStream.close();
        } catch (FileNotFoundException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        }finally {
            sxssfWorkbook.dispose();
        }
    }

使用這種方式測試相同量級的數據，導出excel縮短到了6、7秒，可見這個提升幅度還是很明顯的。

數據准備了 1096 ms
導出花費了 6784 ms