POI實現excel大數據量導入

依據了https://blog.csdn.net/u013488171/article/details/78184545的帖子，感謝作者小逝的無私分享。

本人親測導入4萬條數據用時32分鍾，因為有我自己本人項目的數據校驗，大家的時間很可能不一樣。

備注：我應用的時候出了這樣的錯誤，最后沒用這個方法，我的另一個帖子：https://www.cnblogs.com/daguozb/p/10043986.html，解析路徑錯誤。

 

用到的jar包；

bios-poi-ooxml-3.9.jar

 

導入的思路見原博客，我說下我應用的文件建立思路：建立一個作為工具類的：抽象類BigDataParseExcelUtil，在抽象類中實現了excel的轉換（轉換過程可以不看）；對外展現接口process(String filename)來傳入文件路徑，並有個抽象方法對外迭代輸出excel每行數據。

然后在你的方法里用匿名內部類的形式使用，實現抽象方法optRows，完成自己的操作。

 

代碼如下：

抽象類BigDataParseExcelUtil

package com.iss.itms.util.excel;

import java.io.InputStream;
import java.sql.SQLException;
import java.text.DateFormat;
import java.text.ParseException;
import java.text.SimpleDateFormat;
import java.util.ArrayList;
import java.util.Calendar;
import java.util.Date;
import java.util.GregorianCalendar;
import java.util.Iterator;
import java.util.List;

import org.apache.commons.lang.StringUtils;
import org.apache.commons.lang.time.DateUtils;
import org.apache.poi3.openxml4j.opc.OPCPackage;
import org.apache.poi3.xssf.eventusermodel.XSSFReader;
import org.apache.poi3.xssf.model.SharedStringsTable;
import org.apache.poi3.xssf.usermodel.XSSFRichTextString;
import org.xml.sax.Attributes;
import org.xml.sax.InputSource;
import org.xml.sax.SAXException;
import org.xml.sax.XMLReader;
import org.xml.sax.helpers.DefaultHandler;
import org.xml.sax.helpers.XMLReaderFactory;

import com.toft.utils.ToftLogger;

/**
 * XSSF and SAX (Event API)
 */
public abstract class BigDataParseExcelUtil extends DefaultHandler {
    private SharedStringsTable sst;
    private String lastContents;
    private boolean nextIsString;
    private int sheetIndex = -1;
    private List<String> rowlist = new ArrayList<String>();
    private int curRow = 0; // 當前行
    private int curCol = 0; // 當前列索引
    private int preCol = 0; // 上一列列索引
    private int titleRow = 0; // 標題行，一般情況下為0
    private int rowsize = 0; // 列數
    private List excelList=new ArrayList();  //excel全部轉換為list

    // excel記錄行操作方法，以sheet索引，行索引和行元素列表為參數，對sheet的一行元素進行操作，元素為String類型

    public abstract void optRows(int sheetIndex, int curRow,
            List<String> rowlist,List excelList) throws SQLException, Exception;

    // 只遍歷一個sheet，其中sheetId為要遍歷的sheet索引，從1開始，1-3
    /**
     * 
     * @param filename
     * @param sheetId
     *            sheetId為要遍歷的sheet索引，從1開始，1-3
     * @throws Exception
     */
    public void processOneSheet(String filename, int sheetId) throws Exception {
        OPCPackage pkg = OPCPackage.open(filename);
        XSSFReader r = new XSSFReader(pkg);
        SharedStringsTable sst = r.getSharedStringsTable();
        XMLReader parser = fetchSheetParser(sst);
        // rId2 found by processing the Workbook
        // 根據 rId# 或 rSheet# 查找sheet
        InputStream sheet2 = r.getSheet("rId" + sheetId);
        sheetIndex++;
        InputSource sheetSource = new InputSource(sheet2);
        parser.parse(sheetSource);
        sheet2.close();
    }

    public void characters(char[] ch, int start, int length)
            throws SAXException {
        // 得到單元格內容的值
        lastContents += new String(ch, start, length);
    }

    /**
     * 遍歷 excel 文件
     */
    public void process(String filename) throws Exception {
//        String fileString="C:\\Users\\hp\\Desktop\\新建\\model_ebankcertificate.xlsx";
        ToftLogger.info("---process(String filename)方法的filename值為："+filename);
        OPCPackage pkg = OPCPackage.open(filename);
        XSSFReader r = new XSSFReader(pkg);
        SharedStringsTable sst = r.getSharedStringsTable();
        XMLReader parser = fetchSheetParser(sst);
        Iterator<InputStream> sheets = r.getSheetsData();
        while (sheets.hasNext()) {
            curRow = 0;
            sheetIndex++;
            InputStream sheet = sheets.next();
            InputSource sheetSource = new InputSource(sheet);
            parser.parse(sheetSource);
            sheet.close();
        }
    }

    public XMLReader fetchSheetParser(SharedStringsTable sst)
            throws SAXException {
        XMLReader parser = XMLReaderFactory.createXMLReader();
        // .createXMLReader("org.apache.xerces.parsers.SAXParser");
        this.sst = sst;
        parser.setContentHandler(this);
        return parser;
    }

    public void startElement(String uri, String localName, String name,
            Attributes attributes) throws SAXException {
        // c => 單元格
        if (name.equals("c")) {
            // 如果下一個元素是 SST 的索引，則將nextIsString標記為true
            String cellType = attributes.getValue("t");
            String rowStr = attributes.getValue("r");
            curCol = this.getRowIndex(rowStr);
            if (cellType != null && cellType.equals("s")) {
                nextIsString = true;
            } else {
                nextIsString = false;
            }
        }
        // 置空
        lastContents = "";
    }

    public void endElement(String uri, String localName, String name)
            throws SAXException {
        // 根據SST的索引值的到單元格的真正要存儲的字符串
        // 這時characters()方法可能會被調用多次
        if (nextIsString) {
            try {
                int idx = Integer.parseInt(lastContents);
                lastContents = new XSSFRichTextString(sst.getEntryAt(idx))
                        .toString();
            } catch (Exception e) {
            }
        }
        // v => 單元格的值，如果單元格是字符串則v標簽的值為該字符串在SST中的索引
        // 將單元格內容加入rowlist中，在這之前先去掉字符串前后的空白符
        if (name.equals("v")) {
            String value = lastContents.trim();
            value = value.equals("") ? " " : value;
            int cols = curCol - preCol;
            if (cols > 1) {
                for (int i = 0; i < cols - 1; i++) {
                    rowlist.add(preCol, "");
                }
            }
            preCol = curCol;
            rowlist.add(curCol - 1, value);
        } else {
            // 如果標簽名稱為 row ，這說明已到行尾，調用 optRows() 方法
            if (name.equals("row")) {
                int tmpCols = rowlist.size();
                if (curRow > this.titleRow && tmpCols < this.rowsize) {
                    for (int i = 0; i < this.rowsize - tmpCols; i++) {
                        rowlist.add(rowlist.size(), "");
                    }
                }
                try {
                    optRows(sheetIndex, curRow, rowlist,excelList);
                } catch (SQLException e) {
                    e.printStackTrace();
                } catch (Exception e) {
                    // TODO Auto-generated catch block
                    e.printStackTrace();
                }
                if (curRow == this.titleRow) {
                    this.rowsize = rowlist.size();
                }
                rowlist.clear();
                curRow++;
                curCol = 0;
                preCol = 0;
            }
        }
    }

    // 得到列索引，每一列c元素的r屬性構成為字母加數字的形式，字母組合為列索引，數字組合為行索引，
    // 如AB45,表示為第（A-A+1）*26+（B-A+1）*26列，45行
    public int getRowIndex(String rowStr) {
        rowStr = rowStr.replaceAll("[^A-Z]", "");
        byte[] rowAbc = rowStr.getBytes();
        int len = rowAbc.length;
        float num = 0;
        for (int i = 0; i < len; i++) {
            num += (rowAbc[i] - 'A' + 1) * Math.pow(26, len - i - 1);
        }
        return (int) num;
    }
    
    public  void text(int t){
        Calendar c = new GregorianCalendar(1900,0,0);
        Date d = c.getTime();
        Date _d = DateUtils.addDays(d, t);
        System.out.println(_d.toLocaleString());
        }

    public List getExcelList() {
        return this.excelList;
    }

    // 測試使用
    public static void main(String[] args) throws Exception {
        long start = System.currentTimeMillis();
        BigDataParseExcelUtil xlx = new BigDataParseExcelUtil() {
            @Override
            public void optRows(int sheetIndex, int curRow, List<String> rowlist,List excelList)
                    throws SQLException {
                System.out.println(rowlist);
                if(!"證書到期日*".equals(rowlist.get(6))){
                    int parseInt = Integer.parseInt(rowlist.get(6));
                    System.out.println(parseInt);
                    text(parseInt-1);    
                }

            }
        };
        // xlx.process("C:\\Users\\winitadmin\\導出123.xlsx");
        xlx.process("C:\\Users\\hp\\Desktop\\model_ebankcertificatedfs.xlsx");
        long end = System.currentTimeMillis();
        System.out.println((end - start) / 1000);
    }
}

 

我對BigDataParseExcelUtil的應用，上面代碼只是實現了excel的解析和轉換，我們要把解析好的數據插入到數據庫，完成操作。

    public void impdata() throws Exception{
        //匿名內部類，實現工具類的操作方法，完成導入功能
        BigDataParseExcelUtil xlx = new BigDataParseExcelUtil() {
            List<String> onlyUCode=new ArrayList<String>();//記錄導入文件的Code,避免重復
            @Override
            public void optRows(int sheetIndex, int curRow, List<String> rowlist,List excelList) throws Exception
            {
                ToftLogger.info("---進入方法optRows-----");
                //excelList,onlyUCode是我自己項目用的，你們自決定去留。去掉的話在工具類里也改下
                impdataOperation(sheetIndex,curRow,rowlist,excelList,onlyUCode);
            }
        };
        String fileName = this.getContext().getAttribute("fileName").toString();
        xlx.process(fileName);
        List excelList = xlx.getExcelList();//我在impdataOperation方法里把excle的數據全部放到了excelList里，所以這里能get到
        

    }

上面impdataOperation方法是我完成自己項目實現的方法，不貼了；一般就是校驗個列數據。

 

注意：1、什么時候知道excel導入完成？

我也不知道，所以我就在我上面加了excelList屬性，在impdataOperation方法中校驗完成就給excelList添加一條，知道最后一條，到List excelList = xlx.getExcelList();就獲得了全部的數據。大家有好的方法希望留言。

先這樣，有問題大家多評論。