Java读取excel（大量数据15W以上的）

处理大批量的excel表格数据

 

只能是 xlsx格式的excel表格

 

常用的读取：

FileInputStream fi = new FileInputStream("e:/2.xlsx");
XSSFWorkbook wk = new XSSFWorkbook(fi);

 然后再获取对应的Sheet、Row和Cell，然后获取excel中的内容，但是这种方式POI会把文件的所有内容都加载到内存中，读取大的excel文件时很容易占用大量内存。

后来接触到了一款工具：Excel Streaming Reader：

 使用Excel Streaming Reader，这个第三方工具会把一部分的行（可以设置）缓存到内存中，在迭代时不断加载行到内存中，而不是一次性的加载所有记录到内存，这样就可以不断的读取excel内容并且不影响内存的使用。

 但是这个工具也有一定的限制：只能用于读取excel的内容，写入操作不可用；可以使用getSheetAt()方法获取到对应的Sheet，因为当前只是加载了有限的row在内存中，因此不能随机访问row，即不能使用getRow(int rowNum)方法；由于行数据已经加载到了内存，因此可以随机的访问Cell数据，即可以使用getCell(int cellnum)方法。使用这个工具，建议使用迭代器来进行迭代。具体内容可以参见：https://github.com/monitorjbl/excel-streaming-reader。

 

首先要在pom文件导入相应的依赖

<dependency>
            <groupId>org.apache.poi</groupId>
            <artifactId>poi</artifactId>
            <version>4.0.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.poi</groupId>
            <artifactId>poi-ooxml</artifactId>
            <version>4.0.0</version>
        </dependency>
        <dependency>
            <groupId>org.apache.poi</groupId>
            <artifactId>poi-scratchpad</artifactId>
            <version>4.0.0</version>
        </dependency>

        <!-- 读取大量excel数据时使用 -->
        <dependency>
            <groupId>com.monitorjbl</groupId>
            <artifactId>xlsx-streamer</artifactId>
            <version>2.1.0</version>
        </dependency>

poi相关的依赖要4.0以上，该工具官网有说明白

相应的例子：

    public void testLoad() throws Exception{
        FileInputStream in = new FileInputStream("e:/2.xlsx");
        Workbook wk = StreamingReader.builder()
                .rowCacheSize(100)  //缓存到内存中的行数，默认是10
                .bufferSize(4096)  //读取资源时，缓存到内存的字节大小，默认是1024
                .open(in);  //打开资源，必须，可以是InputStream或者是File，注意：只能打开XLSX格式的文件
        Sheet sheet = wk.getSheetAt(0);
        //遍历所有的行
        for (Row row : sheet) {
            System.out.println("开始遍历第" + row.getRowNum() + "行数据：");
            //遍历所有的列
            for (Cell cell : row) {
                System.out.print(cell.getStringCellValue() + " ");
            }
            System.out.println(" ");
        }
    }
    
    public static void main(String[] args) throws Exception {
        Test t = new Test();
        t.testLoad();
    }

根据个人需求改。

 

参考：https://www.cnblogs.com/cksvsaaa/p/7280261.html