JAVA從文本文件(txt)讀取一百萬條數據保存到數據庫

Java讀取大文本文件保存到數據庫

1、追求效率

　　將文件讀取到內存，效率比較高，經過測試讀取1G左右的文本文件，機器內存消耗達到接近3個G，對內存消耗太大，不建議使用

2、通過調用第三方類庫實現

　　通過開源的Apache Commons IO流類庫提供的LineIterator對每行數據讀取，底層通過jdk中提供的BufferedReader實現，對內存的開銷不是很大

3、具體實現步驟

創建java項目引入pom依賴

<!-- https://mvnrepository.com/artifact/commons-io/commons-io -->
        <dependency>
            <groupId>commons-io</groupId>
            <artifactId>commons-io</artifactId>
            <version>2.4</version>
        </dependency>
        <!-- https://mvnrepository.com/artifact/ojdbc/ojdbc -->
        <dependency>
            <groupId>ojdbc</groupId>
            <artifactId>ojdbc</artifactId>
            <version>14</version>
        </dependency>

具體實現代碼

package com.sun.file;

import java.io.File;
import java.io.IOException;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.SQLException;
import java.util.Date;

import org.apache.commons.io.FileUtils;
import org.apache.commons.io.LineIterator;

public class ReadCustomerFile {
    
    int idx;
    Connection conn = null;
    PreparedStatement pstmt = null;    
    
    /**
     * 使用commons-io.jar包的FileUtils的類進行讀取
     * txt中內容文件的分割必須為|，java中需要加轉譯符號
     * @Title: readTxtFileByFileUtils 
     * @author sunt  
     * @date 2017年11月13日
     * @return void
     */
    public void readTxtFileByFileUtils(String fileName) {
        File file = new File(fileName);
        
        dbConnection();
        
        try {
            LineIterator lineIterator = FileUtils.lineIterator(file, "UTF-8");
            while (lineIterator.hasNext()) {
                String line = lineIterator.nextLine();
                
                // 行數據轉換成數組
                String[] custArray = line.split("\\|");
                insertCustInfo(custArray,"SQLLOADER");
                Thread.sleep(10);
            }
        } catch (IOException e) {
            e.printStackTrace();
        } catch (InterruptedException e) {
            e.printStackTrace();
        } finally {
            dbDisConnection();
        }
    }
    
   /**
    * 數據入庫的邏輯需要自己實現
    *  sqlBf.append("INSERT INTO TEMP_CUST_INFO(CUST_NO, CUST_NM, MOB_NO1)                \n");
            sqlBf.append("          VALUES(?                                                    \n");
            sqlBf.append("               , ?                                                    \n");
            sqlBf.append("               , ?)                                                   \n");
            
            拼接sql最后結尾的括號不能丟失
    * @Title: insertCustInfo 
    * @author sunt  
    * @date 2017年11月13日
    * @return void
    */
    public void insertCustInfo(String[] strArray,String tableName) {         
        try {
            StringBuffer sqlBf = new StringBuffer();
            sqlBf.setLength(0);
            
            sqlBf.append("INSERT INTO "+tableName+"(ID, NAME)                \n");
            sqlBf.append("          VALUES(?                                                    \n");
            sqlBf.append("               , ?)                                                   \n");
            
            pstmt = conn.prepareStatement(sqlBf.toString());
            idx = 1;
            pstmt.clearParameters();
           // pstmt.setInt(idx++, Integer.parseInt(strArray[0]));
            pstmt.setString(idx++, strArray[0]);
            pstmt.setString(idx++, strArray[1]);
            
            pstmt.executeUpdate();            
        } catch (SQLException e) {
            e.printStackTrace();
        } finally {
            if (pstmt != null) {
                try {
                    pstmt.close();
                } catch (SQLException e) {
                    e.printStackTrace();
                }
            }
        }
    }
    
    /**
     * 連接數據庫的基本信息
     * @Title: dbConnection 
     * @author sunt  
     * @date 2017年11月13日
     * @return Connection
     */
    public Connection dbConnection() {
        try {
            Class.forName("oracle.jdbc.driver.OracleDriver");
            
            String url = "jdbc:oracle:thin:@192.168.40.30:1521:orcl";  
            String user = "ACTIVITY1";  
            String password = "ACTIVITY1"; 
            
            conn = DriverManager.getConnection(url, user, password);    
            System.out.println("Connection 開啟！");
        } catch (ClassNotFoundException e) {
            e.printStackTrace();
        } catch (SQLException e) {
            e.printStackTrace();
        }
        
        return conn;
    }
    
    /**
     * 關閉數據庫的連接
     * @Title: dbDisConnection 
     * @author sunt  
     * @date 2017年11月13日
     * @return void
     */
    public void dbDisConnection() {
        if (conn != null) {
            try {
                conn.close();
                System.out.println("Connection 關閉！");
            } catch (SQLException e) {
                e.printStackTrace();
            }
        }
    }
    
    //測試代碼
    public static void main(String[] args) {
        ReadCustomerFile rcf = new ReadCustomerFile();
        Long startTime = new Date().getTime();
        rcf.readTxtFileByFileUtils("F:\\lc_test.txt");
        System.out.println("導入數據總共耗時:" + (new Date().getTime() - startTime)/1000 + "秒");
    }
}

導入的文件模板(大約100百萬模擬數據)，以|作為分隔符

導入數據庫成功

注意事項:

　　需要修改自己的數據庫連接信息和指定導入文本文件的路徑，insertCustInfo方法需要自己修改實現