MySQL批量插入數據的幾種方法

最近公司要求測試數據庫的性能，就上網查了一些批量插入數據的代碼，發現有好幾種不同的用法，插入同樣數據的耗時也有區別

別的先不說，先上一段代碼與君共享

方法一：

package com.bigdata;

import java.sql.Connection;
import java.sql.Driver;
import java.sql.DriverManager;
import java.sql.PreparedStatement;

public class TestBigData {

	/**
	 * @param args
	 * @throws Exception 
	 * @throws IllegalAccessException 
	 * @throws InstantiationException 
	 */
	public static void main(String[] args) throws Exception {
		//--------------------------------連接數據庫----------------------
		String driver="com.mysql.jdbc.Driver";
		String url="jdbc:mysql://127.0.0.1:3306/test";
		String user="root";
		String password="root";
		
		//1、新建驅動
		Driver driverInstance = (Driver) Class.forName(driver).newInstance();
		//2、注冊驅動
		DriverManager.registerDriver(driverInstance);
		//3、獲取連接
		Connection conn = DriverManager.getConnection(url, user, password);
		
		//----------------------對數據庫進行操作-------------------
		//記錄開始時間
		Long begin=System.currentTimeMillis();
		//-----------插入數據----------
		//sql語句前綴
		String sqlPre="insert into tb_big_db (count,create_time,random) values ";
		StringBuffer sb = new StringBuffer();
		//設置事務為非自動提交
		conn.setAutoCommit(false);
		//使用PrepareStatement更好
		PreparedStatement pstate = conn.prepareStatement("");
		
		//--------------------------十萬條數據-------------
		//設置外循環，總提交事務的次數
		for(int i=0;i<100;i++){
			for(int j=0;j<10000;j++){
				//構建sql后綴
				sb.append("("+j*i+",SYSDATE(),"+i*j*Math.random()+"),");
			}
			//構建完整的sql
			String sql = sqlPre + sb.substring(0, sb.length()-1);
			//添加sql
			pstate.addBatch(sql);
			//執行sql
			pstate.executeBatch();
			//提交事務
			conn.commit();
			//清空StringBuffer上一次添加的sql語句
			sb = new StringBuffer();
		}
		//大循環完畢，關閉連接
		pstate.close();
		conn.close();
		//結束時間
		Long end = System.currentTimeMillis();
		System.out.println("10萬條數據，插入數據庫耗時："+(end-begin)+"ms");
	}

}

 耗時：1952ms

說明：這速度，不堪入目啊，公司的數據庫，不管從硬件還是軟件來看，都不行吶。

方法二：

package com.bigdata;

import java.sql.Connection;
import java.sql.Driver;
import java.sql.DriverManager;
import java.sql.PreparedStatement;

public class TestBigData2 {

	public static void main(String[] args) throws Exception{
		//--------------------------------連接數據庫----------------------
		String driver="com.mysql.jdbc.Driver";
		String url="jdbc:mysql://127.0.0.1:3306/test";
		String user="root";
		String password="root";
		
		//1、新建驅動
		Driver driverInstance = (Driver) Class.forName(driver).newInstance();
		//2、注冊驅動
		DriverManager.registerDriver(driverInstance);
		//3、獲取連接
		Connection conn = DriverManager.getConnection(url, user, password);
		
		//-----------------------------------操作數據庫-----------------
		//記錄開始時間
		Long begin = System.currentTimeMillis();
		
		//動態sql語句
		String sql = "insert into tb_big_db (count,create_time,random) values (?,SYSDATE(),?)";
		//設置事務為非自動提交
		conn.setAutoCommit(false);
		//預編譯sql
		PreparedStatement pstate = conn.prepareStatement(sql);
		//外循環10次
		for(int i=0;i<10;i++){
			//內循環10000次
			for(int j=0;i<1000;j++){
				pstate.setLong(1, i*j);
				pstate.setLong(2, i*j);
				//添加到批處理上
				pstate.addBatch();
			}
			//批處理
			pstate.executeBatch();
			//提交
			conn.commit();
		}
		//關閉
		pstate.close();
		conn.close();
		//結束時間
		Long end = System.currentTimeMillis();
		System.out.println("插入10萬條數據，耗時:"+(end-begin)+"ms");
	}
}

 耗時：未知，原因是我用這個方法測試的時候，居然給我報內存溢出異常，說明這個方法需要的內存大，耗時高，所以我和上面的方法一做了個對比。

由於2個方法都用來prepareStatement類，該類在執行sql語句之前會對其進行預編譯，就是說先把sql准備好先，用到的時候就直接用就可以了

方法一：通過代碼分析，可以明顯看到，方法一種的sql語句通過拼接成10條sql語句，故數據庫執行語句時，只要執行10條就好

方法二：可以看出，它每循環一次，就要addBach()一次，速度變得更加慢，有10000條就addBatch()一萬次，再批處理10次，所以速度變得慢是理所當然的