MYSQL之批量插入數據庫


  當需要做測試時,需要批量插入數據,有三種方法,第一種,一條一條insert插入,明顯這是最慢的,第二種,使用事務提交,第三種,使用sql語句優化的小技巧,下面會分別進行測試,目標是插入一個空的數據表200W條數據

  第一種方法:使用insert into 插入,代碼如下:

$params = array('value'=>'50');
set_time_limit(0);
echo date("H:i:s");
for($i=0;$i<2000000;$i++){ $connect_mysql->insert($params); };
echo date("H:i:s");

最后顯示為:23:25:05  01:32:05  也就是花了2個小時多!

  第二種方法:使用事務提交,批量插入數據庫(每隔10W條提交下)最后顯示消耗的時間為:22:56:13   23:04:00 ,一共8分13秒 ,代碼如下:

echo date("H:i:s");
$connect_mysql->query('BEGIN');
$params = array('value'=>'50');
for($i=0;$i<2000000;$i++){ 
   $connect_mysql->insert($params);
if($i%100000==0){ $connect_mysql->query('COMMIT'); $connect_mysql->query('BEGIN'); } } $connect_mysql->query('COMMIT'); echo date("H:i:s");

 

  第三種方法:使用優化SQL語句:將SQL語句進行拼接,使用 insert into table () values (),(),(),()然后再一次性插入,如果字符串太長,

 則需要配置下MYSQL,在mysql 命令行中運行 :set global max_allowed_packet = 2*1024*1024*10;消耗時間為:11:24:06 11:25:06;

插入200W條測試數據僅僅用了1分鍾!代碼如下:

$sql= "insert into twenty_million (value) values";
 for($i=0;$i<2000000;$i++){
    $sql.="('50'),";
 };
 $sql = substr($sql,0,strlen($sql)-1);
 $connect_mysql->query($sql);

  最后總結下,在插入大批量數據時,第一種方法無疑是最差勁的,而第二種方法在實際應用中就比較廣泛,第三種方法在插入測試數據或者其他低要求時比較合適,速度確實快。OVER

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM