MYSQL開發性能研究——批量插入的優化措施

一、我們遇到了什么問題

在標准SQL里面，我們通常會寫下如下的SQL insert語句。

INSERT INTO TBL_TEST (id) VALUES(1);

 

很顯然,在MYSQL中，這樣的方式也是可行的。但是當我們需要批量插入數據的時候，這樣的語句卻會出現性能問題。例如說，如果有需要插入100000條數據，那么就需要有100000條insert語句，每一句都需要提交到關系引擎那里去解析，優化，然后才能夠到達存儲引擎做真的插入工作。

正是由於性能的瓶頸問題，MYSQL官方文檔也就提到了使用批量化插入的方式，也就是在一句INSERT語句里面插入多個值。即，

INSERT INTO TBL_TEST (id) VALUES (1), (2), (3)

 

這樣的做法確實也可以起到加速批量插入的功效，原因也不難理解，由於提交到服務器的INSERT語句少了，網絡負載少了，最主要的是解析和優化的時間看似增多，但是實際上作用的數據行卻實打實地多了。所以整體性能得以提高。根據網上的一些說法，這種方法可以提高幾十倍。

然而，我在網上也看到過另外的幾種方法，比如說預處理SQL，比如說批量提交。那么這些方法的性能到底如何？本文就會對這些方法做一個比較。

 

二、比較環境和方法

我的環境比較苦逼，基本上就是一個落后的虛擬機。只有2核，內存為6G。操作系統是SUSI Linux，MYSQL版本是5.6.15。

可以想見，這個機子的性能導致了我的TPS一定非常低，所以下面的所有數據都是沒有意義的，但是趨勢卻不同，它可以看出整個插入的性能走向。

由於業務特點，我們所使用的表非常大，共有195個字段，且寫滿（每個字段全部填滿，包括varchar）大致會有略小於4KB的大小，而通常來說，一條記錄的大小也有3KB。

由於根據我們的實際經驗，我們很肯定的是，通過在一個事務中提交大量INSERT語句可以大幅度提高性能。所以下面的所有測試都是建立在每插入5000條記錄提交一次的做法之上。

最后需要說明的是，下面所有的測試都是通過使用MYSQL C API進行的，並且使用的是INNODB存儲引擎。

 

三、比較方法

 

理想型測試（一）——方法比較

目的：找出理想情況下最合適的插入機制

關鍵方法：

1. 每個進/線程按主鍵順序插入

2. 比較不同的插入方法

3. 比較不同進/線程數量對插入的影響

 

*“普通方法”指的是一句INSERT只插入一個VALUE的情況。

*“預處理SQL”指的是使用預處理MYSQL C API的情況。

* “多表值SQL(10條）”是使用一句INSERT語句插入10條記錄的情況。為什么是10條？后面的驗證告訴了我們這樣做性能最高。

結論，很顯然，從三種方法的趨勢上來看，多表值SQL(10條）的方式最為高效。

 

理想型測試（二）——多表值SQL條數比較

 

 

很顯然，在數據量提高的情況下，每條INSERT語句插入10條記錄的做法最為高效。

 

理想型測試（三）——連接數比較

 

 

結論：在2倍與CPU核數的連接和操作的時候，性能最高

 

一般性測試—— 根據我們的業務量進行測試

目的：最佳插入機制適合普通交易情況？

關鍵方法：

1. 模擬生產數據(每條記錄約3KB)

2. 每個線程主鍵亂序插入

 

很顯然，如果是根據主鍵亂序插入的話，性能會有直線下降的情況。這一點其實和INNODB的內部實現原理所展現出來的現象一致。但是仍然可以肯定的是，多表值SQL(10條）的情況是最佳的。

 

壓力測試

目的：最佳插入機制適合極端交易情況？

關鍵方法：

1. 將數據行的每一個字段填滿（每條記錄約為4KB）

2. 每個線程主鍵亂序插入

結果和我們之前的規律類似，性能出現了極端下降。並且這里驗證了隨着記錄的增大（可能已經超過了一個page的大小，畢竟還有slot和page head信息占據空間），會有page split等現象，性能會下降。

 

四、結論

根據上面的測試，以及我們對INNODB的了解，我們可以得到如下的結論。

•采用順序主鍵策略（例如自增主鍵，或者修改業務邏輯，讓插入的記錄盡可能順序主鍵）

•采用多值表（10條）插入方式最為合適

•將進程/線程數控制在2倍CPU數目相對合適

 

五、附錄

我發現網上很少有完整的針對MYSQL 預處理SQL語句的例子。這里給出一個簡單的例子。

--建表語句
CREATE TABLE tbl_test 
(
    pri_key  varchar(30), 
    nor_char char(30), 
    max_num DECIMAL(8,0), 
    long_num DECIMAL(12, 0), 
    rec_upd_ts TIMESTAMP
);

 

/*====================================================*/

#include <string.h>
#include <iostream>
#include <mysql.h>
#include <sys/time.h>
#include <sstream>
#include <vector>

using namespace std;

#define STRING_LEN 30
   
char       pri_key                       [STRING_LEN]= "123456";  
char       nor_char                      [STRING_LEN]= "abcabc";  
char       rec_upd_ts                    [STRING_LEN]= "NOW()";  

bool SubTimeval(timeval &result, timeval &begin, timeval &end)
{
    if ( begin.tv_sec>end.tv_sec ) return false;

    if ( (begin.tv_sec == end.tv_sec) && (begin.tv_usec > end.tv_usec) )   
        return   false;

    result.tv_sec = ( end.tv_sec - begin.tv_sec );   
    result.tv_usec = ( end.tv_usec - begin.tv_usec );   

    if (result.tv_usec<0) {
        result.tv_sec--;
        result.tv_usec+=1000000;}  
    return true;
}

int main(int argc, char ** argv)
{
    INT32 ret = 0;
    char errmsg[200] = {0};
    int sqlCode = 0;

    timeval tBegin, tEnd, tDiff;
    
    const char* precompile_statment2 = "INSERT INTO `tbl_test`( pri_key, nor_char, max_num, long_num, rec_upd_ts) VALUES(?, ?, ?, ?, ?)";
    
    MYSQL conn;
    mysql_init(&conn);
    
    if (mysql_real_connect(&conn, "127.0.0.1", "dba", "abcdefg", "TESTDB", 3306, NULL, 0) == NULL)
    {
        fprintf(stderr, " mysql_real_connect, 2 failed\n");
        exit(0);
    }
    
    MYSQL_STMT    *stmt = mysql_stmt_init(&conn);
    if (!stmt)
    {
      fprintf(stderr, " mysql_stmt_init, 2 failed\n");
      fprintf(stderr, " %s\n", mysql_stmt_error(stmt));
      exit(0);
    }
    
    if (mysql_stmt_prepare(stmt, precompile_statment2, strlen(precompile_statment2)))
    {
      fprintf(stderr, " mysql_stmt_prepare, 2 failed\n");
      fprintf(stderr, " %s\n", mysql_stmt_error(stmt));
      exit(0);
    }
    
    int i = 0; 
    int max_num = 3;
    const int FIELD_NUM = 5;
    while (i < max_num)
    {
        //MYSQL_BIND    bind[196] = {0};
        MYSQL_BIND    bind[FIELD_NUM];
        memset(bind, 0, FIELD_NUM * sizeof(MYSQL_BIND));
    
        unsigned long str_length = strlen(pri_key);
        bind[0].buffer_type   = MYSQL_TYPE_STRING;
        bind[0].buffer        = (char *)pri_key;
        bind[0].buffer_length = STRING_LEN;
        bind[0].is_null       = 0;
        bind[0].length        = &str_length;
        
        unsigned long str_length_nor = strlen(nor_char);
        bind[1].buffer_type   = MYSQL_TYPE_STRING;
        bind[1].buffer        = (char *)nor_char;
        bind[1].buffer_length = STRING_LEN;
        bind[1].is_null       = 0;
        bind[1].length        = &str_length_nor;
        
        bind[2].buffer_type   = MYSQL_TYPE_LONG;
        bind[2].buffer        = (char*)&max_num;
        bind[2].is_null       = 0;
        bind[2].length        = 0;
        
        bind[3].buffer_type   = MYSQL_TYPE_LONG;
        bind[3].buffer        = (char*)&max_num;
        bind[3].is_null       = 0;
        bind[3].length        = 0;
        
        MYSQL_TIME  ts;
        ts.year= 2002;
        ts.month= 02;
        ts.day= 03;
        ts.hour= 10;
        ts.minute= 45;
        ts.second= 20;
        
        unsigned long str_length_time = strlen(rec_upd_ts);
        bind[4].buffer_type   = MYSQL_TYPE_TIMESTAMP;
        bind[4].buffer        = (char *)&ts;
        bind[4].is_null       = 0;
        bind[4].length        = 0;
        
        if (mysql_stmt_bind_param(stmt, bind))
        {
            fprintf(stderr, " mysql_stmt_bind_param, 2 failed\n");
            fprintf(stderr, " %s\n", mysql_stmt_error(stmt));
            exit(0);
        }
        
        cout << "before execute\n";
        if (mysql_stmt_execute(stmt))
        {
          fprintf(stderr, " mysql_stmt_execute, 2 failed\n");
          fprintf(stderr, " %s\n", mysql_stmt_error(stmt));
          exit(0);
        }
        cout << "after execute\n";
        
        i++;
    }
    
    mysql_commit(&conn);
    
    mysql_stmt_close(stmt);

    return 0;   
}