Mysql千萬級別數據批量插入，性能提高

-----------------------------------------------------------方式1 ----------------------------------------------------------------------------------------

 

第一步：配置my.ini文件

文件中配置

bulk_insert_buffer_size=120M 或者更大

將insert語句的長度設為最大。

Max_allowed_packet=1M

Net_buffer_length=8k

保存

第二步：查看設置的參選有沒有生效.

Mysql > SHOW VARIABLES;

bulk_insert_buffer_size默認是8M，我們要把它調成100M或百兆以上，也不要太大。下面看調整個好的，如下圖：

第三步：完成設置后，批量插入數據時使用多條模式。

INSERT INTO table (field1,field2,field3) VALUES ('a',"b","c"), ('a',"b","c"),('a',"b","c");

 

----------------------------------------------------------- 方式2 ----------------------------------------------------------------------------------------

python中單個和批量增加更新的mysql（沒有則插入，有則更新）

建表語句：

DROP TABLE IF EXISTS `stock_discover`;
CREATE TABLE `stock_discover` (
  `code` char(6) NOT NULL,
  `index` int(11) unsigned NOT NULL DEFAULT '0',
  `name` varchar(20) NOT NULL,
  `exchange` varchar(10) NOT NULL DEFAULT '',
  `date` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP ON UPDATE CURRENT_TIMESTAMP,
  `yesterday` double unsigned NOT NULL,
  PRIMARY KEY (`code`,`index`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8 ROW_FORMAT=DYNAMIC;

單個添加更新

如果記錄在表中不存在則進行插入，如果存在則進行更新：

sql = "INSERT INTO stock_discover VALUES ('%s', 2, '%s', 'HZ', '%s', '%s')" \
       " ON DUPLICATE KEY UPDATE `date` = '%s' , yesterday = '%s''"
#數據格式
data = ['000005', u'合肥', '2018-09-19 14:55:21', u'2520.64']
sql = sql % （data[0], data[1], data[2], data[3], data[2], data[3]）

cursor.execute(sql)

批量添加更新
在更新大量數據時可能同時遇到兩個問題：
① 如果每條更新執行一次sql性能很低，也容易造成阻塞；
② 批量更新時又有可能遇到主鍵重復的問題
使用 ON DUPLICATE KEY UPDATE 一條sql解決批量更新和主鍵重復問題(id為主鍵),使用executemany進行批量插入

# 記錄在表中不存在則進行插入，如果存在則進行更新
sql = "INSERT INTO `stock_discover` VALUES (%s, %s, %s, %s, %s, %s) " \
          "ON DUPLICATE KEY UPDATE `date` = VALUES(`date`) , yesterday = VALUES(yesterday)"

#數據格式如下：
data_info = [('000005', 2, u'合肥', 'HZ', '2018-09-19 14:55:21', u'2520.64'),
             ('000006', 2, u'北京', 'HZ', '2018-09-19 14:55:21', u'2694.92'),
             ('000007', 2, u'上海', 'HZ', '2018-09-19 14:55:21', u'2745.38')]

#批量插入使用executement
cursor.executemany(sql, data_info)

注意： ON DUPLICATE KEY UPDATE是mysql特有的語法，對於其他sql並不一定適用

 

也可以使用如下方法：

Mysql插入數據的SQL語句主要有：

1、insert into表示插入數據，數據庫會檢查主鍵，如果出現重復會報錯；

2、replace into表示插入替換數據，需求表中有PrimaryKey，或者unique索引，如果數據庫已經存在數據，則用新數據替換，如果沒有數據效果則和insert into一樣；

3、insert ignore表示，如果表中如果已經存在相同的記錄，則忽略當前新數據；

 

create table testtb(  
id int not null primary key,  
name varchar(50),  
age int 
);  
insert into testtb(id,name,age)values(1,'bb',13);  
select * from testtb;  
insert ignore into testtb(id,name,age)values(1,'aa',13);  
select * from testtb;  
replace into testtb(id,name,age)values(1,"aa",12);  
select * from testtb;