Mysql利用存储过程插入500W条数据


比如插入1000W数据,不建议一次性插入,比如一次插入500W,分批插入。

创建表

/*部门表*/ CREATE TABLE dept( id INT UNSIGNED PRIMARY KEY AUTO_INCREMENT, /*id*/ deptno MEDIUMINT UNSIGNED NOT NULL DEFAULT 0, /*编号*/ dname VARCHAR(20) NOT NULL DEFAULT "",/*名称*/ loc VARCHAR(13) NOT NULL DEFAULT "" /*地点*/ )ENGINE=MyISAM DEFAULT CHARSET=utf8;
/*EMP雇员表*/ CREATE TABLE emp( id INT UNSIGNED PRIMARY KEY AUTO_INCREMENT, /*id*/ empno MEDIUMINT UNSIGNED NOT NULL DEFAULT 0,/*编号*/ ename VARCHAR(20) NOT NULL DEFAULT "",/*名字*/ job VARCHAR(9) NOT NULL DEFAULT "",/*工作*/ mgr MEDIUMINT UNSIGNED NOT NULL DEFAULT 0,/*是哪个及编号*/ hiredate DATE NOT NULL,/*入职时间*/ sal DECIMAL(7,2) NOT NULL,/*薪水*/ comm DECIMAL(7,2) NOT NULL,/*红利*/ deptno MEDIUMINT UNSIGNED NOT NULL DEFAULT 0 /*部门编号*/ )ENGINE=MyISAM DEFAULT CHARSET=utf8;
/*工资级别表*/ CREATE TABLE salgrade( grade MEDIUMINT UNSIGNED NOT NULL DEFAULT 0, losal DECIMAL(17,2) NOT NULL, hisal DECIMAL(17,2) NOT NULL )ENGINE=MyISAM DEFAULT CHARSET=utf8;
#定义一个新的命令结束符
delimiter $$

创建函数

Mysql在插入大量数据的时候,Mysql自身会报错,我们需要设置参数一个二进制日志开启的功能模块。
比如创建函数的时候,会报错

ERROR 1418 (HY000): This function has none of DETERMINISTIC, NO SQL, or READS SQL DATA in its declar

假如开启了慢查询日志,因为开启了bin-log,那么我们必须为function指定一个参数

MySQL [test_db]> show variables like 'log_bin_trust_function_creators'; //注意命令结束符 +---------------------------------+-------+
| Variable_name                   | Value |
+---------------------------------+-------+
| log_bin_trust_function_creators | OFF   |
+---------------------------------+-------+
set global log_bin_trust_function_creators = 1; //注意命令结束符

如果命令方式设定参数,mysql重启还会失效,想要永久有效必须修改my.cnf文件

[mysqld] log_bin_trust_function_creators = 1

好了,下面开始创建函数

#rand_string(n INT) rand_string 是函数名(n INT)  //该函数传参一个整数
create function rand_string(n INT) returns varchar(255) begin declare chars_str varchar(100) default 
 'abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ0123456789'; declare return_str varchar(255) default ''; declare i int default 0; while i < n do
 set return_str=concat(return_str,substring(chars_str,floor(1+rand()*52),1)); set i = i +1; end while; return return_str; end $$
//生成部门号函数
create function rand_num( ) returns int(5) begin declare i int default 0; set i = floor(10+rand()*500); return i; end $$

 创建存储过程

create procedure insert_emp(in start int(10),in max_num int(10)) begin declare i int default 0; #set autocommit = 0  //把autocommit设置成0,这样可以只提交一次,否则。。。。。
set autocommit = 0; repeat set i = i +1; insert into emp (empno, ename,job,mgr,hiredate,sal,comm,deptno) values ((start+i),rand_string(6),'SALESMAN',0001,curdate(),2000,400,rand_num()); until i = max_num end repeat; commit; end $$

 修改命令结束符后,调用刚刚写好的函数,从100001号开始,产生5000000记录,这里一次插入了

call insert_emp(100001,5000000);

 


免责声明!

本站转载的文章为个人学习借鉴使用,本站对版权不负任何法律责任。如果侵犯了您的隐私权益,请联系本站邮箱yoyou2525@163.com删除。



 
粤ICP备18138465号  © 2018-2025 CODEPRJ.COM