環境:tidb、linux
1、先確認主鍵、創建分區表(用於代替原表)
SELECT column_name FROM INFORMATION_SCHEMA.`KEY_COLUMN_USAGE` WHERE table_name='wpt_dzxx_chdzb_20200813' AND constraint_name='PRIMARY';
2、去除原表重復主鍵的行
3、統計原表總數
select count(1) from wpt_dzxx_chdzb; --29883575
4、導出表
mysqldump -h 192.168.1.4 -P 4000 -u root -ppassword rkw_ezc_prod wpt_dzxx_chdzb >wpt_dzxx_chdzb.sql
5、清空要導入的表
truncate table wpt_dzxx_chdzb_20200813
6、替換表名稱
sed -i 's/wpt_dzxx_chdzb/wpt_dzxx_chdzb_20200813/g' wpt_dzxx_chdzb.sql
7、分成小文件 並清理第一個刪除前面的drop命令
刪除文檔的第一行 sed -i '1d' wpt_dzxx_chdzb.sql
刪除文檔的最后一行 sed -i '$d' wpt_dzxx_chdzb.sql
split -l 200 wpt_dzxx_chdzb.sql -d -a 3 wpt_dzxx_chdzb_20200813
8、執行導入
-- 生成導入腳本
for i in `ls`
do echo 'nohup mysql -h 192.168.1.4 -P 4000 -u root -D rkw_ezc_prod -ppasswd <' $i '> /tmp/dump1/'$i '2>&1 &'
done
--建目錄執行導入
mkdir /tmp/dump1