tidb通過dumpling導出csv load導入

環境：centos7、tidb3.0

1、下載dumpling 工具

鏈接: https://pan.baidu.com/s/1u-UV3MSPGBE2JXnExiKAaQ 提取碼: c2jk
tar -xvf dumpling-nightly-linux-amd64.tar.gz

2、使用dumpling導出sql查詢為csv格式

./dumpling -h 172.21.136.198 -P 4000 -u root -p"passwd" -o /tmp/test --filetype csv --sql 'select * from rkw_ezc_prod.wpt_dzxx_dzsxb limit 2'
--參數解析
  -u root \                  --指定用戶
  -P 4000 \                  --指定端口
  -h 127.0.0.1 \             --指定ip
  -o /tmp/test \             -- 用於選擇存儲導出文件的目錄
  -r 1000                    -- 選項用於指定單個文件的最大記錄數（或者說，數據庫中的行數）
  --filetype csv \           -- 導出格式還可以為filetype sql
  -F $(( 1024 * 1024 * 256 ))  --選項用於指定單個文件的最大大小（和 MyDumper 不同，這里的單位是字節）
  --sql 'select * from `test`.`sbtest1` where id < 100'

3、導出文件在目錄/tmp/test

[root@tidb-22 test]# ll                               --總共兩個文件
total 662172
-rwxr-xr-x 1 root root       140 Aug 18 16:10 metadata
-rwxr-xr-x 1 root root 678058615 Aug 18 16:10 result.0.csv
[root@tidb-22 test]# more metadata           --導出數據信息
Started dump at: 2020-08-18 16:09:43
SHOW MASTER STATUS:
                Log: tidb-binlog
                Pos: 418837478338461699
Finished dump at: 2020-08-18 16:10:28

4、刪除首行的標題行

[root@tidb-22 test]# head -n 1 result.0.csv         --首行為標題頭進行刪除
"DZMC","MLDZID","MPZBX","MPZBY","SFSCFW","XQID","XQMC","JLXDM","JLXMC","ZRQDM","PCSDM","XT_ZXBZ","XT_TIMESTAMP"
[root@tidb-22 test]# sed -i '1d'  result.0.csv

5、確定csv是否是需要的導入文件，並使用load導入

1、登錄數據庫
2、導入csv
LOAD DATA local infile 'result.0.csv' INTO TABLE rkw_ezc_prod.wpt_dzxx_dzsxb_20200817 FIELDS TERMINATED BY ',' ENCLOSED BY '"' LINES TERMINATED BY '\n' ;