mysql 千萬級數據的導入導出

  最近應公司要求，在做數據庫的導入導出。經查詢每天的數據量在350W條左右。經過大量測試，感覺以下方法比較好

   數據導出：SELECT INTO…OUTFILE

　基本語法：

SELECT  

[INTO OUTFILE 'file_name'  

        [CHARACTER SET charset_name]  

        export_options  

      | INTO DUMPFILE 'file_name'  

      | INTO var_name [, var_name]]  

該語句分為兩個部分。前半部分是一個普通的SELECT語句，通過這個SELECT語句來查詢所需要的數據；后半部分是導出數據的。其中，“目標文件”參數指出將查詢的記錄導出到哪個文件中；“OPTION”參數為可選參數選項，其可能的取值有：

• • FIELDS TERMINATED BY '字符串'：設置字符串為字段之間的分隔符，可以為單個或多個字符。默認值是“\t”。
  • FIELDS ENCLOSED BY '字符'：設置字符來括住字段的值，只能為單個字符。默認情況下不使用任何符號。
  • FIELDS OPTIONALLY ENCLOSED BY '字符'：設置字符來括住CHAR、VARCHAR和TEXT等字符型字段。默認情況下不使用任何符號。
  • FIELDS ESCAPED BY '字符'：設置轉義字符，只能為單個字符。默認值為“\”。
  • LINES STARTING BY '字符串'：設置每行數據開頭的字符，可以為單個或多個字符。默認情況下不使用任何字符。
  • LINES TERMINATED BY '字符串'：設置每行數據結尾的字符，可以為單個或多個字符。默認值是“\n”。FIELDS和LINES兩個子句都是自選的，但是如果兩個子句都被指定了，FIELDS必須位於LINES的前面。

例子： 

        SELECT * INTO OUTFILE 'E:/data.txt' FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"' LINES TERMINATED BY '\n' FROM dl.datas

        導出結果：

　　　　　　　

 

---

 

 

     數據導入：load data infile

基本語法：

load data [low_priority] [local] infile 'file_name txt' [replace | ignore]
into table tbl_name
[fields
[terminated by't']
[OPTIONALLY] enclosed by '']
[escaped by'\' ]]
[lines terminated by'n']
[ignore number lines]
[(col_name, )]

load data infile語句從一個文本文件中以很高的速度讀入一個表中。使用這個命令之前，mysqld進程（服務）必須已經在運行。為了安全原因，當讀取位於服務器上的文本文件時，文件必須處於數據庫目錄或可被所有人讀取。另外，為了對服務器上文件使用load data infile，在服務器主機上你必須有file的權限。

1 如果你指定關鍵詞low_priority，那么MySQL將會等到沒有其他人讀這個表的時候，才把插入數據。可以使用如下的命令： 

        load data low_priority infile "/home/mark/data sql" into table Orders;

2 如果指定local關鍵詞，則表明從客戶主機讀文件。如果local沒指定，文件必須位於服務器上。

3 replace和ignore關鍵詞控制對現有的唯一鍵記錄的重復的處理。如果你指定replace，新行將代替有相同的唯一鍵值的現有行。如果你指定ignore，跳過有唯一鍵的現有行的重復行的輸入。如果你不指定任何一個選項，當找到重復鍵時，出現一個錯誤，並且文         本文件的余下部分被忽略。例如：load data low_priority infile "/home/mark/data sql" replace into table Orders;

4 分隔符

（1） fields關鍵字指定了文件記段的分割格式，如果用到這個關鍵字，MySQL剖析器希望看到至少有下面的一個選項： 
       terminated by分隔符：意思是以什么字符作為分隔符
       enclosed by字段括起字符
      escaped by轉義字符

       terminated by描述字段的分隔符，默認情況下是tab字符（\t） 
       enclosed by描述的是字段的括起字符。
     escaped by描述的轉義字符。默認的是反斜杠（backslash：\ ）

 

例子：

load data low_priority local infile "E:/data.txt" replace into table datas fields terminated by ',' enclosed by '"' escaped by '"' lines terminated by '\n';