load data infile的用法

簡單來兩個例子

創建要插入的表

   use database bastion;

   create table tmp(
   id int,
   data varchar(40)
   );

插入data2.txt的數據，默認字段分隔符為tab字符

load data infile '/tmp/data2.txt' into table tmp;

插入data.txt的數據，分割符為“,”

load data infile '/tmp/data.txt' into table tmp fields terminated by ',';

 

data2.txt

1       test1
2       test2
3       test3

 

data.txt

4,test4
5,test5
6,test6

 

 

--------------------------------------------------------------------------------------------------------------------------

--------------------------------------------------------------------------------------------------------------------------

--------------------------------------------------------------------------------------------------------------------------

下面為基礎知識

有時需要將大量數據批量寫入數據庫，直接使用程序語言和Sql寫入往往很耗時間，其中有一種方案就是使用mysql load data infile導入文件的形式導入數據，這樣可大大縮短數據導入時間。

LOAD DATA INFILE 語句以很高的速度從一個文本文件中讀取行到一個表中。文件名必須是一個文字字符串

1、首先查詢，Mysql服務是否正在運行，且local_infile功能是否開啟
netstat   -tulpn|grep    mysql
mysql -uroot -p -e "show variables like '%infile%';"

可在配置文件中永久開啟或設置變量臨時開啟或使用mysql程序使用響應選項

2、當讀取位於服務器上的文本文件時，文本文件必須處於數據庫目錄或可被mysql用戶讀取或可被所有人讀取

基本語法：
load   data    [low_priority]   [local]   infile   'file_name txt'      [replace | ignore]   into   table tbl_name
[fields
[terminated by '\t'] 　　　　　　　　　　　　 　　 #字段的分隔符（即指定文本文件中列之間的分隔符）,默認情況下是一個tab字符（\t）
[OPTIONALLY] enclosed by ''] 　　　　　　　　   #字段括起字符，即字段的引用字符
[escaped by'\' ]　　　　　　　　　　　　　　　   #轉義字符，默認的是反斜杠（backslash\）
]

[lines 
[terminated by '\n'] 　　　　　　　　　　　　　    #每條記錄的分隔符，默認為'\n'即為換行符
[ignore number lines]
[(col_name, )]
]

 

1   如果你指定關鍵詞low_priority，那么MySQL將會等到沒有其他人讀這個表的時候，才把插入數據。
     可以使用如下的命令： 
     load    data     low_priority   infile  "/home/mark/data.sql"   into table    test.Orders; 　　　　　　　　 #test是庫名，Orders是表名

2   如果指定local關鍵詞，則表明從其他客戶主機讀文件；如果local沒指定，文件必須位於mysql服務器上（當從本機讀取文件時也可以帶上local關鍵詞）

3   replace和ignore關鍵詞控制對現有的唯一鍵記錄的重復的處理：

• ·    如果你指定replace，新行將代替有相同的唯一鍵值的現有行（文本文件中的記錄將會覆蓋當前表中的同名記錄）。
• ·    如果你指定ignore，跳過有唯一鍵的現有行的重復行的輸入（文本文件中的記錄將會被忽略，不會覆蓋當前表中的同名記錄）。
• ·    如果你不指定任何一個選項，當找到重復鍵時，出現一個錯誤，並且文本文件的余下部分被忽略。

例如：
load  data  low_priority infile "/home/mark/data sql" replace into table test.Orders;

 

4 分隔符
（1） fields關鍵字指定了文本文件中字段的分割格式，如果使用這個關鍵字，MySQL剖析器希望看到至少有下面的一個選項： 

• terminated by 字段的分隔符,默認情況下是一個tab字符（\t）
• enclosed by 字段括起字符,即字段的引用字符
• escaped by 轉義字符，默認的是反斜杠（backslash：\ ）

例如：load data infile "/home/mark/Orders txt" replace into table test.Orders  fields   terminated by','  enclosed by '"';

（2）lines 關鍵字指定了每條記錄的分隔符，默認為'\n'即為換行符

如果兩個字段都指定了那fields必須在lines之前。
如果不指定fields關鍵字，則默認使用：              fields   terminated by'\t'   enclosed by'"'    escaped by'\'
如果不指定一個lines子句，則moren默認使用：  lines   terminated by'\n'

例如：
load data infile "/jiaoben/load.txt" replace into table test.Orders    fields terminated by ','    lines terminated by '/n';

5 load data infile 可以按指定的列把文件導入到數據庫中（即只導入文本文件中的某些列而不是全部），當我們要把數據的一部分內容導入的時候，需要加入一些欄目（列/字段/field）到MySQL數據庫中，以適應一些額外的需要。
比方說，我們要從Access數據庫升級到MySQL數據庫的時候 

下面的例子顯示了如何向表中指定的字段(field)中導入數據： 
load   data    infile "/home/Order txt"  into   table   test.Orders(Order_Number, Order_Date, Customer_ID);

6 當在mysql服務器主機上尋找文件時，服務器使用下列規則： 
（1）如果給出一個絕對路徑名，服務器使用該路徑名。 
（2）如果給出一個有一個或多個前置部件的相對路徑名，服務器相對服務器的數據目錄搜索文件。
（3）如果給出一個沒有前置部件的一個文件名，服務器在當前數據庫的數據庫目錄尋找文件。 
例如： /myfile txt”給出的文件是從服務器的數據目錄讀取，而作為“myfile txt”給出的一個文件是從當前數據庫的數據庫目錄下讀取。

注意：文本文件中字段中的空值用\N表示

 

可能會遇到的問題：

1.local_infile OFF問題

mysql> show variables like 'local_infile';  
+---------------+-------+  
| Variable_name | Value |  
+---------------+-------+  
| local_infile  | OFF   |  
+---------------+-------+  
1 row in set (0.00 sec)  
  
mysql> load data local infile 'D:\\ATMP\\mysql_repl\\5.6_local\\data.txt' into table test.t fields terminated by ',' OPTIONALLY ENCLOSED BY '\'' lines terminated by '\r\n';  
ERROR 1148 (42000): The used command is not allowed with this MySQL version  
mysql> set global local_infile=ON;  
Query OK, 0 rows affected (0.00 sec)  

 

2.secure-file-priv 選項禁止導入導出問題

 

MYSQL導入CSV格式文件數據執行提示錯誤（ERROR 1290）：

The MySQL server is running with the --secure-file-priv option so it cannot execute this statement.

【1】分析原因

其實原因很簡單，因為在安裝MySQL的時候限制了導入與導出的目錄權限。只允許在規定的目錄下才能導入。

可以通過以下命令查看secure-file-priv當前的值是什么

SHOW VARIABLES LIKE "secure_file_priv";

結果：

可以看到，本地value的值為NULL。NULL代表什么意思呢？經查資料：

（1）NULL，表示禁止。

（2）如果value值有文件夾目錄，則表示只允許該目錄下文件（PS：測試子目錄也不行）。

（3）如果為空，則表示不限制目錄。

【2】解決方案

問題原因找到了，解決方案因業務需求而定。

（1）方案一：

把導入文件放入secure-file-priv目前的value值對應路徑即可。

（2）方案二：

把secure-file-priv的value值修改為准備導入文件的放置路徑。

（3）方案三：修改配置

去掉導入的目錄限制。可修改mysql配置文件（Windows下為my.ini, Linux下的my.cnf），在[mysqld]下面，查看是否有：

secure_file_priv = 

如上這樣一行內容，如果沒有，則手動添加。如果存在如下行：

secure_file_priv = /home 

這樣一行內容，表示限制為/home文件夾。而如下行： 

secure_file_priv = 

這樣一行內容，表示不限制目錄，等號一定要有，否則mysql無法啟動。

修改完配置文件后，重啟mysql生效。

重啟后：

關閉：service mysqld stop

啟動：service mysqld start

再查詢結果：

經驗證，導入文件正常。

 

Good Good Study, Day Day Up.

順序 選擇 循環 總結

 

3.No database selected最常見的問題，沒有選擇數據庫

 

4.

mysql> load data infile '/tmp/oydb.txt' into table oydb;
ERROR 29 (HY000): File '/tmp/oydb.txt' not found (OS errno 13 - Permission denied)

將文件/tmp/oydb.txt放在mysql的安裝目錄/var/lib/mysql/下就可以了

 

--------------------------------------------------------------------------------------------------------------------------

--------------------------------------------------------------------------------------------------------------------------

--------------------------------------------------------------------------------------------------------------------------

 

參考文章：

基礎知識：https://www.cnblogs.com/wyzhou/p/9765977.html

secure-file-priv問題：https://www.cnblogs.com/Braveliu/p/10728162.html

local_infile OFF問題：https://blog.csdn.net/mingjinlai/article/details/52797822