超大數據快速導入MySQL
----千萬級數據只需幾十分鍾
本地測試方法
1.首先需要修改本地mysql的編碼和路徑,找到my.ini。
2.在里面添加或修改
character-set-server=utf8
collation-server=utf8_general_ci
default-storage-engine=INNODB
(最低部添加)secure_file_priv="C:\Users\Administrator\Desktop\ye(xlsx表格所在父路徑)"
3.將需要的xlsx表格轉換成csv格式保存
4.將csv格式用記事本打開,另存為編碼為utf-8的csv格式
5.在mysql數據庫里,如果某些字段涉及到html代碼,需將這些字段的字段類型修改logtext。
6.在打開mysql命令行時,先建議添加一個自增ID列,方便統計記錄數。
7.打開mysql命令行輸入:
show databases;回車
use tablename(表名)回車
mysql>LOAD DATA INFILE "C:\\Users\\Administrator\\Desktop\\ye\\product.csv"(xlsx表格所在路徑)
-> into table p1_product_description(需要傳入的表名)
-> fields terminated by '&&'(字段分割符)
-> lines terminated by '\n'(換行符)
-> ignore 1 lines
-> (product_id,language_id,name,description,tag,meta_title,meta_description,meta_keyword);(字段名)
線上服務器方法(需要putty.exe軟件)
1.將在本地測試修改好的csv格式文件上傳到網站根目錄下面
2.在mysql數據庫里,如果某些字段涉及到html代碼,需將這些字段的字段類型修改logtext。
6.在打開mysql命令行時,先建議添加一個自增ID列,方便統計記錄數。
7.打開mysql命令行輸入:
數據庫遠程登陸密碼 回車
登陸數據庫命令行mysql -h localhost -u root -p 回車
輸入mysql數據庫密碼 回車
show databases;回車
use tablename(表名)回車
mysql> LOAD DATA LOCAL INFILE '/www/web/1hydraulicpump/public_html/product2.csv(csv所在路徑)'
-> into table h1_product_description(需要傳入的表名)
-> fields terminated by '&&(字段分割符)'
-> lines terminated by '\n(換行符)'
-> ignore 1 lines
-> (product_id,language_id,name,description,tag,meta_title,meta_description,meta_keyword)(字段名);