使用dataX收獲的教訓


首先是安裝dataX,安裝非常簡單,只需下載對應的壓縮包即可。

下載地址:https://github.com/alibaba/DataX

首先我出現的第一個錯誤:命令提示符界面出現出現亂碼。

解決方法:

    可以在cmd中輸入: CHCP 65001 ,然后進行后續操作。

然后我遇到的最大的一個錯誤:

經DataX智能分析,該任務最可能的錯誤原因是:
com.alibaba.datax.common.exception.DataXException: Code:[Common-00], Describe:[您提供的配置文件存在錯誤信息,請檢查您的作業配置 .] - 配置信息錯誤. 您提供的配置信息不是合法的JSON格式: unclosed string : * . 請按照標准json格式提供配置信息.

然后我百思不得其解,問了幾個同學也沒有結果,最后發現錯誤,真是被自己搞笑了。原來是路徑寫錯了,比如該路徑  D:/datax/datax/job/data1.csv

而我硬寫成了  D:\datax\datax\job\data1.csv   

經過上面的教訓我終於知道了一般 ‘\'后面加字母都是轉義字符,下次肯定不會弄亂了。

 

 

讀取本地文件寫到mysql中代碼:

 1 {
 2     "job": {
 3         "content": [
 4             {
 5                 "reader": {
 6                     "name": "txtfilereader", 
 7                     "parameter": {
 8                     "path": ["C:/Users/train_label.csv"], 
 9                     "encoding":"GBK",
10                         "column": [
11                             {
12                                 "index":0,
13                                 "type":"string"
14                             },
15                             {
16                                 "index":1,
17                                 "type":"string"
18                             }
19                         ],
20                     "fieldDelimiter":","
21                     }
22                 }, 
23                 "writer": {
24                     "name": "mysqlwriter", 
25                     "parameter": {
26                         "column": [
27                         "ID",
28                         "Label"
29                         ], 
30                         "connection": [
31                             {
32                                 "jdbcUrl": "jdbc:mysql://localhost:3306/user", 
33                                 "table": ["ccc"]
34                             }
35                         ], 
36                         "password": "password", 
37                         "username": "root",
38                         "preSql":[""],
39                         "session":["set session sql_mode='ANSI'"],
40                         "writeMode":"insert"
41                     }
42                 }
43             }
44         ], 
45         "setting": {
46             "speed": {
47                 "channel": "1"
48             }
49         }
50     }
51 }
View Code

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM