一、JSON文件(將csv文本導入MySQL中)
{
"job": {
"setting": {
"speed": {
"channel": 3
}
},
"content": [
{
"reader": {
"name": "txtfilereader",
"parameter": {
"path":["D:\\爬蟲數據\\百度百科\\catalogue.csv"],
"encode":"gbk",
"column" : [
{
"index":0,
"type":"string"
},{
"index":1,
"type":"Long"
}
],
"fieldDelimiter":","
}
},
"writer": {
"name": "mysqlwriter",
"parameter": {
"writeMode": "insert",
"username": "root",
"password": "xxxxx",
"column": [
"name",
"value"
],
"preSql": [
"truncate table catalogue"
],
"connection": [
{
"jdbcUrl": "jdbc:mysql://127.0.0.1:3306/datax?useUnicode=true&characterEncoding=utf-8",
"table": [
"catalogue"
]
}
]
}
}
}
]
}
}
二、JSON文件解讀
DataX的JSON文件主要的兩部分:reader和writer兩部分。
1,reader解讀
“name”屬性對應着讀取對象的類型
“parameter”中path屬性對應讀取對象的路徑、encode屬性對應讀取對象的編碼、column屬性對應讀取對象的表頭(其中index屬性對應表頭的字段順序,type對應字段的類型)、filedDelimiter屬性對應讀取對象的分隔符。
2,writer解讀
“name”屬性對應着讀取對象的類型
“parameter”中writeMote屬性表示操作、username屬性對應MySQL的用戶名、password對應MySQL的密碼、column對應的是表頭字段(注:這里的字段順序需要和讀取對象的順序一樣)、preSql屬性表示寫入前進行的sql語句、connection屬性中jdbcUrl表示數據庫的連接路徑,table表示表名
