DataX:json文件編寫解讀(csv-->mysql)


  一、JSON文件(將csv文本導入MySQL中)

{
    "job": {
        "setting": {
            "speed": {
                "channel": 3
            }
        },
        "content": [
            {
                 "reader": {
                    "name": "txtfilereader",
                    "parameter": {
                    	"path":["D:\\爬蟲數據\\百度百科\\catalogue.csv"],
                    	"encode":"gbk",
                        "column" : [
                            {
		                        "index":0,
		                        "type":"string"
                            },{
                            	        "index":1,
		                        "type":"Long"
                            }
                        ],
                        "fieldDelimiter":","
                    }
                },
                "writer": {
                    "name": "mysqlwriter",
                    "parameter": {
                        "writeMode": "insert",
                        "username": "root",
                        "password": "xxxxx",
                        "column": [
                            "name",
                            "value"
                        ],
                        "preSql": [
                            "truncate table catalogue"
                        ],
                        "connection": [  
                            {
                                "jdbcUrl": "jdbc:mysql://127.0.0.1:3306/datax?useUnicode=true&characterEncoding=utf-8",
                                "table": [
                                    "catalogue"
                                ]
                            }
                        ]
                    }
                }
            }
        ]
    }
}

  二、JSON文件解讀

    DataX的JSON文件主要的兩部分:reader和writer兩部分。

    1,reader解讀

      “name”屬性對應着讀取對象的類型

      “parameter”中path屬性對應讀取對象的路徑、encode屬性對應讀取對象的編碼、column屬性對應讀取對象的表頭(其中index屬性對應表頭的字段順序,type對應字段的類型)、filedDelimiter屬性對應讀取對象的分隔符。

    2,writer解讀

      “name”屬性對應着讀取對象的類型

      “parameter”中writeMote屬性表示操作、username屬性對應MySQL的用戶名、password對應MySQL的密碼、column對應的是表頭字段(注:這里的字段順序需要和讀取對象的順序一樣)、preSql屬性表示寫入前進行的sql語句、connection屬性中jdbcUrl表示數據庫的連接路徑,table表示表名


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM