[大數據技術]datax的安裝以及使用

1、datax簡述

DataX 是阿里巴巴集團內被廣泛使用的離線數據同步工具/平台，實現包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各種異構數據源之間高效的數據同步功能。

• 　　datax的開源地址：https://github.com/alibaba/DataX
• 　　安裝參考：https://www.cnblogs.com/jiangbei/p/10901201.html

2、datax在windows下的簡單使用步驟

　　在命令提示符界面進入datax\bin目錄下，如CD E:\datax\bin

　　用Python2執行此處為json文件的路徑

　　注意：必須使用Python2！！！！！！

　　Python3會報以下錯誤：

  File "datax.py", line 114
    print readerRef
                  ^
SyntaxError: Missing parentheses in call to 'print'. Did you mean print(readerRef)?

 

　　原因是python2的print在python3中變為了print（）函數。

　　因此可以安裝python2，並用 py -2  來執行python代碼，如：py -2 datax.py E:\New1.json 來執行python2的代碼

　　同理py -3執行python3的代碼。   

 

3、datax簡單示例參考（json文件）

　　從CSV到MySQL數據庫

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "txtfilereader", 
                    "parameter": {
                    "path": ["E:/Yi211.csv"], 
                    "encoding":"gbk",
                        "column": [
                            {
                                "index": 0,
                                "type": "string"
                            },
                            {
                                "index": 1,
                                "type": "string"
                            },
                            {
                                "index": 2,
                                "type": "string"
                            },
                            {
                                "index": 3,
                                "type": "string"
                            },
                            {
                                "index": 4,
                                "type": "string"
                            },
                            {
                                "index": 5,
                                "type": "string"
                            },
                        ],
                    "fieldDelimiter":","
                    }
                }, 
                "writer": {
                    "name": "mysqlwriter", 
                    "parameter": {
                        "column": [
                        "shengfen",
                        "chengshi",
                        "quezhen",
                        "zhiyu",
                        "siwang",
                        "shijian"
                        ], 
                        "connection": [
                            {
                                "jdbcUrl": "jdbc:mysql://localhost:3306/dbtest?useUnicode=true&characterEncoding=utf8", 
                                "table": ["yi211"]
                            }
                        ], 
                        "password": "364624", 
                        "username": "root",
                        "preSql":[""],
                        "session":["set session sql_mode='ANSI'"],
                        "writeMode":"insert"
                    }
                }
            }
        ], 
        "setting": {
            "speed": {
                "channel": "1"
            }
        }
    }
}

• "path": ["E:/Yi211.csv"],  為要導入的csv文件路徑。
• "encoding":"gbk", 為讀取CSV文件的編碼格式，這里應注意可能導致中文亂碼！！！
• "column": 參考CSV文件列數進行（安裝示例格式）進行進行修改。
• "name": "mysqlwriter",  代表該部分代碼為寫入MySQL的部分，同理"name": "txtfilereader",  代表該部分代碼為讀文本的部分。
• "jdbcUrl": "jdbc:mysql://localhost:3306/dbtest?useUnicode=true&characterEncoding=utf8", 參考自己連接數據庫的部分進行修改，localhost此處代表ip；3306代表端口；dbtest修改為數據庫名。characterEncoding代表寫入表的編碼格式
• "username": "root", 數據庫的用戶名。
• "password": "364624", 數據庫的密碼。
• "writer": 部分的 "parameter":  填寫MySQL數據表內的表頭。

　　這里給出MySQL到MySQL數據庫的部分json文件，與上部分同理。

{
    "job": {
        "content": [
            {
                  "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "column": ["id","name","num"],
                        "connection": [
                            {
                                "jdbcUrl": ["jdbc:mysql://localhost:3306/dbtest?useUnicode=true&characterEncoding=utf8&yearIsDateType=false&zeroDateTimeBehavior=convertToNull&tinyInt1isBit=false&rewriteBatchedStatements=true"],
                                "table": ["test1"]
                            }
                        ],
                        "password": "364624",
                        "username": "root",
                        
                    }
                },
                "writer": {
                    "name": "mysqlwriter",
                    "parameter": {
                           "column": ["id","name","num"],
                        "connection": [
                            {
                                
                                "jdbcUrl": "jdbc:mysql://localhost:3306/dbtest",
                                "table": ["test2"]
                            }
                        ],
                        "password": "364624",
                        "username": "root",
                    }
                }
            }
        ],
        "setting": {
            "speed": {
                "channel": 1
            }
        }
    }
}

4、可能出現的錯誤

json文件格式錯誤：

經DataX智能分析,該任務最可能的錯誤原因是:
com.alibaba.datax.common.exception.DataXException: Code:[Common-00], Describe:[您提供的配置文件存在錯誤信息，請檢查您的作業配置 .] - 配置信息錯誤. 您提供的配置信息不是合法的JSON格式: unclosed string : * . 請按照標准json格式提供配置信息.

命令提示符界面出現出現亂碼：

可以在cmd中輸入： CHCP 65001 ，然后進行后續操作。

 

py -2 datax.py E:\New1.json