dataX大數據同步

安裝

下載地址 https://github.com/alibaba/DataX/blob/master/userGuid.md

直接解壓就行

 

dataX需要python2.x

我之前已經安裝了anaconda3，自帶的是python3.7的版本，這邊就需要切換

conda create --name python27 python=2.7

創建一個名為python27的環境，指定python版本為python2.7，它會自動下載

安裝完后，通過  conda info -e  命令，可以看到當前所有安裝的Python環境

之后就可以通過  conda activate python27  切換了

返回之前的環境  conda deactivate 

 

dataX解壓后就可以在cmd中測試

這里的   G:\datax\datax\datax  是我datax的安裝路徑

輸出

亂碼輸入

CHCP 65001

 

數據同步

修改job.json（位於安裝目錄下job/job.json，或者修改 python bin/datax.py job/job.json 的后一個路徑為json路徑）

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "txtfilereader", 
                    "parameter": {
                    "path": ["C:/Users/syyzl/Desktop/words.csv"], 
                    "encoding":"utf-8",
                        "column": [
                            {
                                "index": 0,
                                "type": "string"
                            },
                            {
                                "index": 1,
                                "type": "string"
                            },
                            {
                                "index": 2,
                                "type": "string"
                            },
                            {
                                "index": 3,
                                "type": "string"
                            }
                        ],
                    "fieldDelimiter": ","
                    }
                }, 
                "writer": {
                    "name": "mysqlwriter", 
                    "parameter": {
                        "column": [
                            "Id",
                            "word",
                            "jieshi",
                            "link"
                        ], 
                        "connection": [
                            {
                               "jdbcUrl": "jdbc:mysql://localhost:3306/hotword?useUnicode=true&characterEncoding=utf8", 
                               "table": ["info"]
                            }
                        ], 
                        "password": "963214785", 
                        "username": "root",
                        "preSql":[""],
                        "session":["set session sql_mode='ANSI'"],
                        "writeMode":"insert"
                    }
                }
            }
        ], 
        "setting": {
            "speed": {
                "channel": "2"
            }
        }
    }
}

查看數據庫，可以看到同步成功

 

出現的問題

獲取表字段相關信息失敗

去網上查的教程是column的內容不對

原來是我的字段里有一個字段名為explain，把這個改成別的就好了

 

臟數據

把此處的int改成string即可

 

 

 參考

dataX的安裝配置 https://blog.csdn.net/yulutian/article/details/80835123

dataX處理csv文件時出現臟數據問題 http://www.mamicode.com/info-detail-2941673.html

 Anaconda不同版本python環境的安裝與切換 https://blog.csdn.net/wz947324/article/details/80228679