datax的安裝和使用(windows)


  github官方文檔和項目:https://github.com/alibaba/DataX

  下載后在windows環境下是可以直接用python編譯執行的,但從github上下載的版本只支持python2.x版本,而現在python3.x正流行,這給我們帶來不少麻煩。

  在查找資料后我找到了解決辦法:

  datax 支持Python3需要修改替換datax/bin下面的三個python文件,替換文件地址:https://github.com/WeiYe-Jing/datax-web/tree/master/doc/datax-web/datax-python3
image.png
  替換掉datax/bin下面這三個文件
image.png

 

  替換完成后,親測可以使用,我的python是3.8.1版本。

  接下來我完成了datax的一個簡單的入門測試,根據開頭給出的github網址,找到官方文檔

  

 

  根據官方文檔選擇需要數據庫和數據源的讀寫實例,配置job.json文件。

  在操作之前需要在navicat中建立兩個表,table1和table2,字段如圖:

  

 

 

  我想要測試一下mysql表之間的數據傳輸,參照mysql讀寫文檔,配置了如下job.json:

  

{
    "job": {
        "content": [
            {
                "reader": {
                    "name": "mysqlreader",
                    "parameter": {
                        "username": "root",
                        "password": "123456",
                        "column": [
                            "id",
                            "name"
                        ],
                        "connection": [
                            {
                                "table": [
                                    "table1"
                                ],
                                "jdbcUrl": [
                                    "jdbc:mysql://localhost/datax?characterEncoding=utf8"
                                ]
                            }
                        ]
                    }
                },
                "writer": {
                    "name": "mysqlwriter",
                    "parameter": {
                        "username": "root",
                        "password": "123456",
                        "column": [
                            "id",
                            "name"
                        ],
                        "connection": [
                            {
                                "table": [
                                    "table2"
                                ],
                                "jdbcUrl": "jdbc:mysql://localhost/datax?characterEncoding=utf8"
                            }
                        ]
                    }
                }
            }
        ],
        "setting": {
            "speed": {
                "channel": 1,
                "byte": 104857600
            },
            "errorLimit": {
                "record": 10,
                "percentage": 0.05
            }
        }
    }
}
View Code

  

   接下來用win+r打開cmd命令窗口,輸入按照配置文件啟動datax的命令:python D:\datax\datax\bin\datax.py D:\datax\datax\job\job3.json(注意自己的安裝路徑)

  如果cmd出現亂碼,輸入CHCP 65001

  最后出現如下結果表示任務完成:

 

  我們打開table2,發現table1里的數據已經全導入進來了。

  

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM