datax安裝需要的環境
JDK(1.8以上,推薦1.8)
Python(推薦Python2.7.X)
Apache Maven 3.x (Compile DataX)
這里只講下python的安裝和配置
python
python官網下載
https://www.python.org/downloads/windows/
我這里下載的是2.7,傻瓜式安裝(默認C盤,注意修改安裝路徑)
安裝成功后,配置環境變量(3.0版本以上的會自動配置)
在path中新增python的安裝路徑(例:C:\python27)
測試是否安裝成功
cmd ==> 輸入python,出現版本號即配置成功
datax安裝
1.datax安裝包
下載地址:
http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
下載后解壓至本地某個目錄,進入bin目錄
我本地解壓的路徑(E:\datax\datax\bin)
2.測試datax
windows+R ==> 輸入cmd,回車進入命令提示符界面
依次輸入
e:
cd E:\datax\datax\bin (cd后是自己解壓datax的bin路徑)
自檢腳本
python datax.py ../job/job.json
最后出現以下頁面即表明安裝成功
如果出現亂碼
在自檢腳本前運行 CHCP 65001
再次執行 python datax.py ../job/job.json 即不再亂碼
3.問題修復
在執行 python datax.py ../job/job.json 時可能會出現以下報錯:
2022-04-01 23:22:10.153 [main] WARN ConfigParser - 插件[streamreader,streamwriter]加載失敗,1s后重試... Exception:Code:[Common-00], Describe:[您提供的配置文件存在錯誤信息,請檢查您的作業配置 .] - 配置信息錯誤,
您提供的配置文件[/opt/datax/plugin/reader/._drdsreader/plugin.json]不存在. 請檢查您的配置文件.
2022-04-01 23:22:11.157 [main] ERROR Engine -
經DataX智能分析,該任務最可能的錯誤原因是:
com.alibaba.datax.common.exception.DataXException: Code:[Common-00], Describe:[您提供的配置文件存在錯誤信息,請檢查您的作業配置 .] - 配置信息錯誤,您提供的配置文件[/opt/datax/plugin/reader/._drdsreader/plugin.json]不存在. 請檢查您的配置文件.
at com.alibaba.datax.common.exception.DataXException.asDataXException(DataXException.java:26)
at com.alibaba.datax.common.util.Configuration.from(Configuration.java:95)
at com.alibaba.datax.core.util.ConfigParser.parseOnePluginConfig(ConfigParser.java:153)
at com.alibaba.datax.core.util.ConfigParser.parsePluginConfig(ConfigParser.java:125)
at com.alibaba.datax.core.util.ConfigParser.parse(ConfigParser.java:63)
at com.alibaba.datax.core.Engine.entry(Engine.java:137)
at com.alibaba.datax.core.Engine.main(Engine.java:204)
解決辦法
刪除reader文件和writer文件夾下的 ._xxx 文件
刪除reader目錄下的部分文件
執行下面的命令
del ._hdfsreader
del ._otsstreamreader
del ._otsreader
del ._txtfilereader
del ._ftpreader
del ._streamreader
del ._odpsreader
del ._cassandrareader
del ._hbase11xreader
del ._oraclereader
del ._postgresqlreader
del ._mysqlreader
del ._rdbmsreader
del ._mongodbreader
del ._ossreader
del ._sqlserverreader
del ._hbase094xreader
del ._drdsreader
刪除writer目錄下的部分文件
執行下面的命令
del ._hbase11xsqlwriter
del ._ocswriter
del ._adswriter
del ._drdswriter
del ._hbase11xwriter
del ._hbase094xwriter
del ._sqlserverwriter
del ._osswriter
del ._mongodbwriter
del ._rdbmswriter
del ._mysqlwriter
del ._postgresqlwriter
del ._oraclewriter
del ._cassandrawriter
del ._odpswriter
del ._streamwriter
del ._ftpwriter
del ._txtfilewriter
del ._otswriter
del ._hdfswriter
此時進入bin目錄執行自檢腳本,可正常啟動
python datax.py ../job/job.json