datax在win10中的安裝


datax安裝需要的環境

JDK(1.8以上,推薦1.8)
Python(推薦Python2.7.X)
Apache Maven 3.x (Compile DataX)

這里只講下python的安裝和配置

python

python官網下載

https://www.python.org/downloads/windows/

我這里下載的是2.7,傻瓜式安裝(默認C盤,注意修改安裝路徑)

安裝成功后,配置環境變量(3.0版本以上的會自動配置)

在path中新增python的安裝路徑(例:C:\python27

 

測試是否安裝成功

cmd ==> 輸入python,出現版本號即配置成功

datax安裝

 1.datax安裝包

下載地址:

http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz

下載后解壓至本地某個目錄,進入bin目錄

我本地解壓的路徑(E:\datax\datax\bin)

2.測試datax

windows+R ==> 輸入cmd,回車進入命令提示符界面

依次輸入

e:

cd E:\datax\datax\bin  (cd后是自己解壓datax的bin路徑)

自檢腳本

python  datax.py  ../job/job.json

 最后出現以下頁面即表明安裝成功

 

 如果出現亂碼

 在自檢腳本前運行 CHCP 65001

 再次執行 python  datax.py  ../job/job.json 即不再亂碼

 

3.問題修復

在執行 python  datax.py  ../job/job.json 時可能會出現以下報錯:

 

2022-04-01 23:22:10.153 [main] WARN  ConfigParser - 插件[streamreader,streamwriter]加載失敗,1s后重試... Exception:Code:[Common-00], Describe:[您提供的配置文件存在錯誤信息,請檢查您的作業配置 .] - 配置信息錯誤,
您提供的配置文件[/opt/datax/plugin/reader/._drdsreader/plugin.json]不存在. 請檢查您的配置文件.
2022-04-01 23:22:11.157 [main] ERROR Engine -

經DataX智能分析,該任務最可能的錯誤原因是:
com.alibaba.datax.common.exception.DataXException: Code:[Common-00], Describe:[您提供的配置文件存在錯誤信息,請檢查您的作業配置 .] - 配置信息錯誤,您提供的配置文件[/opt/datax/plugin/reader/._drdsreader/plugin.json]不存在. 請檢查您的配置文件.
        at com.alibaba.datax.common.exception.DataXException.asDataXException(DataXException.java:26)
        at com.alibaba.datax.common.util.Configuration.from(Configuration.java:95)
        at com.alibaba.datax.core.util.ConfigParser.parseOnePluginConfig(ConfigParser.java:153)
        at com.alibaba.datax.core.util.ConfigParser.parsePluginConfig(ConfigParser.java:125)
        at com.alibaba.datax.core.util.ConfigParser.parse(ConfigParser.java:63)
        at com.alibaba.datax.core.Engine.entry(Engine.java:137)
        at com.alibaba.datax.core.Engine.main(Engine.java:204)

 

解決辦法

刪除reader文件和writer文件夾下的 ._xxx 文件

 

刪除reader目錄下的部分文件

 執行下面的命令

del ._hdfsreader 
del ._otsstreamreader 
del ._otsreader 
del ._txtfilereader 
del ._ftpreader 
del ._streamreader 
del ._odpsreader 
del ._cassandrareader 
del ._hbase11xreader 
del ._oraclereader 
del ._postgresqlreader 
del ._mysqlreader 
del ._rdbmsreader 
del ._mongodbreader 
del ._ossreader 
del ._sqlserverreader 
del ._hbase094xreader
del ._drdsreader 

 

刪除writer目錄下的部分文件

 執行下面的命令

del ._hbase11xsqlwriter
del ._ocswriter 
del ._adswriter 
del ._drdswriter
del ._hbase11xwriter 
del ._hbase094xwriter 
del ._sqlserverwriter 
del ._osswriter 
del ._mongodbwriter 
del ._rdbmswriter 
del ._mysqlwriter 
del ._postgresqlwriter 
del ._oraclewriter 
del ._cassandrawriter 
del ._odpswriter 
del ._streamwriter 
del ._ftpwriter 
del ._txtfilewriter 
del ._otswriter 
del ._hdfswriter

 

此時進入bin目錄執行自檢腳本,可正常啟動

python  datax.py  ../job/job.json

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM