Datax環境搭建


  Datax是一個在異構的數據庫/文件系統之間高速交換數據的工具,本次搭建Datax環境,需要說明以下,我的jdk版本是1.7的,所以需要對jdk繼續升級。


 一、環境准備

  軟件環境:CentOS 6

  系統環境:linux

  jdk環境:1.8及以上

  啟動環境:python


二、升級jdk

  需要先使用命令進行查看自己的jdk版本,命令: java -version   如果是1.8的請自行忽略此步驟。

  windows系統在官網上進行下載相應版本的jdk:https://www.oracle.com/cn/java/technologies/javase-jdk8-downloads.html

  使用filezill進行上傳到linux,我的上傳到了桌面(或者直接在linux進行下載也可以)。

    進入終端,不進入管理員模式,使用命令 rpm -qa | grep java  進行當前jdk安裝包的查看,如我的是1.7的版本。

     使用命令rpm -e --nodeps 你的jdk版本  強制刪除軟件包,如我的是  rpm -e --nodeps java-1.7.0-openjdk-1.7.0.45-2.4.3.3.el6.x86_64   (注意這里有多少軟件包就刪除多少軟件包)

  然后使用命令 tar -zxvf jdk-8u231-linux-x64.tar.gz 對壓縮包進行解壓。

  解壓后如下所示

   將解壓后的文件使用命令 sudo mv jdk1.8.0_231/ /opt/   移動到/opt文件夾下,然后進入到該文件夾下進行查看。

   然后使用命令  sudo vim /etc/profile  進行環境的配置,在末尾添加如下代碼。

export JAVA_HOME=/opt/jdk1.8.0_231
export PATH=$PATH:$JAVA_HOME/bin

  保存退出后使用命令 source /etc/profile 啟用配置文件。

  然后使用命令  java -version  進行當前版本的查看,出現的信息與你現在安裝的版本相同則升級成功。


 三、安裝python

  python的安裝詳情請參考這個博客:https://www.cnblogs.com/MWCloud/p/11354591.html  

  在安裝過程中,可能會出現一些問題,可以參考下面的辦法進行解決。

  (1)顯示無法建立 SSL 連接。如圖所示:

   解決方法:

  將https改為http.因為https會默認認證ssl

  (2)下載速度過慢問題

  wget下載有時候會比較慢,而python相對我們的下載速度來說顯得比較大,所以,我們可以下載mwget(或者使用鏡像源)進行加速,具體方法參見這篇博客:https://blog.csdn.net/luhengchang/article/details/81365484


 四、安裝DataX

  從官網上下載DataX:https://github.com/alibaba/DataX/blob/master/userGuid.md  直接下載工具包

   使用filezill上傳到 指定目錄。解壓到指定目錄,我的是上傳到了 /usr/local 

  使用命令  tar -zxvf datax.tar.gz  進行解壓,解壓之后使用命令   cd datax/bin   進入到並目錄下,再使用命令 python datax.py ../job/job.json  執行python腳本,如果出現以下內容則安裝成功。


 

 

 

 

 

 

 

 

 

 

 

  

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM