Datax-web 集群化部署使用


環境准備

1)基礎軟件安裝
MySQL (5.5+) 必選,對應客戶端可以選裝, Linux服務上若安裝mysql的客戶端可以通過部署腳本快速初始化數據庫
JDK (1.8.0_xxx) 必選
DataX 必選
Python (2.x) (支持Python3需要修改替換datax/bin下面的三個python文件,替換文件在doc/datax-web/datax-python3下) 必選,主要用於調度執行底層DataX的啟動腳本,默認的方式是以Java子進程方式執行DataX,用戶可以選擇以Python方式來做自定義的改造

2)硬件環境 三台主機
cdh-01
cdh-02
cdh-03

 

Datax 安裝

  1. DataX下載地址
wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz 

   2.解壓 & 測試

tar -xvf datax-web-2.1.2.tar.gz

  cd datax/bin

python datax.py ../job/job.json

 

 

 

Datax-web 安裝

1.點擊下載 提取碼:cpsk

2.進入解壓目錄,執行一鍵安裝腳本

./bin/install.sh

3.全部選 Y ,配置 MySQL 即可

 

 4.配置
修改./modules/datax-executor/bin/env.properties (修改內容為datax解壓目錄下的datax.py位置)

### 執行datax的python腳本地址
PYTHON_PATH=/opt/datax/bin/datax.py

5.啟動

./bin/start-all.sh

6.訪問
http://192.168.10.151:9527/index.html
admin/123456

到此,單機版的datax-web 已經可以正常使用,接下來部署集群。

添加 Executor

新添加的Executor 需要安裝datax、datax-web(可以只安裝datax-executor)
1.修改 modules/datax-executor/bin/env.properties,指定datax.py 位置

## PYTHON腳本執行位置
#PYTHON_PATH=/home/hadoop/install/datax/bin/datax.py
PYTHON_PATH=/opt/datax/bin/datax.py

2.修改 /modules/datax-executor/conf/application.yml
指定 datax-web 地址

addresses: http://192.168.10.151:9527
appname:自己指定隨意

3.啟動

./bin/start.sh -m datax-executor

4.打開web 頁面,選擇執行器,添加

 

 

 5.到此 ,集群式datax-web 已經部署完畢,構建任務時可以選擇不同的執行器。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM