環境准備
1)基礎軟件安裝
MySQL (5.5+) 必選,對應客戶端可以選裝, Linux服務上若安裝mysql的客戶端可以通過部署腳本快速初始化數據庫
JDK (1.8.0_xxx) 必選
DataX 必選
Python (2.x) (支持Python3需要修改替換datax/bin下面的三個python文件,替換文件在doc/datax-web/datax-python3下) 必選,主要用於調度執行底層DataX的啟動腳本,默認的方式是以Java子進程方式執行DataX,用戶可以選擇以Python方式來做自定義的改造
2)硬件環境 三台主機
cdh-01
cdh-02
cdh-03
Datax 安裝
wget http://datax-opensource.oss-cn-hangzhou.aliyuncs.com/datax.tar.gz
2.解壓 & 測試
tar -xvf datax-web-2.1.2.tar.gz
cd datax/bin
python datax.py ../job/job.json
Datax-web 安裝
1.點擊下載 提取碼:cpsk
2.進入解壓目錄,執行一鍵安裝腳本
./bin/install.sh
3.全部選 Y ,配置 MySQL 即可
4.配置
修改./modules/datax-executor/bin/env.properties (修改內容為datax解壓目錄下的datax.py位置)
### 執行datax的python腳本地址
PYTHON_PATH=/opt/datax/bin/datax.py
5.啟動
./bin/start-all.sh
6.訪問
http://192.168.10.151:9527/index.html
admin/123456
到此,單機版的datax-web 已經可以正常使用,接下來部署集群。
添加 Executor
新添加的Executor 需要安裝datax、datax-web(可以只安裝datax-executor)
1.修改 modules/datax-executor/bin/env.properties
,指定datax.py 位置
## PYTHON腳本執行位置 #PYTHON_PATH=/home/hadoop/install/datax/bin/datax.py PYTHON_PATH=/opt/datax/bin/datax.py
2.修改 /modules/datax-executor/conf/application.yml
指定 datax-web 地址
addresses: http://192.168.10.151:9527 appname:自己指定隨意
3.啟動
./bin/start.sh -m datax-executor
4.打開web 頁面,選擇執行器,添加
5.到此 ,集群式datax-web 已經部署完畢,構建任務時可以選擇不同的執行器。