在idea中啟動Datax-web
需要先將Datax在本地安裝,可以參考這篇文章(datax在win10中的安裝)
1.從github上拉取源碼
https://github.com/WeiYe-Jing/datax-web
2.在本地的mysql數據庫中執行腳本文件創建數據庫
2.1.修改腳本文件
增加兩行代碼
CREATE DATABASE datax_web;
USE datax_web;
2.2.在數據庫中執行datax_web.sql腳本,生成datax_web庫
3.修改配置文件
3.1.修改datax_admin下resources/application.yml文件
下面的代碼可以直接覆蓋本地的(注意修改為自己的mysql賬戶名和密碼)
# 端口號 server: port: 8080 spring: #數據源,目前僅僅支持Mysql datasource: username: root password: 'root' url: jdbc:mysql://127.0.0.1:3306/datax_web?serverTimezone=Asia/Shanghai&useLegacyDatetimeCode=false&useSSL=false&nullNamePatternMatchesAll=true&useUnicode=true&characterEncoding=UTF-8 driver-class-name: com.mysql.jdbc.Driver # 數據庫連接池配置 hikari: ## 最小空閑連接數量 minimum-idle: 5 ## 空閑連接存活最大時間,默認600000(10分鍾) idle-timeout: 180000 ## 連接池最大連接數,默認是10 maximum-pool-size: 10 ## 數據庫連接超時時間,默認30秒,即30000 connection-timeout: 30000 connection-test-query: SELECT 1 ##此屬性控制池中連接的最長生命周期,值0表示無限生命周期,默認1800000即30分鍾 max-lifetime: 1800000 # datax-web email 不需要可以不用配置 mail: host: smtp.qq.com port: 25 username: password: properties: mail: smtp: auth: true starttls: enable: true required: true socketFactory: class: javax.net.ssl.SSLSocketFactory management: health: mail: enabled: false server: servlet: context-path: /actuator mybatis-plus: # mapper.xml文件掃描 mapper-locations: classpath*:/mybatis-mapper/*Mapper.xml # 實體掃描,多個package用逗號或者分號分隔 #typeAliasesPackage: com.yibo.essyncclient.*.entity global-config: # 數據庫相關配置 db-config: # 主鍵類型 AUTO:"數據庫ID自增", INPUT:"用戶輸入ID", ID_WORKER:"全局唯一ID (數字類型唯一ID)", UUID:"全局唯一ID UUID"; id-type: AUTO # 字段策略 IGNORED:"忽略判斷",NOT_NULL:"非 NULL 判斷"),NOT_EMPTY:"非空判斷" field-strategy: NOT_NULL # 駝峰下划線轉換 column-underline: true # 邏輯刪除 logic-delete-value: 0 logic-not-delete-value: 1 # 數據庫類型 db-type: mysql banner: false # mybatis原生配置 configuration: map-underscore-to-camel-case: true cache-enabled: false call-setters-on-nulls: true jdbc-type-for-null: 'null' type-handlers-package: com.wugui.datax.admin.core.handler # 配置mybatis-plus打印sql日志 logging: level: com.wugui.datax.admin.mapper: error path: ./data/applogs/admin #datax-job, access token datax: job: accessToken: #i18n (default empty as chinese, "en" as english) i18n: ## triggerpool max size triggerpool: fast: max: 200 slow: max: 100 ### log retention days logretentiondays: 30 datasource: aes: key: AD42F6697B035B75
3.2.修改datax_executor下resources/application.yml文件
下面的代碼可以直接覆蓋本地
# web port
server:
#port: ${server.port}
port: 8081
# 日志路徑
logging:
config: classpath:logback.xml
path: ./data/applogs/executor/jobhandler
datax:
job:
admin:
### datax admin address list, http://address01,http://address02",data-admin的地址
addresses: http://127.0.0.1:8080
executor:
appname: datax-executor # 創建執行器時的AppName需要和這里保持一致
ip:
port: 9999 # 執行器端口號
### job log path job文件的執行日志
logpath: ./data/applogs/executor/jobhandler
### job log retention days
logretentiondays: 30
### job, access token
accessToken:
executor:
# datax json臨時文件保存路徑
jsonpath: E:\datax\datax-web\temp\executor
#jsonpath: ${json.path}
# Datax執行文件datax.py的地址
pypath: E:\datax\datax\bin\datax.py
#pypath: ${python.path}
4.啟動
運行datax_admin下 的DataXAdminApplication
運行datax_executor下 的DataXExecutorApplication
首次啟動后,之后的啟動可以直接選擇左下角的spring boot啟動
啟動成功
三個地址,兩個接口文檔地址,一個前端頁面地址
5.配置hadoop
一般情況下,在啟動后,控制台會報缺少hadoop的錯誤
需要配置hadoop的環境變量
https://github.com/srccodes/hadoop-common-2.2.0-bin
下載壓縮包后,解壓即可
配置環境變量
HADOOP_HOME
E:\hadoop\hadoop-common-2.2.0-bin-master
%HADOOP_HOME%/bin
環境變量配置后,再次啟動Datax-web就不再有報錯