Datax-web入門配置與啟動


在idea中啟動Datax-web

需要先將Datax在本地安裝,可以參考這篇文章(datax在win10中的安裝

1.從github上拉取源碼

https://github.com/WeiYe-Jing/datax-web

 

 2.在本地的mysql數據庫中執行腳本文件創建數據庫

2.1.修改腳本文件

增加兩行代碼

CREATE DATABASE datax_web;
USE datax_web;

 

 2.2.在數據庫中執行datax_web.sql腳本,生成datax_web庫

 

 

 3.修改配置文件

3.1.修改datax_admin下resources/application.yml文件

 

 下面的代碼可以直接覆蓋本地的(注意修改為自己的mysql賬戶名和密碼)

# 端口號
server:
  port: 8080
spring:
  #數據源,目前僅僅支持Mysql
  datasource:
    username: root
    password: 'root'
    url: jdbc:mysql://127.0.0.1:3306/datax_web?serverTimezone=Asia/Shanghai&useLegacyDatetimeCode=false&useSSL=false&nullNamePatternMatchesAll=true&useUnicode=true&characterEncoding=UTF-8
    driver-class-name: com.mysql.jdbc.Driver

 # 數據庫連接池配置
    hikari:
      ## 最小空閑連接數量
      minimum-idle: 5
      ## 空閑連接存活最大時間,默認600000(10分鍾)
      idle-timeout: 180000
      ## 連接池最大連接數,默認是10
      maximum-pool-size: 10
      ## 數據庫連接超時時間,默認30秒,即30000
      connection-timeout: 30000
      connection-test-query: SELECT 1
      ##此屬性控制池中連接的最長生命周期,值0表示無限生命周期,默認1800000即30分鍾
      max-lifetime: 1800000

  # datax-web email  不需要可以不用配置
  mail:
    host: smtp.qq.com
    port: 25
    username: 
    password: 
    properties:
      mail:
        smtp:
          auth: true
          starttls:
            enable: true
            required: true
        socketFactory:
          class: javax.net.ssl.SSLSocketFactory


management:
  health:
    mail:
      enabled: false
  server:
    servlet:
      context-path: /actuator

mybatis-plus:
  # mapper.xml文件掃描
  mapper-locations: classpath*:/mybatis-mapper/*Mapper.xml
  # 實體掃描,多個package用逗號或者分號分隔
  #typeAliasesPackage: com.yibo.essyncclient.*.entity
  global-config:
    # 數據庫相關配置
    db-config:
      # 主鍵類型  AUTO:"數據庫ID自增", INPUT:"用戶輸入ID", ID_WORKER:"全局唯一ID (數字類型唯一ID)", UUID:"全局唯一ID UUID";
      id-type: AUTO
      # 字段策略 IGNORED:"忽略判斷",NOT_NULL:"非 NULL 判斷"),NOT_EMPTY:"非空判斷"
      field-strategy: NOT_NULL
      # 駝峰下划線轉換
      column-underline: true
      # 邏輯刪除
      logic-delete-value: 0
      logic-not-delete-value: 1
      # 數據庫類型
      db-type: mysql
    banner: false
  # mybatis原生配置
  configuration:
    map-underscore-to-camel-case: true
    cache-enabled: false
    call-setters-on-nulls: true
    jdbc-type-for-null: 'null'
    type-handlers-package: com.wugui.datax.admin.core.handler

# 配置mybatis-plus打印sql日志
logging:
  level:
    com.wugui.datax.admin.mapper: error
    path: ./data/applogs/admin

#datax-job, access token
datax:
  job:
    accessToken:
    #i18n (default empty as chinese, "en" as english)
    i18n:
    ## triggerpool max size
    triggerpool:
      fast:
        max: 200
      slow:
        max: 100
      ### log retention days
    logretentiondays: 30

datasource:
  aes:
    key: AD42F6697B035B75

 

3.2.修改datax_executor下resources/application.yml文件

 

 

下面的代碼可以直接覆蓋本地

# web port
server:
  #port: ${server.port}
  port: 8081

# 日志路徑
logging:
  config: classpath:logback.xml
  path: ./data/applogs/executor/jobhandler

datax:
  job:
    admin:
      ### datax admin address list, http://address01,http://address02",data-admin的地址
      addresses: http://127.0.0.1:8080
    executor:
      appname: datax-executor # 創建執行器時的AppName需要和這里保持一致
      ip:
      port: 9999 # 執行器端口號
      ### job log path job文件的執行日志
      logpath: ./data/applogs/executor/jobhandler
      ### job log retention days
      logretentiondays: 30
    ### job, access token
    accessToken:

  executor:
      #  datax json臨時文件保存路徑
    jsonpath: E:\datax\datax-web\temp\executor
    #jsonpath: ${json.path}

  # Datax執行文件datax.py的地址
  pypath: E:\datax\datax\bin\datax.py
  #pypath: ${python.path}

4.啟動

運行datax_admin下 的DataXAdminApplication

 

 

運行datax_executor下 的DataXExecutorApplication

 首次啟動后,之后的啟動可以直接選擇左下角的spring boot啟動

 

啟動成功

 

 三個地址,兩個接口文檔地址,一個前端頁面地址

5.配置hadoop

一般情況下,在啟動后,控制台會報缺少hadoop的錯誤

需要配置hadoop的環境變量

https://github.com/srccodes/hadoop-common-2.2.0-bin

下載壓縮包后,解壓即可

 

配置環境變量

HADOOP_HOME

E:\hadoop\hadoop-common-2.2.0-bin-master

%HADOOP_HOME%/bin

 環境變量配置后,再次啟動Datax-web就不再有報錯


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM