定時任務框架【Quartz、xxl-job、elastic-job】


 

一、項目目前定時任務現狀

  1. 使用Linux系統的crontab直接調用Java服務
  2. 優缺點:
  • 優點:部署簡單,由linux系統維護相對Java進程維護更加維定
  • 缺點:單機部署,風險大;出問題后排錯難度大;需要運維介入成本大
  • 總結:針對目前項目情況,弊大於利

二、Java主流三大定時任務框架優缺點

選型時原則:

少服務器 后期維護方便 增加任務省事 而且快捷 不涉及啟停服務

Quartz

  1. 優點:支持集群部署
  2. 缺點:沒有自帶的管理界面;調度邏輯和執行任務耦合在一起;維護需要重啟服務
  3. 總結:針對目前項目情況,利弊相同

xxl-job

  1. 優點:支持集群部署;提供運維界面維護成本小;自帶錯誤預警;相對elastic-job來說不需要額外的組件(zookeeper);支持調度策略;支持分片; 故障轉移 ;更適合分布式
  2. 缺點:相對Quartz來說需要多部署調度中心
  3. 總結:針對目前項目情況,利大於弊

elastic-job

  1. 優點:支持集群部署;維護成本小
  2. 缺點:elastic-job需要zookeeper,zookeeper集群高可用至少需要三台服務器
  3. 總結:針對目前項目情況,弊大於利

小結:

綜合選型原則及三個定時任務框架的優缺點和目前項目的狀況,建議選用xxl-job

三、xxl-job一些特性

  1. xxl-job參考資料: http://www.cnblogs.com/xuxueli/p/5021979.html
  2. 一些實用特性:       

           (1)執行失敗可以查看日志

(2)支持郵件報警

(3)路由策略支持輪詢等策略,可以減輕執行服務器的壓力

(4)輪詢時間等參數修改后立即生效

 (5)執行器有問題或新增,快速識別

(6)調度中心高可用,調度中心可以集群部署(集群部署的機器時鍾必須同步),如果調度中心沒有做負載在執行器的配置中需要配多個地址,如果調度中心配置負載則執行器配置負載地址即可

(7)執行器高可用(執行器可以集群部署)

四、針對項目目前定時任務的選用策略建議

  1. 目前項目的所有定時任務(和運維亞光確認)共8個
  2. 不同定時任務策略的建議

           (1)結算相關

    a.罰息定時任務(wf-job-practical)

      路由策略:輪詢

                      阻塞處理:單機串行

                      失敗處理:失敗告警

     b.結清定時任務(wf-job-settlement)

      路由策略:輪詢

                     阻塞處理:單機串行

                     失敗處理:失敗告警

      (2)  短信相關

     a. 短信發送定時任務(wf-sms-send-job)

      路由策略:輪詢

                      阻塞處理:丟棄后續調度

                      失敗處理:失敗告警

     b.短信業務定時任務(wf-sms-write-job)

      路由策略:輪詢

                      阻塞處理:單機串行

                      失敗處理:失敗告警

    c.短信數據清理定時任務(wf-sms-cleardata-job)

      路由策略:輪詢

                      阻塞處理:單機串行

                      失敗處理:失敗告警

    (3).報表相關

    a.風控定時任務wf-bi-risk-job

      路由策略:輪詢

                      阻塞處理:單機串行

                      失敗處理:失敗告警

    b. wf-bi-market-job

      路由策略:輪詢

                      阻塞處理:單機串行

                      失敗處理:失敗告警

    c.wf-bi-job

       路由策略:輪詢

                       阻塞處理:單機串行

                       失敗處理:失敗告警

五、項目中加入xxl-job結合

  1. 說明:以下Demo以短信發送服務定時任務(wf-sms-send-job)為例
  2. 建議:執行器根據不同的模塊建立工程(既方便統一部署又方便升級維護),比如:結算的定時任務可以組成一個工程;短信定時任務可以組成一個工程等
  3. 項目中增加xxl-job

(1)在pom中增加依賴

<dependency>
     <groupId>com.xuxueli</groupId>
     <artifactId>xxl-job-core</artifactId>
     <version>2.3.0</version>
</dependency>

<dependency>
      <groupId>com.xuxueli</groupId>
      <artifactId>xxl-job-executor-sample-frameless</artifactId>
      <version>2.3.0</version>
</dependency>

(2)application.yml增加相關配置

xxl:
  job:
    admin:
      addresses: http://localhost:8888/xxl-job-admin
    executor:
      ip:
      port: 9999
      logpath: /data/applogs/xxl-job/jobhandler
      appname: demo-job
    accessToken:

(3)增加configpackage com.example.demo.xxljob;

package com.example.demo.xxljob;

import com.xxl.job.core.executor.impl.XxlJobSpringExecutor;
import org.springframework.beans.factory.annotation.Value;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

@Configuration
public class XxlJobConfig {

    @Value("${xxl.job.admin.addresses}")
    private String adminAddresses;

    @Value("${xxl.job.executor.appname}")
    private String appName;

    @Value("${xxl.job.executor.ip}")
    private String ip;

    @Value("${xxl.job.executor.port}")
    private int port;

    @Value("${xxl.job.accessToken}")
    private String accessToken;

    @Value("${xxl.job.executor.logpath}")
    private String logPath;

    private int logRetentionDays=-1;

//    @Bean(initMethod = "start", destroyMethod = "destroy")
    @Bean
    public XxlJobSpringExecutor xxlJobExecutor() {
        System.out.println(">>>>>>>>>>> xxl-job config init.");
        XxlJobSpringExecutor xxlJobSpringExecutor = new XxlJobSpringExecutor();
        xxlJobSpringExecutor.setAdminAddresses(adminAddresses);
        xxlJobSpringExecutor.setAppname(appName);
        xxlJobSpringExecutor.setIp(ip);
        xxlJobSpringExecutor.setPort(port);
        xxlJobSpringExecutor.setAccessToken(accessToken);
        xxlJobSpringExecutor.setLogPath(logPath);
        xxlJobSpringExecutor.setLogRetentionDays(logRetentionDays);

        return xxlJobSpringExecutor;
    }
}

  

(4)增加執行器

package com.example.demo.xxljob;

import com.xxl.job.core.biz.model.ReturnT;
import com.xxl.job.core.handler.annotation.XxlJob;
import com.xxl.job.core.log.XxlJobLogger;
import com.xxl.job.executor.sample.frameless.jobhandler.SampleXxlJob;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;
import org.springframework.stereotype.Component;


/**
 * XxlJob開發示例
 */
@Component
public class SampleXxlJobPools {
    private static Logger logger = LoggerFactory.getLogger(SampleXxlJob.class);

    @XxlJob(value = "testJobHandler", init = "init", destroy = "destroy")
    public ReturnT<String> demoJobHandler(String param) throws Exception {
        XxlJobLogger.log("執行定時任務");
        return ReturnT.SUCCESS;
    }

    public void init() {
        logger.info("testJobHandler init");
    }

    public void destroy() {
        logger.info("testJobHandler destory");
    }
}

  啟動項目

 查看任務調度中心-執行器管理-OnLine 機器地址,已在線說明運行成功 

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM