(xxl_job | quartz):XXL_JOB 對比 Quartz 一決高下!


概述:

  XXL-JOB是一個輕量級分布式任務調度平台,其核心設計目標是開發迅速、學習簡單、輕量級、易擴展。

現已開放源代碼並接入多家公司線上產品線,開箱即用。

官方地址中文版:http://www.xuxueli.com/xxl-job 目前已有多家公司接入xxl-job,包括比較知名的大眾點評,京東,優信二手車,北京尚德,360金融 (360),聯想集團 (聯想),

易信 (網易)等等.... Quartz作為開源作業調度中的佼佼者,是作業調度的首選。

集群環境中Quartz采用API的方式對任務進行管理,Quartz存在以下問題:

Quartz的不足:

問題一:調用API的的方式操作任務,不人性化;

問題二:需要持久化業務QuartzJobBean到底層數據表中,系統侵入性相當嚴重。

問題三:調度邏輯和QuartzJobBean耦合在同一個項目中,這將導致一個問題,在調度任務數量逐漸增多,

    同時調度任務邏輯逐漸加重的情況加,此時調度系統的性能將大大受限於業務;

問題四:quartz底層以“搶占式”獲取DB鎖並由搶占成功節點負責運行任務,會導致節點負載懸殊非常大;

    而XXL-JOB通過執行器實現“協同分配式”運行任務,充分發揮集群優勢,負載各節點均衡。

XXL-JOB彌補了quartz的上述不足之處。

XXL-JOB特性:

  • 簡單:支持通過Web頁面對任務進行CRUD操作,操作簡單,一分鍾上手
  • 動態:支持動態修改任務狀態、啟動/停止任務,以及終止運行中任務,即時生效
  • 調度中心HA(中心式):調度采用中心式設計,“調度中心”基於集群Quartz實現並支持集群部署,可保證調度中心HA
  • 執行器HA(分布式):任務分布式執行,任務"執行器"支持集群部署,可保證任務執行HA
  • 注冊中心: 執行器會周期性自動注冊任務, 調度中心將會自動發現注冊的任務並觸發執行。同時,也支持手動錄入執行器地址
  • 彈性擴容縮容:一旦有新執行器機器上線或者下線,下次調度時將會重新分配任務
  • 路由策略:執行器集群部署時提供豐富的路由策略,包括:第一個、最后一個、輪詢、隨機、一致性HASH、最不經常使用、最近最久未使用、故障轉移、忙碌轉移等
  • 故障轉移:任務路由策略選擇"故障轉移"情況下,如果執行器集群中某一台機器故障,將會自動Failover切換到一台正常的執行器發送調度請求。
  • 阻塞處理策略:調度過於密集執行器來不及處理時的處理策略,策略包括:單機串行(默認)、丟棄后續調度、覆蓋之前調度
  • 任務超時控制:支持自定義任務超時時間,任務運行超時將會主動中斷任務
  • 任務失敗重試:支持自定義任務失敗重試次數,當任務失敗時將會按照預設的失敗重試次數主動進行重試;其中分片任務支持分片粒度的失敗重試
  • 任務失敗告警;默認提供郵件方式失敗告警,同時預留擴展接口,可方便的擴展短信、釘釘等告警方式
  • 分片廣播任務:執行器集群部署時,任務路由策略選擇"分片廣播"情況下,一次任務調度將會廣播觸發集群中所有執行器執行一次任務,可根據分片參數開發分片任務
  • 動態分片:分片廣播任務以執行器為維度進行分片,支持動態擴容執行器集群從而動態增加分片數量,協同進行業務處理;
  •                   在進行大數據量業務操作時可顯著提升任務處理能力   和速度
  • 事件觸發:除了"Cron方式"和"任務依賴方式"觸發任務執行之外,支持基於事件的觸發任務方式。調度中心提供觸發任務單次執行的API服務,可根據業務事件靈活觸發
  • 任務進度監控:支持實時監控任務進度
  • Rolling實時日志:支持在線查看調度結果,並且支持以Rolling方式實時查看執行器輸出的完整的執行日志
  • GLUE:提供Web IDE,支持在線開發任務邏輯代碼,動態發布,實時編譯生效,省略部署上線的過程。支持30個版本的歷史版本回溯
  • 腳本任務:支持以GLUE模式開發和運行腳本任務,包括Shell、Python、NodeJS、PHP、PowerShell等類型腳本
  • 命令行任務:原生提供通用命令行任務Handler(Bean任務,"CommandJobHandler");業務方只需要提供命令行即可
  • 任務依賴:支持配置子任務依賴,當父任務執行結束且執行成功后將會主動觸發一次子任務的執行, 多個子任務用逗號分隔
  • 一致性:“調度中心”通過DB鎖保證集群分布式調度的一致性, 一次任務調度只會觸發一次執行
  • 自定義任務參數:支持在線配置調度任務入參,即時生效
  • 調度線程池:調度系統多線程觸發調度運行,確保調度精確執行,不被堵塞
  • 數據加密:調度中心和執行器之間的通訊進行數據加密,提升調度信息安全性
  • 郵件報警:任務失敗時支持郵件報警,支持配置多郵件地址群發報警郵件
  • 推送maven中央倉庫: 將會把最新穩定版推送到maven中央倉庫, 方便用戶接入和使用
  • 運行報表:支持實時查看運行數據,如任務數量、調度次數、執行器數量等;以及調度報表,如調度日期分布圖,調度成功分布圖等
  • 全異步:任務調度流程全異步化設計實現,如異步調度、異步運行、異步回調等,有效對密集調度進行流量削峰,理論上支持任意時長任務的運行
  • 跨平台:原生提供通用HTTP任務Handler(Bean任務,"HttpJobHandler"),業務方只需要提供HTTP鏈接即可,不限制語言、平台
  • 國際化:調度中心支持國際化設置,提供中文、英文兩種可選語言,默認為中文
  • 容器化:提供官方docker鏡像,並實時更新推送dockerhub,進一步實現產品開箱即用
  • 線程池隔離:調度線程池進行隔離拆分,慢任務自動降級進入"Slow"線程池,避免耗盡調度線程,提高系統穩定性

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM