分布式情況下定時任務會出現哪些問題?
分布式集群的情況下,怎么保證定時任務不被重復執行
分布式定時任務解決方案
①使用zookeeper實現分布式鎖 缺點(需要創建臨時節點、和事件通知不易於擴展)
②使用配置文件做一個開關 缺點發布后,需要重啟
③數據庫唯一約束,缺點效率低
④使用分布式任務調度平台XXLJOB、Elastric-Job、TBSchedule
XXLJOB介紹
1、簡單:支持通過Web頁面對任務進行CRUD操作,操作簡單,一分鍾上手;
2、動態:支持動態修改任務狀態、暫停/恢復任務,以及終止運行中任務,即時生效;
3、調度中心HA(中心式):調度采用中心式設計,“調度中心”基於集群Quartz實現,可保證調度中心HA;
4、執行器HA(分布式):任務分布式執行,任務"執行器"支持集群部署,可保證任務執行HA;
5、任務Failover:執行器集群部署時,任務路由策略選擇"故障轉移"情況下調度失敗時將會平滑切換執行器進行Failover;
6、一致性:“調度中心”通過DB鎖保證集群分布式調度的一致性, 一次任務調度只會觸發一次執行;
7、自定義任務參數:支持在線配置調度任務入參,即時生效;
8、調度線程池:調度系統多線程觸發調度運行,確保調度精確執行,不被堵塞;
9、彈性擴容縮容:一旦有新執行器機器上線或者下線,下次調度時將會重新分配任務;
10、郵件報警:任務失敗時支持郵件報警,支持配置多郵件地址群發報警郵件;
11、狀態監控:支持實時監控任務進度;
12、Rolling執行日志:支持在線查看調度結果,並且支持以Rolling方式實時查看執行器輸出的完整的執行日志;
13、GLUE:提供Web IDE,支持在線開發任務邏輯代碼,動態發布,實時編譯生效,省略部署上線的過程。支持30個版本的歷史版本回溯。
14、數據加密:調度中心和執行器之間的通訊進行數據加密,提升調度信息安全性;
15、任務依賴:支持配置子任務依賴,當父任務執行結束且執行成功后將會主動觸發一次子任務的執行, 多個子任務用逗號分隔;
16、推送maven中央倉庫: 將會把最新穩定版推送到maven中央倉庫, 方便用戶接入和使用;
17、任務注冊: 執行器會周期性自動注冊任務, 調度中心將會自動發現注冊的任務並觸發執行。同時,也支持手動錄入執行器地址;
18、路由策略:執行器集群部署時提供豐富的路由策略,包括:第一個、最后一個、輪詢、隨機、一致性HASH、最不經常使用、最近最久未使用、故障轉移、忙碌轉移等;
19、運行報表:支持實時查看運行數據,如任務數量、調度次數、執行器數量等;以及調度報表,如調度日期分布圖,調度成功分布圖等;
20、腳本任務:支持以GLUE模式開發和運行腳本任務,包括Shell、Python等類型腳本;
21、阻塞處理策略:調度過於密集執行器來不及處理時的處理策略,策略包括:單機串行(默認)、丟棄后續調度、覆蓋之前調度;
22、失敗處理策略;調度失敗時的處理策略,策略包括:失敗告警(默認)、失敗重試;
23、分片廣播任務:執行器集群部署時,任務路由策略選擇"分片廣播"情況下,一次任務調度將會廣播觸發對應集群中所有執行器執行一次任務,同時傳遞分片參數;可根據分片參數開發分片任務;
24、動態分片:分片廣播任務以執行器為維度進行分片,支持動態擴容執行器集群從而動態增加分片數量,協同進行業務處理;在進行大數據量業務操作時可顯著提升任務處理能力和速度。
25、事件觸發:除了"Cron方式"和"任務依賴方式"觸發任務執行之外,支持基於事件的觸發任務方式。調度中心提供觸發任務單次執行的API服務,可根據業務事件靈活觸發。
XXLJOBGitHub地址
https://github.com/xuxueli/xxl-job
文檔
傳統定時任務特征: 單點系統(Job不需集群)
如果定時Job在高並發情況下宕機怎么辦?
定時任務代碼 和 業務執行的 服務器獨立的 獨立的Jvm
如果同一時間點執行多個任務,考慮高並發。同時執行的情況
解決方案: 心跳檢測自動重啟,補償機制(每個任務打一個小標記) 定時任務在執行時候突然報錯,日志紀律,跳過繼續執行。
再使用定時Jbo掃描日志記錄,進程補償信息。
定時任務 三個war包 分別放在三台服務器上。定時Job可能會重復執行三次。分布式Job冪等性。
1、使用zk實現分布式鎖
只有獲取到鎖的 才可以執行Job (效率低)
2、配置文件中加啟動定時Job的開關
三個war包代碼相同。 war1 加開關flag=true war2 加開關flag=fasle war3 加開關flag=true 為true的才可以執行
3、啟動時候使用數據庫唯一標識
啟動時候 表里插入數據 成功的才可以執行
分布式任務調度平台推薦使用
XXL_Job 和 ELastric-Job(依賴zk)
保證冪等性
1、支持Job集群(前提保證冪等性) Jbo負載均衡輪詢機制
比如:
第一次 8080
第二次 8081
第三次 8082
2、支持Job補償 Job失敗,重試,多次失敗發郵件。
3、支持Job日志記錄
4、動態配置定時規則,傳統定時Jbo觸發規則寫死,采用動態方式。
XXL-Job原理:
執行器:定時Job實際執行的服務器地址
任務管理:定時任務規則,路由策略,允許模式等
步驟:
① 部署: xxl-job-admin 作為注冊中心
② 創建執行器(具體調度地址) 可以支持集群
③ 配置文件需要填寫xxl-job注冊中心地址
④ 每個具體執行job服務器需要創建一個netty連接端口號
⑤ 需要執行job的任務類,集成IJobHandler抽象類注冊到job容器中
⑥ Execute方法中編寫具體job任務
搭建XXL-Job Admin平台:
job服務器 通過這個框架創建的
平台里面通過一系列步驟:
步驟:
1、XXL-Job admin 平台創建執行器(Job實際執行地址)
2、XXL-Job admin 平台創建任務,填寫對應的執行器
3、Jbo服務器代碼中,使用JobHandler標識該類為Job執行方法
Job服務器啟動時候, 把信息注冊到 XXL-Job admin平台
如果任何一個任務執行時候,現在xxl-job admin平台觸發一次,獲取到任務的執行器(地址),直接調用job服務器地址。實現job管理。
如果有任務需要執行的時候,先再XXL-Job admin執行一次,獲取任務中執行器