分布式任務調度系統xxl-job搭建

為解決分布式環境下定時任務的可靠性，穩定性，只執行一次的特性，我找到了個大眾點評開源的分布式調度任務解決完整系統，下面我將一步步深入解讀該系統，從基本的使用到源碼的探究

下載

1. https://github.com/xuxueli/xxl-job ，該項目目前更新仍然活躍，我使用的是1.9.1版本

搭建

1. 它的文檔介紹還是很全面的，這里為了最快的使用並看出效果，我來列出最簡潔的搭建步驟
   1. 在自己的mysql中執行doc/db/tables_xxl_job.sql該文件，該文件的作用是為quartz搭建最基礎的表結構
   2. 修改xxl-job-admin目錄下xxl-job-admin.properties文件
      

   ### xxl-job db  (use & replace & in xml)
   xxl.job.db.driverClass=com.mysql.jdbc.Driver
   xxl.job.db.url=jdbc:mysql://i.tzxylao.com:3306/xxl-job?useUnicode=true&characterEncoding=UTF-8&useSSL=false
   xxl.job.db.user=tzxylao
   xxl.job.db.password=xxx
   
   ### xxl-job email
   xxl.job.mail.host=smtp.163.com
   xxl.job.mail.port=25
   xxl.job.mail.ssl=false
   xxl.job.mail.username=[e-mail]
   xxl.job.mail.password=xxxx
   xxl.job.mail.sendNick=《任務調度平台XXL-JOB》
   

   把mysql數據庫信息和報警郵箱信息填入這里（報警郵箱可以不填，用來在定時任務出錯時發送錯誤信息到郵箱）
   3. 這樣分布式調度中心就建完了，為了測試，我直接用它提供的測試代碼，此測試代碼在此系統中的概念相當於一個執行器
   
   4. 若我們要新建一個定時任務

   /**
    * Created by lll on 2018/9/17 14:38.
    */
   @Component
   @JobHandler("testJobHandler")
   @Slf4j
   public class TestJobjHandler extends IJobHandler{
       private int i = 0;
       @Override
       public ReturnT<String> execute(String s) throws Exception {
           ReturnT<String> returnT = new ReturnT<>();
           log.info("執行TestJobjHandler "+i);
           i++;
           if (i % 5 == 0) {
               returnT.setMsg("執行失敗"+i);
               returnT.setContent("內容xxxx");
               returnT.setCode(500);
               return returnT;
           }
           return ReturnT.SUCCESS;
       }
   }
   

   只需要繼承IJobHandler，實現其方法，添加兩個注解Component和JobHandler，value=testJobHandler表示在調度中心需要配置的任務JobHandler
   5. 接下來主要配置application.properties

   ### xxl-job admin address list, such as "http://address" or "http://address01,http://address02"
   # 調度中心地址和端口
   xxl.job.admin.addresses=http://127.0.0.1:8080
   
   ### xxl-job executor address
   # appname名字調度中心會配置，寫相同即可
   xxl.job.executor.appname=test-job
   # 表示此執行器地址，也就是本項目部署地址
   xxl.job.executor.ip=172.16.100.141
   # 提供jetty連接的端口，不要沖突即可，在調度中心會配置此項
   xxl.job.executor.port=9999
   

   6. 好了，配置完畢就打包此項目mvn package -DskipTests
   7. 把注冊中心xxl-job-admin的war包運行到tomcat這里我部署端口8080
   8. 執行器為springboot項目，直接執行XxlJobExecutorApplication的main方法即可啟動，注意端口別沖突，application.properties設置8082

   # web port
   server.port=8082
   

   9. 瀏覽器localhost:8080登錄，默認用戶名密碼admin 123456
      
      可以看到界面還是很美觀的，也有很多信息披露，定時任務的數量，執行器數量，調度次數等等
   10. 在執行器管理選項中，修改默認的執行器，或者添加
       
   11. 這里機器地址需要手動錄入，就是前面配置的，注意這里本機運行最好不要填127.0.0.1，可能報些亂七八糟的錯誤，我就一直報端口bind
   12. 在任務管理選項中添加任務
       
   13. 這里有很多的路由策略，阻塞策略等，這里先不詳細介紹了~，筆者也是一知半解，等我看過源碼再來說了^_
   14. 添加完任務，定時任務就執行起來了哦
       
   15. 在返回失敗的時候，我的郵箱就會收到錯誤信息了，關鍵信息是msg字段，所有這里一定要寫錯誤關鍵點

總結

1. 此項目優勢還是很多的，如果我早點知道這個項目，就不用自己編寫個極low的定時任務調度系統了，學習里面的思想，大多的分布式調度任務就都能了解了
2. 這里列出些官方給出的此項目優勢，增加點吸引力
   • 1、簡單：支持通過Web頁面對任務進行CRUD操作，操作簡單，一分鍾上手；
   • 2、動態：支持動態修改任務狀態、暫停/恢復任務，以及終止運行中任務，即時生效；
   • 3、調度中心HA（中心式）：調度采用中心式設計，“調度中心”基於集群Quartz實現並支持集群部署，可保證調度中心HA；
   • 4、執行器HA（分布式）：任務分布式執行，任務"執行器"支持集群部署，可保證任務執行HA；
   • 5、注冊中心: 執行器會周期性自動注冊任務, 調度中心將會自動發現注冊的任務並觸發執行。同時，也支持手動錄入執行器地址；
   • 6、彈性擴容縮容：一旦有新執行器機器上線或者下線，下次調度時將會重新分配任務；
   • 7、路由策略：執行器集群部署時提供豐富的路由策略，包括：第一個、最后一個、輪詢、隨機、一致性HASH、最不經常使用、最近最久未使用、故障轉移、忙碌轉移等；
   • 8、故障轉移：任務路由策略選擇"故障轉移"情況下，如果執行器集群中某一台機器故障，將會自動Failover切換到一台正常的執行器發送調度請求。
   • 9、阻塞處理策略：調度過於密集執行器來不及處理時的處理策略，策略包括：單機串行（默認）、丟棄后續調度、覆蓋之前調度；
   • 10、任務超時控制：支持自定義任務超時時間，任務運行超時將會主動中斷任務；
   • 11、任務失敗重試：支持自定義任務失敗重試次數，當任務失敗時將會按照預設的失敗重試次數主動進行重試；
   • 12、失敗處理策略；調度失敗時的處理策略，默認提供失敗告警、失敗重試等策略；
   • 13、分片廣播任務：執行器集群部署時，任務路由策略選擇"分片廣播"情況下，一次任務調度將會廣播觸發集群中所有執行器執行一次任務，可根據分片參數開發分片任務；
   • 14、動態分片：分片廣播任務以執行器為維度進行分片，支持動態擴容執行器集群從而動態增加分片數量，協同進行業務處理；在進行大數據量業務操作時可顯著提升任務處理能力和速度。
   • 15、事件觸發：除了"Cron方式"和"任務依賴方式"觸發任務執行之外，支持基於事件的觸發任務方式。調度中心提供觸發任務單次執行的API服務，可根據業務事件靈活觸發。
   • 16、任務進度監控：支持實時監控任務進度；
   • 17、Rolling實時日志：支持在線查看調度結果，並且支持以Rolling方式實時查看執行器輸出的完整的執行日志；
   • 18、GLUE：提供Web IDE，支持在線開發任務邏輯代碼，動態發布，實時編譯生效，省略部署上線的過程。支持30個版本的歷史版本回溯。
   • 19、腳本任務：支持以GLUE模式開發和運行腳本任務，包括Shell、Python、NodeJS等類型腳本;
   • 20、任務依賴：支持配置子任務依賴，當父任務執行結束且執行成功后將會主動觸發一次子任務的執行, 多個子任務用逗號分隔；
   • 21、一致性：“調度中心”通過DB鎖保證集群分布式調度的一致性, 一次任務調度只會觸發一次執行；
   • 22、自定義任務參數：支持在線配置調度任務入參，即時生效；
   • 23、調度線程池：調度系統多線程觸發調度運行，確保調度精確執行，不被堵塞；
   • 24、數據加密：調度中心和執行器之間的通訊進行數據加密，提升調度信息安全性；
   • 25、郵件報警：任務失敗時支持郵件報警，支持配置多郵件地址群發報警郵件；
   • 26、推送maven中央倉庫: 將會把最新穩定版推送到maven中央倉庫, 方便用戶接入和使用;
   • 27、運行報表：支持實時查看運行數據，如任務數量、調度次數、執行器數量等；以及調度報表，如調度日期分布圖，調度成功分布圖等；
   • 28、全異步：系統底層實現全部異步化，針對密集調度進行流量削峰，理論上支持任意時長任務的運行；
   • 29、國際化：調度中心支持國際化設置，提供中文、英文兩種可選語言，默認為中文；