基於agenda的Nodejs定時任務管理框架搭建


0、背景

  在大型項目中,定時任務的應用場景越來越廣。一般來說,按照微服務的思想,我們會將定時任務單獨部署一套服務,核心的業務接口獨立到另一個服務中,從而降低相互之間的耦合程度。在需要使用定時任務時,只需要由定時任務微服務定時向核心業務服務發起異步接口調用。

  基於NodeJS來搭建這樣一套定時任務的話,我們可以使用現有比較成熟的第三方框架來快速搭建,開發人員只需要關注定時任務的實現邏輯即可。

 

1、agenda

  在github搜索nodejs schedule的話會有很多類庫,比如node-schedule,agenda,node-cron等。之所以選擇agenda的話主要由兩個原因:1、agenda接口簡單,還可使用人類可讀的cron表達式;2、agenda提供了完整的Restful API接口,以及可統計查看操作的UI界面。

  這樣的話,我們只要在代碼中提前定義好定時任務處理邏輯,然后就可以在界面在新增或者移除定時任務安排,而無需重新上線。

  下面我們就開始從頭搭建基於agenda的定時任務。

 

2、基礎環境准備

  • MongoDB:agenda需要使用MongoDB來存儲定時任務數據。建議大家使用docker進行一建安裝,操作簡單,刪除也方便。只需要docker中搜索mongo,選擇安裝默認推薦的官方版即可。
  • agenda:定時任務管理框架,文檔參考:https://github.com/agenda/agenda
  • agendash:基於agenda的UI管理界面,文檔參考:https://github.com/agenda/agendash
  • express:用於配合agendash啟動WEB服務
  • nirvana-logger:非必選,nodejs日志輸出框架,文檔參考:https://www.npmjs.com/package/nirvana-logger

 

3、樣例代碼

 1 // 框架引入
 2 var express = require('express');
 3 var app = express();
 4 
 5 var Agenda = require('agenda');
 6 var Agendash = require('agendash');
 7 var L = require('nirvana-logger')('agenda')
 8 
 9 // agenda初始化,並連接MongoDB
10 var agenda = new Agenda({db: {address: 'mongodb://localhost:32768/agenda'}});
11 
12 // 定義一個測試任務
13 agenda.define('testJob', function (job, done) {
14   try {
15     L('hello',job.attrs.data, new Date())
16     done()
17   }catch (err) {
18     done(new Error(err))
19   }
20 })
21 
22 // agenda框架啟動
23 agenda.on('ready', function () {
24   L("====>>>agenda啟動成功<<<<===")
25   agenda.start();
26 })
27 
28 // Agendash UI界面
29 app.listen(3000);
30 app.use('/dash', Agendash(agenda));

 

13行:定義一個任務,名稱為testJob,后續我們可以通過該名字安排定時任務。第二個參數是一個函數,用於處理我們的業務邏輯,需要注意的是,我們需要在任務完成之后主動調用done方法,這樣agenda才會將任務標記為完成。

17行:如果任務執行過程中出現異常(比如網絡請求異常)時,需要向done傳入一個error對象,agenda會將此任務標記為fail狀態。

23行:在agenda連接MongoDB成功后,會觸發ready的鈎子,我們才能在這里開始安排定時任務,並且讓agenda開始執行定時任務掃描。

29行:在3000端口啟動express,同時使用agendash框架啟動agenda的WEB管理界面。

 

執行node命令啟動該js文件,如果能在命令行看到“agenda啟動成功”則表示agenda連接數據庫成功並且成功啟動。

 

其實細心的同學可以,我們在上面的代碼中只是定義了任務,但是並沒有對進行對任務進行定時運行。

所以接下來我們將演示如何在WEB界面上對定時任務進進行查詢,新增以及刪除的操作。

現在我們可以打開:http://localhost:3000/dash/# 來查看web界面。

 

4、定時任務界面管理

打開agendash的默認界面是這樣

 

從界面上也可以看出,我們現在的確並未啟動任何定時任務。

 

4.1 新增定時任務

點擊【Schedule job】,在后面彈出create job界面:

 Job name:我們需要使用的任務名稱,即我們在程序中提前設置好的任務,比如剛才定義的testJob

Schedule:安排定時任務,這里我們輸入希望定時任務執行的時間點,比如5 minutes。這里時間的支持具體請參考:https://github.com/agenda/human-interval

Repeat every:循環執行定時任務,這里輸入循環間隔時間。比如5 seconds。這里需要注意的是schedule安排的任務只會執行一次,repeat任務會一直循環執行。所以這二者一般只需要按需求填一個即可。

Job data:向定時任務傳入的額外數據,我們可以在任務執行時通過job.attr.data獲取到這些參數。

點擊保存后,我們的定時任務就開始運行,可以看到控制台開始循環執行打印日志:

同時WEB界面數據將會更新,我們也能看到定時任務的運行狀態:

schedule安排一次性的定時任務也是類似的操作,大家可以自己嘗試。

值得注意的是,我們定義的任務,是可以被重復執行定時任務。

 

4.2 移除定時任務

點擊某一個定時任務,就能查看到任務的詳細信息以及相關操作。

點擊右上角的【delete selected】即可刪除該定時任務。 

 

 

5、幾個注意點

  • 定時任務的時間除了使用cron表達式以外,還只能簡單的英文表達,具體要參考https://github.com/agenda/human-interval
  • 定時任務在執行過程中會將設置為鎖定狀態,任務執行完成以后再將任務鎖定狀態解除。所以如果任務在執行過程中,程序退出的話,那么就會導致任務一直處於鎖定狀態,agenda默認10分鍾后自動解鎖任務。
  • 為避免定時任務重復執行,一般來講定時任務微服務我們只需要部署一個實例即可。核心的業務接口處於負載均衡的考慮,可以按業務量多部署幾個實例。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM