Django中想要設定定時任務的方法有很多,如celery、apscheduler、crontab等等,本文用crontab來實現。
想用apscheduler實現請看本人另一篇博客:使用APScheduler啟動Django服務時自動運行腳本(可設置定時運行)
Crontab簡介
crond 是linux下用來周期性的執行某種任務或等待處理某些事件的一個守護進程,與windows下的計划任務類似,當安裝完成操作系統后,默認會安裝此服務 工具,並且會自動啟動crond進程,crond進程每分鍾會定期檢查是否有要執行的任務,如果有要執行的任務,則自動執行該任務。
Linux下的任務調度分為兩類,系統任務調度和用戶任務調度。
- 系統任務調度:系統周期性所要執行的工作,比如寫緩存數據到硬盤、日志清理等。在/etc目錄下有一個crontab文件,這個就是系統任務調度的配置文件。
cat /etc/crontab SHELL=/bin/bash PATH=/sbin:/bin:/usr/sbin:/usr/bin MAILTO=HOME=/ # run-parts 51 * * * * root run-parts /etc/cron.hourly 24 7 * * * root run-parts /etc/cron.daily 22 4 * * 0 root run-parts /etc/cron.weekly 42 4 1 * * root run-parts /etc/cron.monthly """ 前四行是用來配置crond任務運行的環境變量,第一行SHELL變量指定了系統要使用哪個shell,這里是bash,第二行PATH變量指定了系統執行 命令的路徑,第三行MAILTO變量指定了crond的任務執行信息將通過電子郵件發送給root用戶,如果MAILTO變量的值為空,則表示不發送任務 執行信息給用戶,第四行的HOME變量指定了在執行命令或者腳本時使用的主目錄。第六至九行用的是crond語法,詳細含義在下文中會進行解釋 """
- 用戶任務調度:用戶定期要執行的工作,比如用戶數據備份、定時郵件提醒等。用戶可以使用 crontab 工具來定制自己的計划任務。所有用戶定義的crontab 文件都被保存在 /var/spool/cron目錄中。其文件名與用戶名一致。
""" 文件:/etc/cron.deny 說明:該文件中所列用戶不允許使用crontab命令 文件:/etc/cron.allow 說明:該文件中所列用戶允許使用crontab命令 文件:/var/spool/cron/ 說明:所有用戶crontab文件存放的目錄,以用戶名命名 """
Django-crontab的配置及使用
首先我們需要先安裝好Django-crontab的第三方庫
pip install django-crontab
然后我們需要將django-crontab加入到settings.py的INSTALLED_APPS中。如下代碼:
INSTALLED_APPS = ( 'django_crontab', ... )
接下來我們需要自行配置一個Django的命令,如果你還不會自定制Django的命令的話請看這篇編寫自定義django-admin命令
在編寫完自定制命令后,我們需要進行時間的配置,使Django知道你是想在什么時候運行這段程序。在settings.py中寫入配置(這里我們假設自定制命令名稱為xxx)
CRONJOBS = [ ('47 11 * * *', 'django.core.management.call_command', ['xxx'],{},'>> /var/run.log'), ] #上述配置意思為每天11點47分運行xxx這個命令,{}為函數需要傳入的參數,>>后面為打印日志的文件路徑。
這里需要科普一下關於crontab的語法知識
Crontab語法用五個段來定義時間,具體含義:
* * * * * command to be executed - - - - - | | | | | | | | | +----- day of week (0 - 6) (Sunday=0) | | | +------- month (1 - 12) | | +--------- day of month (1 - 31) | +----------- hour (0 - 23) +------------- min (0 - 59) #所有的值都必須在相應的范圍之內,否則視為無效。在填值區域內可以是*也可以是以”,”分隔的一組值。值可以是一個數據也可以是用連接符連起來的兩個數(表示范圍)。 #星號(*):代表所有可能的值,例如month字段如果是星號,則表示在滿足其它字段的制約條件后每月都執行該命令操作。 #逗號(,):可以用逗號隔開的值指定一個列表范圍,例如,“1,2,5,7,8,9” #中杠(-):可以用整數之間的中杠表示一個整數范圍,例如“2-6”表示“2,3,4,5,6” #正斜線(/):可以用正斜線指定時間的間隔頻率,例如“0-23/2”表示每兩小時執行一次。同時正斜線可以和星號一起使用,例如*/10,如果用在minute字段,表示每十分鍾執行一次。 注:日期的格式可以是星期,也可以是一個月中的天。假如兩個都有值,則在這兩個時間都會執行。
#實例1:每1分鍾執行一次command * * * * * command #實例2:每小時的第3和第15分鍾執行 3,15 * * * * command #實例3:在上午8點到11點的第3和第15分鍾執行 3,15 8-11 * * * command #實例4:每隔兩天的上午8點到11點的第3和第15分鍾執行 3,15 8-11 */2 * * command #實例5:每個星期一的上午8點到11點的第3和第15分鍾執行 3,15 8-11 * * 1 command #實例6:每晚的21:30重啟smb 30 21 * * * /etc/init.d/smb restart #實例7:每月1、10、22日的4 : 45重啟smb 45 4 1,10,22 * * /etc/init.d/smb restart #實例8:每周六、周日的1 : 10重啟smb 10 1 * * 6,0 /etc/init.d/smb restart #實例9:每天18 : 00至23 : 00之間每隔30分鍾重啟smb 0,30 18-23 * * * /etc/init.d/smb restart #實例10:每星期六的晚上11 : 00 pm重啟smb 0 23 * * 6 /etc/init.d/smb restart #實例11:每一小時重啟smb * */1 * * * /etc/init.d/smb restart #實例12:晚上11點到早上7點之間,每隔一小時重啟smb * 23-7/1 * * * /etc/init.d/smb restart #實例13:每月的4號與每周一到周三的11點重啟smb 0 11 4 * mon-wed /etc/init.d/smb restart #實例14:一月一號的4點重啟smb 0 4 1 jan * /etc/init.d/smb restart #實例15:每小時執行/etc/cron.hourly目錄內的腳本 01 * * * * root run-parts /etc/cron.hourly #注:run-parts這個參數了,如果去掉這個參數的話,后面就可以寫要運行的某個腳本名,而不是目錄名了
完成上述配置后,我們只需要運行一條命令,Django就知道在該特定的時間需要做什么特定的事了。(想要讓Django做定時任務,前提條件使在該時刻Django項目處於運行狀態)
python manage.py crontab add #告訴Django你配置了一個定時任務 #每次修改該任務中任何一段代碼的時候,再執行一遍這條命令 python manage.py crontab remove #移除所有的任務
通過crontab -l 可以看到生成的定時任務
使用注意事項
環境變量問題
有時我們創建了一個crontab,但是這個任務卻無法自動執行,而手動執行這個任務卻沒有問題,這種情況一般是由於在crontab文件中沒有配置環境變量引起的。
在 crontab文件中定義多個調度任務時,需要特別注意的一個問題就是環境變量的設置,因為我們手動執行某個任務時,是在當前shell環境下進行的,程 序當然能找到環境變量,而系統自動執行任務調度時,是不會加載任何環境變量的,因此,就需要在crontab文件中指定任務運行所需的所有環境變量,這 樣,系統執行任務調度時就沒有問題了。
不要假定cron知道所需要的特殊環境,它其實並不知道。所以你要保證在shelll腳本中提供所有必要的路徑和環境變量,除了一些自動設置的全局變量。所以注意如下3點:
1)腳本中涉及文件路徑時寫全局路徑;
2)腳本執行要用到java或其他環境變量時,通過source命令引入環境變量,如:
cat start_cbp.sh
#!/bin/sh
source /etc/profile
export RUN_CONF=/home/d139/conf/platform/cbp/cbp_jboss.conf
/usr/local/jboss-4.0.5/bin/run.sh -c mev &
3)當手動執行腳本OK,但是crontab死活不執行時。這時必須大膽懷疑是環境變量惹的禍,並可以嘗試在crontab中直接引入環境變量解決問題。如:
0 * * * * . /etc/profile;/bin/sh /var/www/java/audit_no_count/bin/restart_audit.sh
注意清理系統用戶的郵件日志
每條任務調度執行完畢,系統都會將任務輸出信息通過電子郵件的形式發送給當前系統用戶,這樣日積月累,日志信息會非常大,可能會影響系統的正常運行,因此,將每條任務進行重定向處理非常重要。
例如,可以在crontab文件中設置如下形式,忽略日志輸出:
0 */3 * * * /usr/local/apache2/apachectl restart >/dev/null 2>&1
“/dev/null 2>&1”表示先將標准輸出重定向到/dev/null,然后將標准錯誤重定向到標准輸出,由於標准輸出已經重定向到了/dev/null,因此標准錯誤也會重定向到/dev/null,這樣日志輸出問題就解決了。
系統級任務調度與用戶級任務調度
系統級任務調度主要完成系統的一些維護操作,用戶級任務調度主要完成用戶自定義的一些任務,可以將用戶級任務調度放到系統級任務調度來完成(不建議這么 做),但是反過來卻不行,root用戶的任務調度操作可以通過“crontab –uroot –e”來設置,也可以將調度任務直接寫入/etc /crontab文件,需要注意的是,如果要定義一個定時重啟系統的任務,就必須將任務放到/etc/crontab文件,即使在root用戶下創建一個 定時重啟系統的任務也是無效的。
其他注意事項
新創建的cron job,不會馬上執行,至少要過2分鍾才執行。如果重啟cron則馬上執行。
當crontab突然失效時,可以嘗試/etc/init.d/crond restart解決問題。或者查看日志看某個job有沒有執行/報錯tail -f /var/log/cron。
千萬別亂運行crontab -r。它從Crontab目錄(/var/spool/cron)中刪除用戶的Crontab文件。刪除了該用戶的所有crontab都沒了。
在crontab中%是有特殊含義的,表示換行的意思。如果要用的話必須進行轉義\%,如經常用的date ‘+%Y%m%d’在crontab里是不會執行的,應該換成date ‘+\%Y\%m\%d’。
