django + celery實現定時任務

由於django-celery支持的celery版本最高到4.0，更高的版本的celery已實現了django-celery的功能，不再需要再安裝django-celery了

broker使用的是redis，畢竟系統已經使用了redis做緩存了，不想再去安裝個mq

下面來說說celery5.1.2搭配django3.0 + redis3.5.3的配置：

# 先在django項目的setting文件里面設置本地時區（如果不設置，它會使用國際時區）
CELERY_TIMEZONE = 'Asia/Shanghai'
CELERY_ENABLE_UTC = False

# 在django項目setting文件的同級目錄下建一個celery.py文件
from __future__ import absolute_import, unicode_literals    # 保證 celery.py不和library沖突
import logging
import os
from celery import Celery
from celery.schedules import crontab

logger = logging.getLogger()

# 指定Django默認配置文件模塊
os.environ.setdefault('DJANGO_SETTINGS_MODULE', 'take_out.settings')
# 為項目創建一個Celery實例。這里不指定broker容易出現錯誤。
app = Celery('take_out', broker='redis://127.0.0.1:6379/4', backend='redis://127.0.0.1:6379/5')
# 這里指定從django的settings.py里讀取celery配置
app.config_from_object('django.conf:settings', namespace='CELERY')

# 自動從所有已注冊的django app中加載任務
app.autodiscover_tasks()


app.conf.update(
    CELERYBEAT_SCHEDULE={
        'del_goods': {
            'task': 'commerce_app.tasks.del_goods',
            'schedule': crontab(minute=0, hour=4),    # 每天凌晨4點鍾執行一次刪除商品
            'args': (),
        },
        'send_message': {
            'task': 'wechat_app.tasks.send_batch_msg',
            'schedule': crontab(minute=5, hour=11),    # 每天中午11點05分執行一次群發消息
            'args': (),
        }
    }
)

在需要定時任務的app下新建一個tasks.py文件，同時寫好定時任務

commerce_app的下tasks.py文件下的定時任務

import logging
from celery import shared_task
import datetime
from commerce_app.models import RecommendGoods

logger = logging.getLogger()


@shared_task
def del_goods():
    """
    定時刪除超過30天的商品
    """
    # 30天前的今天
    dle_day = datetime.datetime.now() + datetime.timedelta(days=-30)
    RecommendGoods.objects.filter(state_num=1, create_time__lt=dle_day).update(state_num=3)

wechat_app下的定時任務

import logging
from celery import shared_task
from wechatpy import WeChatClient
logger = logging.getLogger()


@shared_task
def send_batch_msg():
    """
    定時-給微信公眾號的關注人員群發消息
    """
    client = WeChatClient('WX_APP_ID', 'WX_APP_SECRET')
    content = '歡迎關注"算聯多優惠神器"公眾號'
    client.message.send_mass_text(None, content, is_to_all=True)

windows下執行：

# 需要安裝gevent依賴包：
pip install gevent

# 運行django項目
# 同時在django項目的manage.py文件的同級目錄下運行兩個cmd窗口分別執行以下兩個命令：
Celery -A take_out worker -l info -P gevent
Celery -A take_out beat -l info

centos 下執行：

# 先安裝進程守護 supervisor 
yum install supervisor
# 設置開機啟動
systemctl enable supervisord.service
# 此時會生成 supervisor 配置文件：/etc/supervisord.conf 和 supervisor配置文件目錄 /etc/supervisord.d，后面寫的配置文件就放在supervisord.d文件夾下
# 這樣啟動 supervisor 后會 啟動 /etc/supervisord.d 文件夾下以 .ini 為后綴的文件中的進程命令
# 先認識一下supervisor的命令
# 啟動，會啟動所有/etc/supervisord.d文件夾下面的進程命令
systemctl start supervisord.service
# 停止
systemctl stop supervisord.service
# 重啟
systemctl restart supervisord.service
# 更新新的配置
supervisorctl update 

# 在/etc/supervisord.d 文件夾下寫一下celery心跳配置文件：celery_beat.ini
[program:CeleryBeat]
directory=/data/wwwroot/take_out    ; 命令執行的目錄
command=/data/env/take_out/bin/celery -A take_out beat --loglevel=info    ; 執行的命令（需要加上項目虛擬環境的bin目錄位置，不然找不到）
autostart=true        ; 是否自啟動
autorestart=true    ; 是否自動重啟
startsecs=3            ; 自動重啟時間間隔（s）
stderr_logfile=/data/celery_log/celeryBeatErr.log        ; 錯誤日志文件
stdout_logfile=/data/celery_log/celeryBeatOut.log        ; 輸出日志文件 
# 在/etc/supervisord.d 文件夾下寫一下work配置文件：celery_work.ini
[program:CeleryWork]
directory=/data/wwwroot/take_out    ; 命令執行的目錄
command=/data/env/take_out/bin/celery -A take_out worker --loglevel=info    ; 執行的命令（需要加上虛擬環境的bin目錄位置，不然找不到）
autostart=true        ; 是否自啟動
autorestart=true    ; 是否自動重啟
startsecs=3            ; 自動重啟時間間隔（s）
stderr_logfile=/data/celery_log/celeryWorkErr.log        ; 錯誤日志文件
stdout_logfile=/data/celery_log/celeryWorkOut.log        ; 輸出日志文件

弄好后重啟django項目，然后啟動supervisor即可

systemctl start supervisord.service

 

 

 

 

微信掃碼關注公眾號，有意想不到的驚喜哦！！！