python使用celery實現異步任務執行

使用celery在django項目中實現異步發送短信

在項目的目錄下創建celery_tasks用於保存celery異步任務。

在celery_tasks目錄下創建config.py文件，用於保存celery的配置信息

  ```broker_url = "redis://127.0.0.1/14"```

在celery_tasks目錄下創建main.py文件，用於作為celery的啟動文件

from celery import Celery
 # 為celery使用django配置文件進行設置

import os
if not os.getenv('DJANGO_SETTINGS_MODULE'):
    os.environ['DJANGO_SETTINGS_MODULE'] = 'model.settings.dev'

 # 創建celery應用

app = Celery('model')

 #導入celery配置

app.config_from_object('celery_tasks.config')
 #自動注冊celery任務
app.autodiscover_tasks(['celery_tasks.sms'])

在celery_tasks目錄下創建sms目錄，用於放置發送短信的異步任務相關代碼。
將提供的發送短信的雲通訊SDK放到celery_tasks/sms/目錄下。
在celery_tasks/sms/目錄下創建tasks.py(這個名字是固定的，非常重要，系統將會自動從這個文件中找任務隊列)文件，用於保存發送短信的異步任務

 import logging

    from celery_tasks.main import app
    from .yuntongxun.sms import CCP

    logger = logging.getLogger("django")

     #驗證碼短信模板
    SMS_CODE_TEMP_ID = 1

    @app.task(name='send_sms_code')
        def send_sms_code(mobile, code, expires):

    發送短信驗證碼
    :param mobile: 手機號
    :param code: 驗證碼
    :param expires: 有效期
    :return: None


    try:
        ccp = CCP()
        result = ccp.send_template_sms(mobile, [code, expires], SMS_CODE_TEMP_ID)
    except Exception as e:
        logger.error("發送驗證碼短信[異常][ mobile: %s, message: %s ]" % (mobile, e))
    else:
        if result == 0:
            logger.info("發送驗證碼短信[正常][ mobile: %s ]" % mobile)
        else:
            logger.warning("發送驗證碼短信[失敗][ mobile: %s ]" % mobile)

在verifications/views.py中改寫SMSCodeView視圖，使用celery異步任務發送短信

from celery_tasks.sms import tasks as sms_tasks

class SMSCodeView(GenericAPIView):
    ...
        # 發送短信驗證碼 這是將時間轉化為分鍾，constants.SMS_CODE_REDIS_EXPIRES 是常量
        sms_code_expires = str(constants.SMS_CODE_REDIS_EXPIRES // 60)

        sms_tasks.send_sms_code.delay(mobile, sms_code, sms_code_expires)

        return Response({"message": "OK"})

 在django中使用celery的定時調度任務，執行講redis的緩存內容定時同步到mysql數據庫

　　1、首先，在config文件中配置調度

from celery.schedules import crontab
from .main import app

# 任務隊列的鏈接地址
broker_url = 'redis://test.zhuzhaoxia.com:6379/15'

# 結果隊列的鏈接地址
result_backend = 'redis://test.zhuzhaoxia.com:6379/14'

# 定時任務的調度列表，用於注冊定時任務
app.conf.beat_schedule = {
    'write_article_to_mysql': {
        # 本次定時調度的任務
        'task': 'write_article', # 這里的任務名稱必須先到main.py中注冊
        # 定時任務的調度周期
        # 'schedule': 60,   # 每120秒執行
        'schedule': crontab(hour=3),   # 每天凌晨3點
          # 'args': (16, 16),  # 注意：任務就是一個函數，所以如果有參數則需要傳遞
    },
}

　　2、在main.py中引入tasks文件

# app.autodiscover_tasks(["任務1","任務2"])
app.autodiscover_tasks(["mycelery.sms","mycelery.mail", "mycelery.article"])

　　3、在tasks.py文件中寫入任務：

from mycelery.main import app
from artical.models import Article
from django_redis import get_redis_connection
from datetime import datetime


@app.task(name="write_article")
def write_article():
    """把redis的緩存文章定時寫入到mysql中"""
    redis_conn = get_redis_connection("article")
    history_list = redis_conn.keys("article_history_*")
    for user_history_list_bytes in history_list:
        user_history_list = user_history_list_bytes.decode()
        user_id = int( user_history_list.split("_")[-1] )
        artical_list = redis_conn.hgetall(user_history_list)   # 獲取到用戶的歷史記錄的最新文章和save_id
        for artical_id_bytes, save_id_bytes in artical_list.items():
            artical_id = artical_id_bytes.decode()
            save_id = save_id_bytes.decode()
            article_dict = redis_conn.hgetall("article_%s_%s_%s" % (user_id, artical_id, save_id)) # 獲取到最新的文章保存信息
            try:
                article = Article.objects.get(pk=artical_id)
                article.title = article_dict["title".encode()].decode()
                article.content = article_dict["content".encode()].decode()
                article.save_id = save_id
                timestamp = datetime.fromtimestamp(int(float(article_dict["update_time".encode()].decode())))
                article.updated_time = timestamp
                article.save()

            except Article.DoesNotExist:
                pass

　　4、啟動beat調度節點

celery beta -A mycelery.main  --loglevel=info

　　5、重啟異步調度節點

celery -A mycelery.main worker  --loglevel=info