Django：使用celery處理異步任務

1、創建Django項目和APP

略過

2、在my_app目錄下新建tasks.py模塊

3、安裝 celery

pip install celery==3.1.18

 celery4不再支持windows,所以在Windows環境下使用請選擇celery==3.1.18

4、broker選擇

　　Celery需要一種解決消息的發送和接受的方式，我們把這種用來存儲消息的的中間裝置叫做message broker, 也可叫做消息中間人。 作為中間人，我們有幾種方案可選擇：

• RabbitMQ

RabbitMQ是一個功能完備，穩定的並且易於安裝的broker. 它是生產環境中最優的選擇。使用RabbitMQ的細節參照以下鏈接： http://docs.celeryproject.org/en/latest/getting-started/brokers/rabbitmq.html#broker-rabbitmq

如果我們使用的是Ubuntu或者Debian發行版的Linux，可以直接通過下面的命令安裝RabbitMQ: sudo apt-get install rabbitmq-server 安裝完畢之后，RabbitMQ-server服務器就已經在后台運行。如果您用的並不是Ubuntu或Debian, 可以在以下網址： http://www.rabbitmq.com/download.html 去查找自己所需要的版本軟件。

 

• Redis

Redis也是一款功能完備的broker可選項，但是其更可能因意外中斷或者電源故障導致數據丟失的情況。 關於使用哪個Redis作為Broker，可訪下面網址： http://docs.celeryproject.org/en/latest/getting-started/brokers/redis.html#broker-redis

本次使用Redis作為broker

pip install redis==2.10.6

redis使用2.10.6版本，之前用最新的3.5.3會出錯

5. 創建應用

使用celery第一件要做的最為重要的事情是需要先創建一個Celery實例，我們一般叫做celery應用，或者更簡單直接叫做一個app。app應用是我們使用celery所有功能的入口，比如創建任務，管理任務等，在使用celery的時候，app必須能夠被其他的模塊導入。

在上面創建的tasks.py模塊中寫入如下：

import random
from time import sleep
from celery import Celery


# 我們這里案例使用redis作為broker，和數據存儲
broker = 'redis://127.0.0.1:6379/2'
backend = 'redis://127.0.0.1:6379/3'
app = Celery('demo', broker=broker, backend=backend)


# 創建任務函數，使用@app.task注解將my_task函數變為異步
@app.task
def my_task(a, b):
    print("開始執行任務了，代號：{}，結果為：{}".format(random.randint(1, 100), a+b))
    sleep(15)
    print("異步任務執行完成")
    return a+b

Celery第一個參數demo是給其設定一個名字， 第二參數我們設定一個中間人broker, 在這里我們使用Redis作為中間人。my_task函數是我們編寫的一個任務函數， 通過加上裝飾器app.task, 將其注冊到broker的隊列中。

6、啟動celery worker

在項目根目錄下運行：

celery -A my_app.tasks worker --loglevel=info

啟動好了之后最下方顯示如下，太長沒有截全

 

 后續測試發現任務已經執行，但是狀態一直是PENDING,且Redis中也沒有寫入return的結果。----這種現象好像是windows才會有Linux正常

解決辦法：參數后加上 --pool=solo

celery -A my_app.tasks worker --loglevel=info --pool=solo

相關問題：

https://www.v2ex.com/t/177589

https://stackoverflow.com/questions/25495613/celery-getting-started-not-able-to-retrieve-results-always-pending?rq=1

 7、將任務函數加入到隊列中

任務加入到broker隊列中，以便剛才我們創建的celery worker服務器能夠從隊列中取出任務並執行。

如何將任務函數加入到隊列中，可使用delay()。

可以看到已經可以獲取任務的結果了。

 

 

 

8、查看控制台任務是否執行，Redis是否寫入返回值

 

 

 

  可以看到celery worker服務器從隊列中取出任務並執行，且Redis中也已存儲task的返回值

 9、安裝flower可視化監控celery任務及broker

pip install flower

 

 啟動flower，指定broker

celery flower --broker=redis://localhost:6379/2

啟動好了如下：

 

 訪問：

 

 查看task：

 

 

 

 

參考：https://blog.csdn.net/mbl114/article/details/78046694