Windows 環境下基於 Redis 的 Celery 任務調度模塊的實現

搭建環境：

Windows-x64 10

Celery 3.1.23

Celery-with-redis 3.0

Redis-win32-win64 2.4.5

 

實現步驟：

1.安裝 Redis

由於 Redis 並沒有官方支持 Windows，因此需要在 https://github.com/MSOpenTech/redis 中下載 Redis 包。

隨后，只需將對應的壓縮包解壓縮至相應的目錄即可。

2.安裝 Celery 相關庫

#  pip intall celery

#  pip install celery-with-redis

3.編寫基於 Celery 的異步程序

假設編寫異步郵件發送程序，其中異步發送郵件的函數名為 Send_Mail，定義於 mail.py 文件中。

注意：初始化 Celery 對象時要指定任務名稱、Celery 后端（backend）執行的消息及結果的實現方式、Celery中間人（broker）的實現方式。

例如：初始化 Celery 對象任務名為 mail，后端通過 Redis 保存信息，消息隊列也由 Redis 提供服務，如下所示。

celery = Celery('mail', backend='redis://localhost', broker='redis://localhost:6379/0')

4.啟動 Redis

以 管理員權限運行 cmd 環境，進入 Redis 目錄，運行如下命令啟動 Redis。

# redis-server.exe redis.conf

5.啟動 Celery 處理任務

以管理員權限運行 cmd 環境，激活 virtualenv。

假設 mail.py 封裝於名位 mail 的包內，且 mail 包處於 src 目錄下，則進入 mail 包的前級目錄下（即src），運行如下命令。

注意：單進程命令如下。

# celery -A mail.mail worker -l info -P solo

注意：多進程並發命令如下。Celery 默認設置 Worker 以 Pool 模式啟動，默認大小為 CPU 核心數量，缺省序列化機制是 pickle，但可以指定為 json。

# celery -A mail.mail worker -l info

6.運行基於 Celery 的異步程序

運行調用異步發送郵件函數的程序，便可以實現異步發送郵件的功能。

隨后，便可在 Celery 的 Worker 界面中看到類似的任務處理消息。