celery是一個基於分布式消息傳輸的異步任務隊列,它專注於實時處理,同時也支持任務調度。它的執行單元為任務(task),利用多線程,如Eventlet,gevent等,它們能被並發地執行在單個或多個職程服務器(worker servers)上。任務能異步執行(后台運行)或同步執行(等待任務成)。
Celery的三個主要模塊
'''
worker:用於執行隊列中的工作任務
beat:用於定時分配工作任務
task:工作任務,可以是在代碼里的調用、也可以是被beat分配定時任務
'''
Celery的使用條件
'''
1、安裝消息中間件的支持,一般是redis。
pip install redis
2、安裝Celery的支持
pip install celery
3、安裝本地redis服務端並啟動
'''
做一個Celery定時任務
'''
導入相關依賴包
'''
import celery # celery 定時任務包
import time # 時間記錄
from datetime import timedelta # 時間處理
'''
創建一個worker用來執行定時任務
'''
# 創建worker、連接到redis消息中間件
worker = celery.Celery("work_test", backend="redis://localhost:6379/", broker="redis://localhost:6379/")
# 創建任務配置類TaskConfig
class TaskConfig:
beat_suhedule = {
'update_info': {
'task': 'test013.test3.test_task', # 任務所在的模塊.函數
"schedule": timedelta(seconds=5), # 定時任務間隔時間
}
}
# worker配置生效
worker.config_from_object(TaskConfig)
@worker.task
def test_task():
'''
任務
:return:
'''
return "當前任務執行狀態:success,{}".format(time.time())
'''
啟動 beat 分配定時任務
celery -A test3.worker beat
'''
# C:\work-code\base-python3\test013>celery -A test3.worker beat
'''
啟動 beat 分配定時任務
celery -A test3.worker worker
'''
# C:\work-code\base-python3\test013>celery -A test3.worker worker
【往期精彩】
● python遠程服務操作工具:fabric,遠程命令、本地命令、服務器操作利器!
● python超贊插件you-get,執行一行命令即可下載、命令行下載工具推薦!
● 辦公自動化:Python-win32com自動將word文檔轉換成pdf格式!
● pandas數據統計插件的連接函數concat()妙用,靈活處理數據對象!
● Git LFS 3.0.0 發布,對大文件進行版本控制的 Git 擴展
● python有序序列的字典序列推導式運用技巧!
● Django 4.0 alpha 1 發布
● python經典有序序列的list列表推導式實踐運用
● python常用轉義字符串總結:各種字符轉義的不同、如何取消轉義字符效果?
● 如何使用python完成對WebService服務的調用?suds-py3插件安利一下!
● 介紹一款優秀的IDE Grid Studio,Excel深度集成python,直接編寫並執行python代碼塊!
● python內置函數通過字符串的方式來執行函數代碼塊,類似java的反射機制相當強大!
● 磨刀不誤砍柴工,PyCharm開發工具的常規配置,充分提高開發效率!
● python程序的處理進度、可視化管理,對運行步驟一目了然!