一、celery異步任務框架
官方
Celery 官網:http://www.celeryproject.org/
Celery 官方文檔英文版:http://docs.celeryproject.org/en/latest/index.html
Celery 官方文檔中文版:http://docs.jinkan.org/docs/celery/
1、可以不依賴任何服務器,通過自身命令,啟動服務(內部支持socket)
2、celery服務為為其他項目服務提供異步解決任務需求的
注:會有兩個服務同時運行,一個是項目服務,一個是celery服務,項目服務將需要異步處理的任務交給celery服務,celery就會在需要時異步完成項目的需求
例如:人是一個獨立運行的服務 |,醫院也是一個獨立運行的服務
正常情況下,人可以完成所有健康情況的動作,不需要醫院的參與;但當人生病時,就會被醫院接收,解決人生病問題
人生病的處理方案交給醫院來解決,所有人不生病時,醫院獨立運行,人生病時,醫院就來解決人生病的需求
二、celery架構圖
Celery的架構由三部分組成,消息中間件(message broker)、任務執行單元(worker)和 任務執行結果存儲(task result store)組成。
消息中間件
Celery本身不提供消息服務,但是可以方便的和第三方提供的消息中間件集成。包括,RabbitMQ, Redis等等
任務執行單元
Worker是Celery提供的任務執行的單元,worker並發的運行在分布式的系統節點中。
任務結果存儲
Task result store用來存儲Worker執行的任務的結果,Celery支持以不同方式存儲任務的結果,包括AMQP, redis等
注意:Broker 相當於 掛號窗口 (也相當於 生產者)。Worker 相對於 醫生看病(也相當於 消費者) 。Backend 相當於 檢驗報告單。
后期 Broker 要用RabbitMQ
注意:隊列比數據庫的好處是:隊列可以進行通信,消費者一旦執行起來,會一直執行。
隊列可以做到,當隊列中沒有數據了,就告訴消費者不要執行消費了,或者告訴生產者讓它生產
三、使用場景
異步執行:解決耗時任務 (如:邊下載電影,邊看電影)
延遲執行:解決延遲任務 (如:定時發郵件、短信)
定時執行:解決周期(周期)任務 (如:定時鬧鍾,定時更新輪播圖,定時爬蟲天氣)
四、Celery的使用
1、 pycharm終端下安裝:
命令:pip install celery
2、cmd終端命令檢查
3、消息中間件:RabbitMQ/Redis
app=Celery('任務名', broker='xxx', backend='xxx')
4、啟動celery
方法一、模塊下
01、創建app+任務
02、pycharm終端下安裝:
先 cd 到scripts文件夾下
再命令:pip install eventlet (非windows系統不需要)
03、pycharm終端下:
先 cd 到scripts文件夾下
再命令:celery worker -A t_celery -l info -P eventlet
注意:非windows系統下 命令:celery worker -A t_celery -l info
方法二、包下
01、創建 app+任務
02、同方法一
03、pycharm終端下:
先 cd 到scripts文件夾下
再命令:celery worker -A 包名 -l info -P eventlet
注意:非windows系統下 命令:celery worker -A 包名 -l info
四、啟動celery(兩種celery任務結構:提倡用包管理,結構更清晰)總結
# 如果 Celery對象:Celery(...) 是放在一個模塊下的
# 1)終端切換到該模塊所在文件夾位置:scripts
# 2)執行啟動worker的命令:celery worker -A 模塊名 -l info -P eventlet
# 注:windows系統需要eventlet支持,Linux與MacOS直接執行:celery worker -A 模塊名 -l info
# 注:模塊名隨意
# 如果 Celery對象:Celery(...) 是放在一個包下的
# 1)必須在這個包下建一個celery.py的文件,將Celery(...)產生對象的語句放在該文件中
# 2)執行啟動worker的命令:celery worker -A 包名 -l info -P eventlet
# 注:windows系統需要eventlet支持,Linux與MacOS直接執行:celery worker -A 模塊名 -l info
# 注:包名隨意