celery異步任務框架、celery的啟動


一、celery異步任務框架

官方

Celery 官網:http://www.celeryproject.org/

Celery 官方文檔英文版:http://docs.celeryproject.org/en/latest/index.html

Celery 官方文檔中文版:http://docs.jinkan.org/docs/celery/

1、可以不依賴任何服務器,通過自身命令,啟動服務(內部支持socket)
2、celery服務為為其他項目服務提供異步解決任務需求的

注:會有兩個服務同時運行,一個是項目服務,一個是celery服務,項目服務將需要異步處理的任務交給celery服務,celery就會在需要時異步完成項目的需求

 例如:人是一個獨立運行的服務 |,醫院也是一個獨立運行的服務
           正常情況下,人可以完成所有健康情況的動作,不需要醫院的參與;但當人生病時,就會被醫院接收,解決人生病問題
           人生病的處理方案交給醫院來解決,所有人不生病時,醫院獨立運行,人生病時,醫院就來解決人生病的需求

 

二、celery架構圖

Celery的架構由三部分組成,消息中間件(message broker)、任務執行單元(worker)和 任務執行結果存儲(task result store)組成。

消息中間件

Celery本身不提供消息服務,但是可以方便的和第三方提供的消息中間件集成。包括,RabbitMQ, Redis等等

任務執行單元

Worker是Celery提供的任務執行的單元,worker並發的運行在分布式的系統節點中。

任務結果存儲

Task result store用來存儲Worker執行的任務的結果,Celery支持以不同方式存儲任務的結果,包括AMQP, redis等

 

注意:Broker 相當於 掛號窗口 (也相當於 生產者)。Worker 相對於 醫生看病(也相當於 消費者) 。Backend 相當於 檢驗報告單。

          后期 Broker 要用RabbitMQ

注意:隊列比數據庫的好處是:隊列可以進行通信,消費者一旦執行起來,會一直執行。

           隊列可以做到,當隊列中沒有數據了,就告訴消費者不要執行消費了,或者告訴生產者讓它生產

 

三、使用場景

異步執行:解決耗時任務    (如:邊下載電影,邊看電影)

延遲執行:解決延遲任務    (如:定時發郵件、短信)

定時執行:解決周期(周期)任務  (如:定時鬧鍾,定時更新輪播圖,定時爬蟲天氣)

四、Celery的使用

1、    pycharm終端下安裝:

          命令:pip install celery

2、cmd終端命令檢查

 

 

 

 

3、消息中間件:RabbitMQ/Redis

    app=Celery('任務名', broker='xxx', backend='xxx')

4、啟動celery

方法一、模塊下

    01、創建app+任務

 

 

 

  02、pycharm終端下安裝:

          先 cd 到scripts文件夾下

          再命令:pip install eventlet   (非windows系統不需要)

 03、pycharm終端下:

        先 cd 到scripts文件夾下

        再命令:celery worker -A t_celery -l info -P eventlet

注意:非windows系統下   命令:celery worker -A t_celery -l info

 

方法二、包下

01、創建 app+任務   

 

 

 02、同方法一

03、pycharm終端下:

        先 cd 到scripts文件夾下

        再命令:celery worker -A 包名 -l info -P eventlet

注意:非windows系統下   命令:celery worker -A 包名 -l info

四、啟動celery(兩種celery任務結構:提倡用包管理,結構更清晰)總結

# 如果 Celery對象:Celery(...) 是放在一個模塊下的
# 1)終端切換到該模塊所在文件夾位置:scripts
# 2)執行啟動worker的命令:celery worker -A 模塊名 -l info -P eventlet
# 注:windows系統需要eventlet支持,Linux與MacOS直接執行:celery worker -A 模塊名 -l info
# 注:模塊名隨意


# 如果 Celery對象:Celery(...) 是放在一個包下的
# 1)必須在這個包下建一個celery.py的文件,將Celery(...)產生對象的語句放在該文件中
# 2)執行啟動worker的命令:celery worker -A 包名 -l info -P eventlet
# 注:windows系統需要eventlet支持,Linux與MacOS直接執行:celery worker -A 模塊名 -l info
# 注:包名隨意

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM