Celery---一個懂得異步任務,延時任務,周期任務的芹菜

Celery是什么?

celey是芹菜

celery是基於Python實現的模塊,用於執行異步延時周期任務的

其結構組成是由

　　1.用戶任務 app

　　2.管道任務broker用於存儲任務 官方推薦redis rabbitMQ /backend 用於存儲任務執行結果的

　　3.員工 worker

Celery的簡單示例

from celery import Celery
import time

#創建一個Celery實例,這就是我們用戶的應用app
my_task = Celery("tasks", broker="redis://127.0.0.1:6379", backend="redis://127.0.0.1:6379")

# 為應用創建任務,func1
@my_task.task
def func1(x, y):
    time.sleep(15)
    return x + y

from s1 import func1

# 將任務交給Celery的Worker執行
res = func1.delay(2,4)

#返回任務ID
print(res.id)

s2.py

from celery.result import AsyncResult
from s1 import my_task

# 異步獲取任務返回值
async_task = AsyncResult(id="31ec65e8-3995-4ee1-b3a8-1528400afd5a",app=my_task)

# 判斷異步任務是否執行成功
if async_task.successful():
    #獲取異步任務的返回值
    result = async_task.get()
    print(result)
else:
    print("任務還未執行完成")

Celery的啟動

根據操作系統的不同,啟動方式也存在差異:
Linux - celery worker -A s1 -l INFO 
Windows:這里需要注意的是celery 4.0 已經不再對Windows操作系統提供支持了,也就是在windows環境下出現問題除非自己解決,否賊官方是不會給你解決的
Windows - celery worker -A s1 -l INFO -P eventlet
ps: eventlet 是一個python的三方庫 需要使用 pip安裝 pip install eventlet

項目目錄

在實際項目中我們應用Celery是有規則的

要滿足這樣的條件才可以哦,目錄Celery_task這個名字可以隨意起,但是一定要注意在這個目錄下一定要有一個celery.py這個文件

from celery import Celery

celery_task = Celery("task",
                     broker="redis://127.0.0.1:6379",
                     backend="redis://127.0.0.1:6379",
                     include=["Celery_task.task_one","Celery_task.task_two"])
# include 這個參數適用於尋找目錄中所有的task

from .celery import celery_task
import time

@celery_task.task
def one(x,y):
    time.sleep(5)
    return f"task_one {x+y}"

from .celery import celery_task
import time

@celery_task.task
def two(x,y):
    time.sleep(5)
    return f"task_two {x+y}"

這樣Celery項目目錄結構就已經做好了然后再 my_celery中調用

from Celery_task.task_one import one
from Celery_task.task_two import two
 
one.delay(10,10)
two.delay(20,20)

PS:啟動Worker的時候無需再使用文件啟動,直接啟動你的Celery_task目錄就行了
celery worker -A Celery_task -l INFO -P eventlet
這樣celery就可以自動的去檢索當前目錄下所有的task了,通過Include這個參數逐一去尋找

Celery延時任務

from Celery_task.task_one import one
from Celery_task.task_two import two

# one.delay(10,10)
# two.delay(20,20)

# 定時任務我們不在使用delay這個方法了,delay是立即交給task 去執行
# 現在我們使用apply_async定時執行

#首先我們要先給task一個執行任務的時間
import datetime,time
# 獲取當前時間 此時間為東八區時間
ctime = time.time()
# 將當前的東八區時間改為 UTC時間 注意這里一定是UTC時間,沒有其他說法
utc_time = datetime.datetime.utcfromtimestamp(ctime)
# 為當前時間增加 10 秒
add_time = datetime.timedelta(seconds=10)
action_time = utc_time + add_time

# action_time 就是當前時間未來10秒之后的時間
#現在我們使用apply_async定時執行
res = one.apply_async(args=(10,10),eta=action_time)
print(res.id)
#這樣原本延遲5秒執行的One函數現在就要在10秒鍾以后執行了

定時任務只能被執行一次,那如果我想每隔10秒都去執行一次這個任務怎么辦呢? 周期任務來了

Celery周期任務

from celery import Celery
from celery.schedules import crontab

celery_task = Celery("task",
                     broker="redis://127.0.0.1:6379",
                     backend="redis://127.0.0.1:6379",
                     include=["Celery_task.task_one","Celery_task.task_two"])

#我要要對beat任務生產做一個配置,這個配置的意思就是每10秒執行一次Celery_task.task_one任務參數是(10,10)
celery_task.conf.beat_schedule={
    "each10s_task":{
        "task":"Celery_task.task_one.one",
        "schedule":10, # 每10秒鍾執行一次
        "args":(10,10)
    },
    "each1m_task": {
        "task": "Celery_task.task_one.one",
        "schedule": crontab(minute=1), # 每一分鍾執行一次
        "args": (10, 10)
    },
    "each24hours_task": {
        "task": "Celery_task.task_one.one",
        "schedule": crontab(hour=24), # 每24小時執行一次
        "args": (10, 10)
    }

}

#以上配置完成之后,還有一點非常重要
# 不能直接創建Worker了,因為我們要執行周期任務,所以首先要先有一個任務的生產方
# celery beat -A Celery_task
# celery worker -A Celery_task -l INFO -P eventlet

創建Worker的方式並沒有發行變化,但是這里要注意的是,每間隔一定時間后需要生產出來任務給Worker去執行,這里需要一個生產者beat

celery beat -A Celery_task  #創建生產者 beat 你的 schedule 寫在哪里,就要從哪里啟動

 celery worker -A Celery_task -l INFO -P eventlet

 創建worker之后,每10秒就會由beat創建一個任務給Worker去執行

到此為止 Celery的應用就已經完事兒了,Bye