python 爬蟲每天定時啟動爬蟲任務


 # coding=utf-8
import datetime
import time
def doSth():

    # 這里是執行爬蟲的main程序 

    print '爬蟲要開始運轉了....'
    print time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time()))
def main(h, m):
    while True:
        now = datetime.datetime.now()
        print now.hour, now.minute
        if now.hour == h and now.minute in m:
            doSth()
        time.sleep(60)
main(10, m=[47, 48, 49, 50])

--------------------------------------華麗的分割線--------------------------------------------------

上面是自己通過sleep()定義的一個簡單的定時任務,在正真的生產中,如果有很多的任務時,這並不是一個好的辦法,這時候就需要用Linux下的定時任務crontab這個神器了. 

在LINUX中,周期執行的任務一般由cron這個守護進程來處理[ps -ef|grep cron]。cron讀取一個或多個配置文件,這些配置文件中包含了命令行及其調用時間。

cron的配置文件稱為“crontab”,是“cron table”的簡寫

可通過crontab -l 命令查看你當前機器的定時任務情況, 使用crontab -e進行對你要執行的定時任務進行編輯


*/2 * * * * /usr/bin/python2.7 /home/jianping/work/test.py >> /home/jianping/work/cron.log 2>&1&   

這是一個每2分鍾執行一次test.py文件的定時任務.由於這方面的資料很多,具體的crontab用法大家可以自行百度,在此不做描述


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM