定時抓取數據並存入數據庫


其實,這部分主要是實現定時抓取數據的程序,數據的抓取以及存儲程序已寫(從Tushare獲取歷史行情數據
抓取交易日(周一到周五)數據,定時為每天的15:30抓取,其中主要使用到了schedule模塊用於定時執行任務
代碼如下:

import schedule
import time
from datetime import datetime
from daily_crawler import DailyCrawler

def crawl_daily():
    """
    每日定時抓取
    """
    #初始化抓取日線數據類
    dc = DailyCrawler()
    #獲取當前時間
    now_date = datetime.now()
    #獲取今天星期幾,周日-周六 0-6
    weekday = int(now_date.strftime("%w"))
    #只有周一到周五執行
    if 0 < weekday<6:
        #當前日期
        now = now_date.strftime('%Y-%m-%d')
        #抓取當日指數
        dc.crawl_index(begin_date=now,end_date=now)
        #抓取當日k線數據
        dc.crawl(begin_date=now,end_date=now)

#定時任務的啟動入口
if __name__ == "__main__":
    #設定每天15:30執行任務
    schedule.every().day.at("15:30").do(crawl_daily)
    #通過無線循環,執行任務檢查
    while True:
        #每10s檢測一次
        schedule.run_pending()
        time.sleep(10)


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM