python爬取微博熱搜

 功能

利用python爬取新浪微博熱搜，並設置為定時任務，每天定時自動運行。

源代碼

import requests
import re
import bs4
import os
import datetime

url="https://s.weibo.com/top/summary"
headers={"User-Agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3756.400 QQBrowser/10.5.4039.400"}
try:
    r=requests.get(url,headers=headers)
except:
    print("出現了不可預期的錯誤")

hotPattern=re.compile('(<tr class="">[\s,\S]*?</tr>)')
hotList=re.findall(hotPattern,r.text)
if hotList==[]:
    print("匹配模式可能出了問題")
else:
    #接下來開始提取熱搜數據
    dataList=[]
    for hotPoint in hotList:
        data=[]
        hotSoup=bs4.BeautifulSoup(hotPoint,'html.parser')
        #獲取排名
        #print(hotSoup.tr.contents[1])
        rank=hotSoup.tr.contents[1].string
        if rank==None:
            data.append("速升")
        else:
            data.append(rank)
        
        #獲取熱搜名稱
        #print(hotSoup.tr.contents[3])
        name=hotSoup.tr.contents[3].a.string
        data.append(name)
            
        dataList.append(data)

    #創建文件夾
    cwd=os.getcwd()
    time=datetime.datetime.now().strftime(r'%Y\%m')   #以【年/月/】作為目錄
    day=datetime.datetime.now().strftime(r'\%d')      #以【日.txt】作為文件名
    file=cwd+'\\'+time
    if not(os.path.exists(file)):
        os.makedirs(file)
    with open(file+day+'.txt','w') as f:
        for data in dataList:
            tmp=""
            for da in data:
                tmp+=da.ljust(10)
            tmp+='\n'
            f.write(tmp)
    
    
        

設置定時任務

打開控制面板——》選擇系統和安全——》選擇管理工具——》打開任務計划程序

 

 

選擇創建任務

設置基本屬性

 

設置觸發器

 

設置操作（注意要設置起始位置為文件所在目錄）

 

設置條件