初識python 之 爬蟲：爬取中國天氣網數據

用到模塊：

獲取網頁並解析：
import requests,html5lib
from bs4 import BeautifulSoup

使用pyecharts的Bar可視化工具“繪制圖表”，寫入HTML文件，附pyecharts官方中文API地址：https://pyecharts.org/#/
from pyecharts.charts import Bar

表格主題設置：
from pyecharts import options
from pyecharts.globals import ThemeType

獲取時間
from datetime import datetime

 

詳細代碼如下：　　注：代碼中有使用到map函數，需要留意！

 

#!/user/bin env python
# author:Simple-Sir
# time:2019/7/25 21:16
# 爬取中國天氣網數據

import requests,html5lib
from bs4 import BeautifulSoup
from pyecharts.charts import Bar  # 官方已取消 pyecharts.Bar 方式導入
from pyecharts import options
from pyecharts.globals import ThemeType
from datetime import datetime

WEARTHER_DATE =[]  # 城市天氣數據列表

def urlText(url):
    '''
    獲取網頁HTML代碼，並解析成文本格式
    :param url: 網頁url地址
    :return: 解析之后的html文本
    '''
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36'
    }
    respons = requests.get(url, headers=headers)  # 獲取網頁信息
    text = respons.content.decode('utf-8')  # 解析網頁
    return text

def getDiv(url,area):
    '''
    獲取需要的html標簽：城市、最高溫度
    :param url:
    :param area: 區域：全國、全省(四川)  0:全國、其他任意值：全市
    :return:
    '''
    text = urlText(url)
    # soup = BeautifulSoup(text,'lxml') # 港澳台html中table標簽解析錯誤
    soup = BeautifulSoup(text, 'html5lib')  # html5lib 容錯性比lxml高
    conMidtab = soup.find_all('div',class_="conMidtab")[1]  # 獲取“明天”的天氣
    if area == '四川':
        # 獲取四川所有城市天氣
        trs = conMidtab.find_all('tr')[2:]
        for tr in trs:
            tds = tr.find_all('td')
            city_td = tds[0]
            city = list(city_td.stripped_strings)[0]  # 區縣
            temp_td = tds[-5]  # 倒數第5個td標簽
            temp = list(temp_td.stripped_strings)[0]  # 最高溫度
            print('正在獲取 {} 的最高氣溫:{}'.format(city, temp))
            WEARTHER_DATE.append({'城市': city, '最高溫度': int(temp)})
    else:
        # 獲取全國城市天氣
        tables = conMidtab.find_all('table')
        for t in tables:
            trs = t.find_all('tr')[2:]
            for index, tr in enumerate(trs):
                tds = tr.find_all('td')
                if index == 0:
                    city_td = tds[1]  # city_td = tds[-8]  # 港澳台格式錯誤
                else:
                    city_td = tds[0]
                city = list(city_td.stripped_strings)[0]  # 區縣
                temp_td = tds[-5]  # 倒數第5個td標簽
                temp = list(temp_td.stripped_strings)[0]  # 最高溫度
                print('正在獲取 {} 的最高氣溫:{}'.format(city,temp))
                WEARTHER_DATE.append({'城市': city, '最高溫度': int(temp)})


# 可視化數據，對城市溫度排名
# def getRownum(data):
#     max_temp = data['最高溫度']  # 把列表里的每一項當作參數傳進來,再獲取“最高溫度”這一項的值
#     return max_temp
# WEARTHER_DATE.sort(key=getRownum)  # 功能和它一樣：WEARTHER_DATE.sort(key=lambda data:data['最高溫度'])

def main():
    city_list =['hb','db','hd','hz','hn','xb','xn','gat','sichuan']
    getcity = input('您要獲取“全國”還是“四川”的最高溫度排名？\n')
    if getcity=='四川':
            url = 'http://www.weather.com.cn/textFC/{}.shtml'.format(city_list[-1])
            getDiv(url,getcity)
    else:
        for cl in city_list[:-1]:
            url = 'http://www.weather.com.cn/textFC/{}.shtml'.format(cl)
            getDiv(url,getcity)
    print('正在對天氣溫度進行排序處理...')
    WEARTHER_DATE.sort(key=lambda data: int(data['最高溫度']))  # 對列表中的字典數據排序,溫度從低到高
    WEARTHER_DATE.reverse()  # 把對列表反轉，溫度從高到低
    rownum = WEARTHER_DATE[:10]  # 獲取最高溫度排名前十的城市
    print('正在繪制圖表...')
    # 分別獲取城市、溫度列表
    # 原始方法：
    # citys=[]
    # temps=[]
    # for i in rownum:
    #     citys.append(i['城市'])
    #     temps.append(i['最高溫度'])

    # 高端方法：
    citys = list(map(lambda x: x['城市'], rownum))  # 使用map分離出城市
    temps = list(map(lambda x: x['最高溫度'], rownum))  # 使用map分離出最高溫度
    # 通過使用pyecharts的Bar可視化數據，附官方中文API地址：https://pyecharts.org/#/
    bar = Bar(init_opts = options.InitOpts(theme=ThemeType.DARK))  # 對表格添加主題
    bar.add_xaxis(citys)
    bar.add_yaxis('',temps)
    tim = datetime.now().strftime('%Y-%m-%d')
    bar.set_global_opts(title_opts={'text':'中國天氣網 {} 城市明日最高溫度排名前十({})'.format(getcity,tim)})
    bar.render('中國天氣網城市最高溫度排名.html')
    print('圖表繪制已完成，結果已寫入文件，請查看。')
if __name__ == '__main__':
    main()

 

執行過程：

 

執行結果：

四川：

全國：