Scrapy實戰篇（五）之爬取歷史天氣數據

 

　　本篇文章我們以抓取歷史天氣數據為例，簡單說明數據抓取的兩種方式：

　　1、一般簡單或者較小量的數據需求，我們以requests(selenum)+beautiful的方式抓取數據

　　2、當我們需要的數據量較多時，建議采用scrapy框架進行數據采集，scrapy框架采用異步方式發起請求，數據抓取效率極高。

 

　　下面我們以http://www.tianqihoubao.com/lishi/網站數據抓取為例進行進行兩種數據抓取得介紹：　　

 

　　1、以request+bs的方式采集天氣數據，並以mysql存儲數據

 

　　思路：

　　我們要采集的天氣數據都在地址 http://www.tianqihoubao.com/lishi/beijing/month/201101.html 中存儲，觀察url可以發現，url中只有兩部分在變化，即城市名稱和你年月，而且每年都固定包含12個月份，可以使用 months = list(range(1, 13))構造月份，將城市名稱和年份作為變量即可構造出需要采集數據的url列表，遍歷列表，請求url，解析response，即可獲取數據。

　　

　　以上是我們采集天氣數據的思路，首先我們需要構造url鏈接。

　　

def get_url(cityname,start_year,end_year):
    years = list(range(start_year, end_year))
    months = list(range(1, 13))
    suburl = 'http://www.tianqihoubao.com/lishi/'
    urllist = []
    for year in years:
        for month in months:
            if month < 10:
                url = suburl + cityname + '/month/'+ str(year) + (str(0) + str(month)) + '.html'
            else:
                url = suburl + cityname + '/month/' + str(year) + str(month) + '.html'
            urllist.append(url.strip())
    return urllist

 

      通過以上函數，可以得到需要抓取的url列表。　　

 

　　可以看到，我們在上面使用了cityname，而cityname就是我們需要抓取的城市的城市名稱，需要我們手工構造，假設我們已經構造了城市名稱的列表，存儲在mysql數據庫中，我們需要查詢數據庫獲取城市名稱，遍歷它，將城市名稱和開始年份，結束年份，給上面的函數。

def get_cityid(db_conn,db_cur,url):
    suburl = url.split('/')
    sql = 'select cityid from city where cityname = %s '
    db_cur.execute(sql,suburl[4])
    cityid = db_cur.fetchone()
    idlist = list(cityid)
    return idlist[0]

 

 

　　有了城市代碼，開始和結束年份，生成了url列表，接下來當然就是請求地址，解析返回的html代碼了，此處我們以bs解析網頁源代碼，代碼如下：

def parse_html_bs(db_conn,db_cur,url):
    proxy = get_proxy()
    proxies = {
        'http': 'http://' + proxy,
        'https': 'https://' + proxy,
    }
    headers = {
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36',
        'Connection': 'close'
    }

    # 獲取天氣數據的html網頁源代碼
    weather_data = requests.get(url=url, headers=headers,proxies = proxies).text
    weather_data_new =(weather_data.replace('\n','').replace('\r','').replace(' ',''))
    soup = BeautifulSoup(weather_data_new,'lxml')
    table = soup.find_all(['td'])
    # 獲取城市id
    cityid = get_cityid(db_conn, db_cur, url)
    listall = []
    for t in list(table):
        ts = t.string
        listall.append(ts)
    n= 4
    sublist = [listall[i:i+n] for i in range(0,len(listall),n)]
    sublist.remove(sublist[0])
    flist = []
    # 將列表元素中的最高和最低氣溫拆分，方便后續數據分析，並插入城市代碼
    for sub in sublist:
        if sub == sublist[0]:
            pass
        sub2 = sub[2].split('/')
        sub.remove(sub[2])
        sub.insert(2, sub2[0])
        sub.insert(3, sub2[1])
        sub.insert(0, cityid)  # 插入城市代碼
        flist.append(sub)
    return flist

 

　　最后我們在主函數中遍歷上面的列表，並將解析出來的結果存儲到mysql數據庫。

if __name__ == '__main__':
    citylist = get_cityname(db_conn,db_cur)
    for city in citylist:
        urllist = get_url(city,2016,2019)
        for url in urllist:
            time.sleep(1)
            flist = parse_html_bs(db_conn, db_cur, url)
            for li in flist:
                tool.dyn_insert_sql('weather',tuple(li),db_conn,db_cur)
                time.sleep(1)

 

 

 

以上我們便完成了以requests+bs方式抓取歷史天氣數據，並以mysql存儲的程序代碼，完成代碼見：https://gitee.com/liangxinbin/Scrpay/blob/master/weatherData.py

 

　　2、用scrapy框架采集天氣數據，並以mongo存儲數據

 

　　1）定義我們需要抓取的數據結構，修改框架中的items.py文件

class WeatherItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    cityname = Field()   #城市名稱
    data = Field()　　　　#日期
    tq = Field()　　　　　#天氣
    maxtemp=Field()　　  #最高溫度
    mintemp=Field()　　　#最低溫度
    fengli=Field()　　　 #風力

 

 

　 2）修改下載器中間件，隨機獲取user-agent，ip地址

class RandomUserAgentMiddleware():
    def __init__(self,UA):
        self.user_agents = UA

    @classmethod
    def from_crawler(cls, crawler):
        return cls(UA = crawler.settings.get('MY_USER_AGENT'))   #MY_USER_AGENT在settings文件中配置，通過類方法獲取

    def process_request(self,request,spider):
        request.headers['User-Agent'] = random.choice(self.user_agents)    #隨機獲取USER_AGENT

    def process_response(self,request, response, spider):
        return response


class ProxyMiddleware():
    def __init__(self):
        ipproxy = requests.get('http://localhost:5000/random/')   #此地址為從代理池中隨機獲取可用代理
        self.random_ip = 'http://' + ipproxy.text

    def process_request(self,request,spider):
        print(self.random_ip)
        request.meta['proxy'] = self.random_ip

    def process_response(self,request, response, spider):
        return response

 

 

　　3）修改pipeline文件，處理返回的item，處理蜘蛛文件返回的item

　　

import pymongo

class MongoPipeline(object):

    def __init__(self,mongo_url,mongo_db,collection):
        self.mongo_url = mongo_url
        self.mongo_db = mongo_db
        self.collection = collection

    @classmethod
    def from_crawler(cls,crawler):
        return cls(
            mongo_url=crawler.settings.get('MONGO_URL'),    #MONGO_URL,MONGO_DB,COLLECTION在settings文件中配置，通過類方法獲取數據
            mongo_db = crawler.settings.get('MONGO_DB'),
            collection = crawler.settings.get('COLLECTION')
        )

    def open_spider(self,spider):
        self.client = pymongo.MongoClient(self.mongo_url)
        self.db = self.client[self.mongo_db]

    def process_item(self,item, spider):
        # name = item.__class__.collection
        name = self.collection
        self.db[name].insert(dict(item)) #將數據插入到mongodb數據庫。
        return item

    def close_spider(self,spider):
        self.client.close()

 

 

　　4）最后也是最重要的，編寫蜘蛛文件解析數據，先上代碼，在解釋

# -*- coding: utf-8 -*-
import scrapy
from bs4 import BeautifulSoup
from scrapy import Request
from lxml import etree
from scrapymodel.items import WeatherItem


class WeatherSpider(scrapy.Spider):
    name = 'weather'        #蜘蛛的名稱，在整個項目中必須唯一
    # allowed_domains = ['tianqihoubao']
    start_urls = ['http://www.tianqihoubao.com/lishi/']    #起始鏈接，用這個鏈接作為開始，爬取數據，它的返回數據默認返回給parse來解析。
 

    #解析http://www.tianqihoubao.com/lishi/網頁,提取連接形式http://www.tianqihoubao.com/lishi/beijing.html
    def parse(self, response):
        soup = BeautifulSoup(response.text, 'lxml')
        citylists = soup.find_all(name='div', class_='citychk')
        for citys in citylists:
            for city in citys.find_all(name='dd'):
                url = 'http://www.tianqihoubao.com' + city.a['href']
                yield Request(url=url,callback = self.parse_citylist)    #返回Request對象，作為新的url由框架進行調度請求，返回的response有回調函數parse_citylist進行解析 23 
    #解析http://www.tianqihoubao.com/lishi/beijing.html網頁，提取鏈接形式為http://www.tianqihoubao.com/lishi/tianjin/month/201811.html
    def parse_citylist(self,response):
        soup = BeautifulSoup(response.text, 'lxml')
        monthlist = soup.find_all(name='div', class_='wdetail')
        for months in monthlist:
            for month in months.find_all(name='li'):
                if month.text.endswith("季度:"):
                    continue
                else:
                    url = month.a['href']
                    url = 'http://www.tianqihoubao.com' + url
                    yield Request(url= url,callback = self.parse_weather) #返回Request對象，作為新的url由框架進行調度請求，返回的response由parse_weather進行解析 36 
    # 以xpath解析網頁數據;
    def parse_weather(self,response):    #解析網頁數據，返回數據給pipeline處理 39         # 獲取城市名稱
        url = response.url
        cityname = url.split('/')[4]

        weather_html = etree.HTML(response.text)
        table = weather_html.xpath('//table//tr//td//text()')
        # 獲取所有日期相關的數據，存儲在列表中
        listall = []
        for t in table:
            if t.strip() == '':
                continue
            # 替換元素中的空格和\r\n
            t1 = t.replace(' ', '')
            t2 = t1.replace('\r\n', '')
            listall.append(t2.strip())
        # 對提取到的列表數據進行拆分，將一個月的天氣數據拆分成每天的天氣情況，方便數據插入數據庫
        n = 4
        sublist = [listall[i:i + n] for i in range(0, len(listall), n)]
        # 刪除表頭第一行
        sublist.remove(sublist[0])
        # 將列表元素中的最高和最低氣溫拆分，方便后續數據分析，並插入城市代碼

        for sub in sublist:
            if sub == sublist[0]:
                pass
            sub2 = sub[2].split('/')
            sub.remove(sub[2])
            sub.insert(2, sub2[0])
            sub.insert(3, sub2[1])
            sub.insert(0, cityname)

            Weather = WeatherItem()   #使用items中定義的數據結構

            Weather['cityname'] = sub[0]
            Weather['data'] = sub[1]
            Weather['tq'] = sub[2]
            Weather['maxtemp'] = sub[3]
            Weather['mintemp'] = sub[4]
            Weather['fengli'] = sub[5]
            yield Weather

 

 

 

運行項目，即可獲取數據，至此，我們完成了天氣數據的抓取項目。

項目完整代碼：

https://gitee.com/liangxinbin/Scrpay/tree/master/scrapymodel