使用lxml解析HTML網頁並批量獲取數據

當我們需要從網頁中獲取一些需要的數據時，我們可以使用一些html網頁分析的函數庫來快速的獲取數據。目前有多款解析HTML網頁的第三方庫可供使用，例如lxml，beautiful soup等等。下面以lxml為例從網頁中爬取我們需要的統計數據

我希望從北京公交網站獲取北京公交的所有線路信息，從而為后續處理做准備

首先引用requests用於向網頁發出訪問請求，獲取html網頁原始數據

import requests

再引用lxml中的etree類

import lxml.etree

首先輸入我們起始的爬取地址，公交線路網頁的索引頁，以此為起點，獲取所有的線路對應的url的值

lxml.etree將html網頁按照標簽進行一層一層的划分，形成逐漸向下生長的樹結構，我們通過查看網頁的源代碼找到我們想要的數據在哪個標簽內，使用xpath函數提取對應標簽內的數據

def get_all_line():
    url = 'http://beijing.gongjiao.com/lines_all.html'
    text = requests.get(url).text
    doc = lxml.etree.HTML(text)
    all_lines = doc.xpath("//div[@class='list']/ul/li")
    f=open("./data/"+'allline.txt','a')
    print(len(all_lines))
    for line in all_lines:
        line_name = line.xpath("./a/text()")[0].strip()
       　line_url = line.xpath("./a/@href")[0]
       　f.write(line_name+'$$'+line_url+'\n')
   　f.close()

這樣我們獲得了所有線路對應的url，在此基礎上再依次爬取每一個線路網頁的相關數據

在爬取線路數據之前，我們需要先建立字典用於保存不同字段的數據，便於管理。根據需要，我建立了一個13個字段的字典

df_dict = {
'line_name': [], 'line_url': [], 'line_start': [], 'line_stop': [],
'line_op_time': [], 'line_interval': [], 'line_price': [], 'line_company': [],
'line_up_times': [], 'line_station_up': [], 'line_station_up_len': [],
'line_station_down': [], 'line_station_down_len': [] 
}

 

從我們剛剛生成的url數據文件中讀取所有的url，以下是對於讀取線路數據的函數實現

def getbuslin(line):
    line_name = line[:line.find('$$')]
    line_url = line[line.find('$$')+2:]
    #print(line_url) 
    url = line_url
    text = requests.get(url).text
    #print(len(text))
    doc = lxml.etree.HTML(text)
    infos = doc.xpath("//div[@class='gj01_line_header clearfix']")
    for info in infos:
        #f=open("./data/"+line_name+'.txt','a')
        start_stop = info.xpath("./dl/dt/a/text()")
        #f.write('start-stop'+start_stop+'\n')
        op_times = info.xpath("./dl/dd[1]/b/text()")
        #f.write('open time:'+op_times+'\n')
        interval = info.xpath("./dl/dd[2]/text()")
        #f.write('interval:'+interval+'\n')
        price = info.xpath("./dl/dd[3]/text()")
        #f.write('price:'+price+'\n')
        company = info.xpath("./dl/dd[4]/text()")
        #f.write('company:'+company+'\n')
        up_times = info.xpath("./dl/dd[5]/text()")

        all_stations_up = doc.xpath('//ul[@class="gj01_line_img JS-up clearfix"]')
        for station in all_stations_up:
            station_up_name = station.xpath('./li/a/text()')
            df_dict['line_station_up'].append(station_up_name)
            df_dict['line_station_up_len'].append(len(station_up_name))
            #f.write(station_name+'\n')
        
        all_stations_down = doc.xpath('//ul[@class="gj01_line_img JS-down clearfix"]')
        if len(all_stations_down)== 0:
            #print(line_name)
            df_dict['line_station_down'].append('')
            df_dict['line_station_down_len'].append(0)

        for station in all_stations_down: 
            station_down_name=station.xpath('./li/a/text()')
            df_dict['line_station_down'].append(station_down_name)
            df_dict['line_station_down_len'].append(len(station_down_name))
            #f.write(station_name+'\n')
        #f.close()
        df_dict['line_name'].append(line_name)
        df_dict['line_url'].append(line_url)
        df_dict['line_start'].append(start_stop[0])
        df_dict['line_stop'].append(start_stop[1])
        if len(op_times)==0:
            op_times.append(defaultoptime)
        df_dict['line_op_time'].append(op_times[0])
        df_dict['line_interval'].append(interval[0][5:])
        df_dict['line_company'].append(company[0][5:])
        df_dict['line_price'].append(price[0][5:])
        df_dict['line_up_times'].append(up_times[0][5:])

字典的實質依然是列表，因此對字典的操作方法可以參考列表

我從網頁中提取了公交線路的線路名稱，起始站，終點站，運營時間，發車間隔，票價，起始終點站，上下行所有站點

將數據全部存入建立的字典之后，保存為csv文件，這里需要用到pandas庫

import pandas as pd

df = pd.DataFrame(df_dict)
df.to_csv(name+'.csv', encoding='utf-8', index=None)

這時，我們已經把網頁數據經過解析保存到了本地，以便后續的處理

由於公交車的線路數據相對靜態，因此不需要進行實時更新，數據量也相對較小，但是整個程序運行下來依然需要好幾分鍾

這里我還沒有采用多進程處理，后續可以通過多進程優化來充分利用計算機的性能縮短所需的時間