使用瀏覽器模擬器獲取動態網站數據

抓取靜態網站的數據，只是根據需要組合出合適的url列表，之后編寫方法spider獲取指定url上的數據就可以了。但如果網站是動態的，例如在這個站點“http://www.zgyyjgw.com/front/cn/hospitalPrice”，從源代碼中我們可以看出，該站點使用的是javascript與css。我們查詢“胰高血糖素試驗”的價格，首先需要在“省份”中填入對應的省份，在項目名稱中填入“胰高血糖素試驗”，點擊右側的查找，會在下側顯示查詢到的信息。

 

可以注意到，整個過程，瀏覽器地址欄中一直都是“http://www.zgyyjgw.com/front/cn/hospitalPrice”沒有發生改變，所以像靜態頁面那樣通過修改url的方法來獲取對應的信息在這里根本就行不通了。

雖然python中的urllib模塊中有相應的函數來處理這類動態頁面，但過於麻煩，這里我們選用一個簡便的方法，使用瀏覽器模擬器。

在網上下載無界面瀏覽器PhantomJS，利用pip下載模塊selenium（這里推薦版本2.53.6，而不是最新版本，最新版本的selenium不支持PhantomJS），建立main.py，編寫涉及和使用到的類與方法，代碼如下：

from selenium import webdriver
from selenium.webdriver.support.select import Select
from myLog import MyLog
import time
import xlwt

class Item(object):
    shengfen = None         #省份
    xiangmubianhao = None   #項目編號
    xiangmumingcheng = None #項目名稱
    xiangmuneihan = None    #項目內涵
    chuwaineirong = None    #除外內容
    danwei = None           #單位
    jiage = None            #價格
    shuoming = None         #說明
    wenhao = None           #文號
    zhixingriqi = None      #執行日期

class Get_medicalprice(object):
    def __init__(self):
        self.hospitalPriceurl = 'http://www.zgyyjgw.com/front/cn/hospitalPrice'
        self.log = MyLog()
        self.filename = u'醫療服務價格.xls'.encode('GBK')
        self.namelist = self.getname('name.txt')
        self.hospitallist = self.gethospitalprice(self.hospitalPriceurl,self.namelist)
        self.savefiletoxls(self.filename,self.hospitallist)
    
    def getname(self,filename): 
        namelist = []
        with open(filename,'r') as fp:
            s = fp.read()
            for name in s.split():
                namelist.append(name)
        self.log.info('open namelist success , the length of list is %d' % len(namelist))
        return namelist
    
    def gethospitalprice(self,url,namelist):
        list_hospitalprice = []
        return list_hospitalprice
                
    def savefiletoxls(self,filename,hospitallist):
        self.log.info('save data to excel')
        book = xlwt.Workbook(encoding = 'utf8',style_compression=0)
        sheet = book.add_sheet(u'醫療服務項目收費')
        sheet.write(0,0,u'省份'.encode('utf8'))
        sheet.write(0,1,u'項目編號'.encode('utf8'))
        sheet.write(0,2,u'項目名稱'.encode('utf8'))
        sheet.write(0,3,u'項目內涵'.encode('utf8'))
        sheet.write(0,4,u'除外內容'.encode('utf8'))
        sheet.write(0,5,u'單位'.encode('utf8'))
        sheet.write(0,6,u'價格'.encode('utf8'))
        sheet.write(0,7,u'說明'.encode('utf8'))
        sheet.write(0,8,u'文號'.encode('utf8'))
        sheet.write(0,9,u'執行日期'.encode('utf8'))
        for i in range(1,len(hospitallist)+1):
            item = hospitallist[i-1]
            sheet.write(i,0,item.shengfen)
            sheet.write(i,1,item.xiangmubianhao)
            sheet.write(i,2,item.xiangmumingcheng)
            sheet.write(i,3,item.xiangmuneihan)
            sheet.write(i,4,item.chuwaineirong)
            sheet.write(i,5,item.danwei)
            sheet.write(i,6,item.jiage)
            sheet.write(i,7,item.shuoming)
            sheet.write(i,8,item.wenhao)
            sheet.write(i,9,item.zhixingriqi)
        book.save(filename)
        self.log.info('save excel success')
        
    
if __name__ == '__main__':
    Get_medicalprice()

其中，類Item定義了我們需要從網頁獲取到的所有信息；類Get_medicalprice為爬蟲主程序；方法__init__定義了整個爬蟲的工作流程；方法getname從“name.txt”中獲取需要查找的醫療服務項目名稱，返回名稱列表；方法gethospitalprice為爬蟲的關鍵，負責根據getname返回的名稱列表在頁面中查找對應的信息並保存；方法savefiletoxls負責將gethospitalprice獲取到的所有信息保存到電子表中。

我們現在開始來補充方法gethospitalprice中的代碼。

使用selenium模擬調用瀏覽器PhantomJS，首先用“#”注釋掉__init__中的“self.savefiletoxls(self.filename,self.hospitallist)”，出於測試目的，這里只讓瀏覽器截圖查看模擬效果而不進一步抓取數據。在gethospitalprice中增加代碼如下：

def gethospitalprice(self,url,namelist):
    browser = webdriver.PhantomJS()
    list_hospitalprice = []
    browser.get(url)
    #browser.implicitly_wait(10)
    for name in namelist:
        textelement = browser.find_element_by_id('projectname')
        textelement.clear()                 #清除text中已輸入的項目
        try:
            textelement.send_keys(name.decode('GBK'))  #text中填入項目名稱
        except:
            self.log.error('get data %s error ' % name)
            continue
        else:
            self.log.info('get data %s \n' % name.decode('GBK'))
        selectelement = browser.find_element_by_id('provName')
        Select(selectelement).select_by_value(u'河南省')  #使用select控件選擇河南省
        submitelement = browser.find_element_by_class_name('l-btn-left')  
        submitelement.click() #點擊查詢按鈕
        time.sleep(10)
        browser.get_screenshot_as_file('%s.png' % name) #進行查詢后讓瀏覽器截圖，以查看程序是否運行正常

在這里，模塊selenium本身自帶的implicitly_wait效果比time里的sleep要好，所以平時盡量優先使用implicitly_wait，而這里依舊使用time.sleep是為防止被服務器攔截而強制讓程序降速。根據頁面源代碼，找到相應控件的id，如這里的“projectname”、“provName”，利用find_element_by_id來定位。其中用於選擇省份的控件是個select，需要用到selenium.webdriver.support.select中的Select。通過send_keys來向“provName”的文本框控件中發送項目名稱時，特別需要注意的是漢字編碼，因為name.txt是在windows下創建的，編碼用的是"GBK''，所以這里需要先用decode("GBK")把項目名稱進行反編碼。

但有個問題是“查找”按鈕不好定位，沒有明顯的id和class。右鍵點擊“查找”按鈕，選擇“審查元素”，這里可以看到該控件的class為“l-btn-left”（雖然那個“清空”按鈕的class也是“l-btn-left”，但並沒太大的影響，“查找”比“清空”位置靠前，find_element_by_class_name返回的是檢索到的第一個符合條件的控件），利用find_element_by_class_name('l-btn-left')來定位。

在最后增加一條語句 browser.get_screenshot_as_file('%s.png' % name) 來讓瀏覽器自動截圖並保存成“項目名稱.png”的圖片，以便方便查看確定程序是否在正常運行。

點擊run運行程序，在目錄下隨便打開一張png圖片，如下圖：

 

爬蟲程序已經成功選擇了設定的“省份”，填入了讀取到的項目名稱，並成功點擊了“查找”按鈕，而且成功地獲取到了我們需要的信息。

好了，下面我們就開始和以前一樣抓取頁面上的信息。

 

查看頁面源代碼，可以看到存放數據的位置在標簽tbody下，但tbody不唯一，而上層的標簽table，class值為“xxbTable”，通過搜索后發現是唯一的。所以這里我們先定位class值為“xxbTable”的標簽table，隨后再依次定位tbody，tr，td。

resultelement = browser.find_element_by_class_name('xxbTable')
#print resultelement.text
elements=resultelement.find_elements_by_xpath('./tbody[2]/tr/td')
item = Item()
if len(elements)==0:
    self.log.info('%s has no data' % name.decode('GBK'))
else:
    self.log.info('save data %s to list' % name.decode('GBK'))
    item.shengfen = elements[1].text
    item.xiangmubianhao = elements[2].text
    item.xiangmumingcheng = elements[3].text
    item.xiangmuneihan = elements[4].text
    item.chuwaineirong = elements[5].text
    item.danwei = elements[6].text
    item.jiage = elements[7].text
    item.shuoming = elements[8].text
    item.wenhao = elements[9].text
    item.zhixingriqi = elements[10].text
    list_hospitalprice.append(item)

tbody不是唯一的，所以在確定需求的是哪一部分的時候，可以先用定位到tbody處，使用for循環打印下此處的文本，代碼如下：

resultelement = browser.find_element_by_class_name('xxbTable')
#print resultelement.text
elements=resultelement.find_elements_by_xpath('./tbody')
for i in elements:
    print i.text

運行結果如下：

 

tbody[0]為空，tbody[1]是列名，tbody[2]才是我們需要的數據。

最終運行后，生成的結果被方法savefiletoxls保存到電子表'醫療服務價格.xls'中

 

 以下為“main.py”文件的完整代碼：

from selenium import webdriver
from selenium.webdriver.support.select import Select
from myLog import MyLog
import time
import xlwt

class Item(object):
    shengfen = None
    xiangmubianhao = None
    xiangmumingcheng = None
    xiangmuneihan = None
    chuwaineirong = None
    danwei = None
    jiage = None
    shuoming = None
    wenhao = None
    zhixingriqi = None

class Get_medicalprice(object):
    def __init__(self):
        self.hospitalPriceurl = 'http://www.zgyyjgw.com/front/cn/hospitalPrice'
        self.log = MyLog()
        self.filename = u'醫療服務價格.xls'.encode('GBK')
        self.namelist = self.getname('name.txt')
        self.hospitallist = self.gethospitalprice(self.hospitalPriceurl,self.namelist)
        self.savefiletoxls(self.filename,self.hospitallist)
    
    def getname(self,filename): 
        namelist = []
        with open(filename,'r') as fp:
            s = fp.read()
            for name in s.split():
                namelist.append(name)
        self.log.info('open namelist success , the length of list is %d' % len(namelist))
        return namelist
    
    def gethospitalprice(self,url,namelist):
        browser = webdriver.PhantomJS()
        list_hospitalprice = []
        n = 1
        self.log.info('open the link %s' % url)
        browser.get(url)
        #browser.implicitly_wait(10)
        for name in namelist:
            textelement = browser.find_element_by_id('projectname')
            textelement.clear()
            try:
                textelement.send_keys(name.decode('GBK'))  #text中填入項目名稱
            except:
                self.log.error('get data %s error  (%d)' % (name,n))
                n += 1
                continue
            else:
                self.log.info('get data %s (%d)\n' % (name.decode('GBK'),n))
                n += 1
            selectelement = browser.find_element_by_id('provName')
            Select(selectelement).select_by_value(u'河南省')  #省份select控件選擇河南省
            submitelement = browser.find_element_by_class_name('l-btn-left')
            submitelement.click() #點擊查詢按鈕
            time.sleep(10)
            #print browser.page_source
            #browser.get_screenshot_as_file('test.png')
            resultelement = browser.find_element_by_class_name('xxbTable')
            #print resultelement.text
            elements=resultelement.find_elements_by_xpath('./tbody[2]/tr/td')
            item = Item()
            if len(elements)==0:
                self.log.info('%s has no data' % name.decode('GBK'))
            else:
                self.log.info('save data %s to list' % name.decode('GBK'))
                item.shengfen = elements[1].text
                item.xiangmubianhao = elements[2].text
                item.xiangmumingcheng = elements[3].text
                item.xiangmuneihan = elements[4].text
                item.chuwaineirong = elements[5].text
                item.danwei = elements[6].text
                item.jiage = elements[7].text
                item.shuoming = elements[8].text
                item.wenhao = elements[9].text
                item.zhixingriqi = elements[10].text
                list_hospitalprice.append(item)
        return list_hospitalprice
                
    def savefiletoxls(self,filename,hospitallist):
        self.log.info('save data to excel')
        book = xlwt.Workbook(encoding = 'utf8',style_compression=0)
        sheet = book.add_sheet(u'醫療服務項目收費')
        sheet.write(0,0,u'省份'.encode('utf8'))
        sheet.write(0,1,u'項目編號'.encode('utf8'))
        sheet.write(0,2,u'項目名稱'.encode('utf8'))
        sheet.write(0,3,u'項目內涵'.encode('utf8'))
        sheet.write(0,4,u'除外內容'.encode('utf8'))
        sheet.write(0,5,u'單位'.encode('utf8'))
        sheet.write(0,6,u'價格'.encode('utf8'))
        sheet.write(0,7,u'說明'.encode('utf8'))
        sheet.write(0,8,u'文號'.encode('utf8'))
        sheet.write(0,9,u'執行日期'.encode('utf8'))
        for i in range(1,len(hospitallist)+1):
            item = hospitallist[i-1]
            sheet.write(i,0,item.shengfen)
            sheet.write(i,1,item.xiangmubianhao)
            sheet.write(i,2,item.xiangmumingcheng)
            sheet.write(i,3,item.xiangmuneihan)
            sheet.write(i,4,item.chuwaineirong)
            sheet.write(i,5,item.danwei)
            sheet.write(i,6,item.jiage)
            sheet.write(i,7,item.shuoming)
            sheet.write(i,8,item.wenhao)
            sheet.write(i,9,item.zhixingriqi)
        book.save(filename)
        self.log.info('save excel success')
        
    
if __name__ == '__main__':
    Get_medicalprice()