Selenium+PhantomJS使用初體驗

抓取使用Ajax技術完成的網頁內容時可以使用Selenium+PhantomJS技術

1.pip install selenium

2.下載Phantomjs不需要用pip

 

武漢科技大學首頁有一塊使用js異步加載的網頁內容，如圖

 

抓取這一塊內容的思路是：判斷這一塊是否加載完畢；selenium抓取

在判斷加載完畢這一步可以判斷是否有'校企合作'出現

（ps：其實合理的做法是找異步內容里面的某個最后加載出來元素，但是這個例子里面元素沒有多余的特征供選擇了）

#coding:utf-8
from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

driver = webdriver.PhantomJS(executable_path = 'C://Python27//Scripts//phantomjs-2.1.1-windows//bin//phantomjs')
driver.get("http://www.wust.edu.cn/default.html")

try:
    elment = WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.PARTIAL_LINK_TEXT, '校企合作')))
finally:
    ul = driver.find_element_by_id('infoCont_137575764138965434_148645613741998292')
    status = 'False:'
    if ul!=None:
        lis = ul.find_elements_by_tag_name('li')
        if lis==None:
            print('查詢失敗')
        for li in lis:
            text = li.find_element_by_tag_name('a').text
            if text!='':
                status = 'Tuple:'
                print(status+text)
    driver.close()

這段程序的執行步驟為：

判斷是否有鏈接包含“校企合作”字符串；

找id為infoCont_137575764138965434_148645613741998292的ul標簽

找ul標簽里面的li標簽

找li標簽里的a標簽，並提取a標簽的text

值得注意的是：

windows系統需要在首行設置編碼；

使用WebDriverWait判斷網頁加載狀況，比time.sleep效果更好；

異步加載可能返回比顯示出來更多的li標簽，審查元素可以看到，但是網頁中沒有讓它顯示出來，因此需要判斷text!=''；

標簽不能直接跨層級查找。

 

運行結果：