python爬蟲--selenium

selenium

• 瀏覽器創建
• 元素定位
• 節點交互
• selenium相關的動作行為制定
• 動作鏈
• 模擬JavaScript
• 獲取頁面源碼數據
• 前進和后退
• cookie處理
• 異常處理

參數設置常用:

    # 瀏覽器設置
    option = ChromeOptions()
    # 防攔截
    option.add_experimental_option('excludeSwitches', ['enable-automation'])
    # 不加載圖片
    option.add_experimental_option("prefs", {"profile.managed_default_content_settings.images": 2})
    無界面
    option.add_argument('--headless')
    option.add_argument('--disable-gpu')

    bro = Chrome(executable_path='lianjia/spiders/chromedriver.exe', options=option)
    bro.maximize_window()

selenium規避被檢測識別

現在不少大網站有對selenium采取了監測機制。比如正常情況下我們用瀏覽器訪問淘寶等網站的 window.navigator.webdriver的值為 
undefined。而使用selenium訪問則該值為true。那么如何解決這個問題呢？

只需要設置Chromedriver的啟動參數即可解決問題。在啟動Chromedriver之前，為Chrome開啟實驗性功能參數excludeSwitches，它的值為['enable-automation']，完整代碼如下：

from selenium.webdriver import Chrome
from selenium.webdriver import ChromeOptions

option = ChromeOptions()
option.add_experimental_option('excludeSwitches', ['enable-automation'])
driver = Chrome(options=option)

from selenium import webdriver
from lxml import etree
import time


from selenium.webdriver import ChromeOptions
option = ChromeOptions()
option.add_experimental_option('excludeSwitches', ['enable-automation'])



bro = webdriver.Chrome(executable_path='./chromedriver.exe',options=option)
#讓瀏覽器對指定url發起訪問
bro.get('http://125.35.6.84:81/xk/')

#獲取瀏覽器當前打開頁面的頁面源碼數據(可見即可得)
page_text = bro.page_source
time.sleep(2)
tree = etree.HTML(page_text)
name = tree.xpath('//*[@id="gzlist"]/li[1]/dl/a/text()')[0]
print(name)
time.sleep(5)
bro.quit()

一.基本介紹與安裝

簡介

　　selenium最初是一個自動化測試工具,而爬蟲中使用它主要是為了解決requests無法直接執行JavaScript代碼的問題 selenium本質是通過驅動瀏覽器，完全模擬瀏覽器的操作，比如跳轉、輸入、點擊、下拉等，來拿到網頁渲染之后的結果，可支持多種瀏覽器

環境安裝

1.下載安裝
　　pip install selenium
2.下載瀏覽器驅動程序
　　http://chromedriver.storage.googleapis.com/index.html
3.查看瀏覽器版本與驅動的對應關系
　　https://blog.csdn.net/huilan_same/article/details/51896672
4.火狐瀏覽器驅動下載:( firefox 47以上版本，需要下載第三方driver )
   https://github.com/mozilla/geckodriver

1.基本實現

• 使用selenium打開瀏覽器並搜索百度美女圖片,之后關閉瀏覽器

from selenium import webdriver
from time import sleep

# 后面是你的瀏覽器驅動位置，記得前面加r'','r'是防止字符轉義的
driver = webdriver.Chrome(r'./chromedriver.exe')
# 用get打開百度頁面
driver.get("http://www.baidu.com")
# 查找頁面的“設置”選項，並進行點擊
driver.find_elements_by_link_text('設置')[0].click()
sleep(2)
# # 打開設置后找到“搜索設置”選項，設置為每頁顯示50條
driver.find_elements_by_link_text('搜索設置')[0].click()
sleep(2)

# 選中每頁顯示50條
m = driver.find_element_by_id('nr')
sleep(2)
m.find_element_by_xpath('//*[@id="nr"]/option[3]').click()
m.find_element_by_xpath('.//option[3]').click()
sleep(2)

# 點擊保存設置
driver.find_elements_by_class_name("prefpanelgo")[0].click()
sleep(2)

# 處理彈出的警告頁面   確定accept() 和 取消dismiss()
driver.switch_to_alert().accept()
sleep(2)
# 找到百度的輸入框，並輸入 美女
driver.find_element_by_id('kw').send_keys('美女')
sleep(2)
# 點擊搜索按鈕
driver.find_element_by_id('su').click()
sleep(2)
# 在打開的頁面中找到“Selenium - 開源中國社區”，並打開這個頁面
driver.find_elements_by_link_text('美女_百度圖片')[0].click()
sleep(3)

# 關閉瀏覽器
driver.quit()

• 使用selenium爬取葯監局頁面數據

from selenium import webdriver
from lxml import etree
import time
bro = webdriver.Chrome(executable_path='./chromedriver.exe')
#讓瀏覽器對指定url發起訪問
bro.get('http://125.35.6.84:81/xk/')

#獲取瀏覽器當前打開頁面的頁面源碼數據(可見即可得)
page_text = bro.page_source
time.sleep(2)
tree = etree.HTML(page_text)
name = tree.xpath('//*[@id="gzlist"]/li[1]/dl/a/text()')[0]
print(name)
time.sleep(3)
bro.quit()

二.使用

1.瀏覽器創建

　　Selenium支持非常多的瀏覽器，如Chrome、Firefox、Edge等，還有Android、BlackBerry等手機端的瀏覽器。另外，也支持無界面瀏覽器PhantomJS。

from selenium import webdriver
  
browser = webdriver.Chrome()
browser = webdriver.Firefox()
browser = webdriver.Edge()
browser = webdriver.PhantomJS()
browser = webdriver.Safari()

2.元素定位

　　常用的元素定位方式:

find_element_by_id()
find_element_by_name()
find_element_by_class_name()
find_element_by_tag_name()
find_element_by_link_text()
find_element_by_partial_link_text()
find_element_by_xpath()
find_element_by_css_selector()

注意

• find_element_by_xxx找的是第一個符合條件的標簽，find_elements_by_xxx找的是所有符合條件的標簽。
• 根據ID、CSS選擇器和XPath獲取，它們返回的結果完全一致。
• 另外，Selenium還提供了通用方法find_element()，它需要傳入兩個參數：查找方式By和值。實際上，它就是find_element_by_id()這種方法的通用函數版本，比如find_element_by_id(id)就等價於find_element(By.ID, id)，二者得到的結果完全一致。

3.節點交互

　　Selenium可以驅動瀏覽器來執行一些操作，也就是說可以讓瀏覽器模擬執行一些動作。比較常見的用法有：輸入文字時用send_keys()方法，清空文字時用clear()方法，點擊按鈕時用click()方法。

from selenium import webdriver
import time
 
browser = webdriver.Chrome()
browser.get('https://www.taobao.com')
input = browser.find_element_by_id('q')
input.send_keys('MAC')
time.sleep(1)
input.clear()
input.send_keys('IPhone')
button = browser.find_element_by_class_name('btn-search')
button.click()
browser.quit()

4.selenium相關的動作行為制定

　　找到淘寶頁面的搜索element元素,並填入搜索條件,滾動窗口之后搜索

from selenium import webdriver
import time
bro = webdriver.Chrome(executable_path='./chromedriver.exe')

bro.get('https://www.taobao.com')

#節點定位 find系列的方法
input_text = bro.find_element_by_id('q')

#節點交互
input_text.send_keys('蘋果')
time.sleep(2)

#執行js程序(js注入)
bro.execute_script('window.scrollTo(0,document.body.scrollHeight)')

btn = bro.find_element_by_css_selector('.btn-search')
btn.click()

time.sleep(3)
bro.quit()

5.動作鏈

　　一些操作，它們沒有特定的執行對象，比如鼠標拖曳、鍵盤按鍵等，這些動作用另一種方式來執行，那就是動作鏈。比如，現在實現一個節點的拖曳操作，將某個節點從一處拖曳到另外一處，可以這樣實現：

from selenium import webdriver
#導入動作鏈對應的模塊
from selenium.webdriver import ActionChains
import time
bro = webdriver.Chrome(executable_path='./chromedriver.exe')

bro.get('https://www.runoob.com/try/try.php?filename=jqueryui-api-droppable')
#如果定位的節點是被包含在iframes節點之中的，則必須使用switch_to進行frame的切換
bro.switch_to.frame('iframeResult')

div_tag = bro.find_element_by_id('draggable')

#實例化一個動作鏈對象(需要將瀏覽器對象作為參數傳遞給該對象的構造方法)
action = ActionChains(bro)
#單擊且長按
action.click_and_hold(div_tag)

for i in range(5):
    #讓div向右移動
    action.move_by_offset(17,0).perform()
    #perform()立即執行動作鏈
    time.sleep(0.5)

time.sleep(2)
bro.quit()

 6.模擬JavaScript

 　　對於某些操作，Selenium API並沒有提供。比如，下拉進度條，它可以直接模擬運行JavaScript，此時使用execute_script()方法即可實現，代碼如下：

from selenium import webdriver
 
browser = webdriver.Chrome()
browser.get('https://www.jd.com/')
browser.execute_script('window.scrollTo(0, document.body.scrollHeight)')
browser.execute_script('alert("123")')

 相關動作行為

from selenium import webdriver
import time
bro = webdriver.Chrome(executable_path='./chromedriver.exe')

bro.get('https://www.taobao.com')

#節點定位 find系列的方法
input_text = bro.find_element_by_id('q')
#節點交互
input_text.send_keys('蘋果')
time.sleep(2)

#執行js程序(js注入)
bro.execute_script('window.scrollTo(0,document.body.scrollHeight)')

btn = bro.find_element_by_css_selector('.btn-search')
btn.click()

time.sleep(3)
bro.quit()

 

 7.獲取頁面源碼數據

　　通過page_source屬性可以獲取網頁的源代碼，接着就可以使用解析庫（如正則表達式、Beautiful Soup、pyquery等）來提取信息了

8.前進和后退

模擬瀏覽器的前進后退
import time
from selenium import webdriver
 
browser=webdriver.Chrome()
browser.get('https://www.baidu.com')
browser.get('https://www.taobao.com')
browser.get('http://www.sina.com.cn/')
 
browser.back()
time.sleep(10)
browser.forward()
browser.close()

 

9.cookie處理

　　使用Selenium，還可以方便地對Cookies進行操作，例如獲取、添加、刪除Cookies等。示例如下：

from selenium import webdriver
 
browser = webdriver.Chrome()
browser.get('https://www.zhihu.com/explore')
print(browser.get_cookies())
browser.add_cookie({'name': 'name', 'domain': 'www.zhihu.com', 'value': 'germey'})
print(browser.get_cookies())
browser.delete_all_cookies()
print(browser.get_cookies())

 

10.異常處理

from selenium import webdriver
from selenium.common.exceptions import TimeoutException,NoSuchElementException,NoSuchFrameException

try:
    browser=webdriver.Chrome()
    browser.get('http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable')
    browser.switch_to.frame('iframssseResult')

except TimeoutException as e:
    print(e)
except NoSuchFrameException as e:
    print(e)
finally:
    browser.close()