在linux和windows中使用selenium

 在linux和windows中使用selenium

一. selenium（瀏覽的人你們多大呀？是AI?）

selenium最初是一個自動化測試工具,而爬蟲中使用它主要是為了解決requests無法直接執行JavaScript代碼的問題 selenium本質是通過驅動瀏覽器，完全模擬瀏覽器的操作，比如跳轉、輸入、點擊、下拉等，來拿到網頁渲染之后的結果，可支持多種瀏覽器

1. 環境安裝

下載安裝selenium：

pip install selenium

下載瀏覽器驅動程序：

http://chromedriver.storage.googleapis.com/index.html

查看驅動和瀏覽器版本的映射關系：

http://blog.csdn.net/huilan_same/article/details/51896672

2. 編碼流程

- 導包: from selenium import webdriver
- 實例化某一款瀏覽器對象
- 制定相關的行為動作

3. 簡單使用/效果展示

from selenium import webdriver
from time import sleep

# 后面是你的瀏覽器驅動位置，記得前面加r'','r'是防止字符轉義的
driver = webdriver.Chrome(r'./chromedriver.exe')
# 用get打開百度頁面
driver.get("http://www.baidu.com")
# 查找頁面的“設置”選項，並進行點擊
driver.find_elements_by_link_text('設置')[0].click()
sleep(2)
# # 打開設置后找到“搜索設置”選項，設置為每頁顯示50條
driver.find_elements_by_link_text('搜索設置')[0].click()
sleep(2)

# 選中每頁顯示50條
m = driver.find_element_by_id('nr')
sleep(2)
m.find_element_by_xpath('//*[@id="nr"]/option[3]').click()
m.find_element_by_xpath('.//option[3]').click()
sleep(2)

# 點擊保存設置
driver.find_elements_by_class_name("prefpanelgo")[0].click()
sleep(2)

# 處理彈出的警告頁面   確定accept() 和 取消dismiss()
driver.switch_to_alert().accept()
sleep(2)
# 找到百度的輸入框，並輸入 美女
driver.find_element_by_id('kw').send_keys('美女')
sleep(2)
# 點擊搜索按鈕
driver.find_element_by_id('su').click()
sleep(2)
# 在打開的頁面中找到“Selenium - 開源中國社區”，並打開這個頁面
driver.find_elements_by_link_text('美女_百度圖片')[0].click()
sleep(3)

# 關閉瀏覽器
driver.quit()

import time
from selenium import webdriver

bro = webdriver.Chrome(executable_path="./chromedriver.exe")
bro.get("https://www.baidu.com")
time.sleep(2)

# 標簽定位
kw = bro.find_element_by_id('kw')
kw.send_keys("汽車")
time.sleep(2)

btn = bro.find_element_by_id("su")
btn.click()
time.sleep(2)

bro.close()

import time
from selenium import webdriver

bro = webdriver.Chrome(executable_path="./chromedriver.exe")
bro.get('https://xueqiu.com')
time.sleep(5)

# 執行js實現滾輪向下滑動
js = 'window.scrollTo(0,document.body.scrollHeight)'
bro.execute_script(js)
time.sleep(2)
bro.execute_script(js)
time.sleep(2)
bro.execute_script(js)
time.sleep(2)
bro.execute_script(js)
time.sleep(2)

a_tag = bro.find_element_by_xpath('//*[@id="app"]/div[3]/div/div[1]/div[3]/div[2]/a')
a_tag.click()
time.sleep(5)

# 獲取當前瀏覽器頁面數據
print(bro.page_source)

bro.quit()

4. 瀏覽器創建

Selenium支持非常多的瀏覽器，如Chrome、Firefox、Edge等，還有Android、BlackBerry等手機端的瀏覽器。另外，也支持無界面瀏覽器PhantomJS。

from selenium import webdriver
  
browser = webdriver.Chrome()
browser = webdriver.Firefox()
browser = webdriver.Edge()
browser = webdriver.PhantomJS()
browser = webdriver.Safari()

5. 元素定位

webdriver 提供了一系列的元素定位方法，常用的有以下幾種：

find_element_by_id()
find_element_by_name()
find_element_by_class_name()
find_element_by_tag_name()
find_element_by_link_text()
find_element_by_partial_link_text()
find_element_by_xpath()
find_element_by_css_selector()

注意:

1、find_element_by_xxx找的是第一個符合條件的標簽，find_elements_by_xxx找的是所有符合條件的標簽。

2、根據ID、CSS選擇器和XPath獲取，它們返回的結果完全一致。

3、另外，Selenium還提供了通用方法find_element()，它需要傳入兩個參數：查找方式By和值。實際上，它就是find_element_by_id()這種方法的通用函數版本，比如find_element_by_id(id)就等價於find_element(By.ID, id)，二者得到的結果完全一致。

6. 節點交互

Selenium可以驅動瀏覽器來執行一些操作，也就是說可以讓瀏覽器模擬執行一些動作。比較常見的用法有：輸入文字時用send_keys()方法，清空文字時用clear()方法，點擊按鈕時用click()方法。示例如下：

from selenium import webdriver
import time
 
browser = webdriver.Chrome()
browser.get('https://www.taobao.com')
input = browser.find_element_by_id('q')
input.send_keys('MAC')
time.sleep(1)
input.clear()
input.send_keys('IPhone')
button = browser.find_element_by_class_name('btn-search')
button.click()
browser.quit()

7. 獲取頁面源碼數據

通過page_source屬性可以獲取網頁的源代碼，接着就可以使用解析庫（如正則表達式、Beautiful Soup、pyquery等）來提取信息了。

import time
from selenium import webdriver

bro = webdriver.Chrome(executable_path="./chromedriver.exe")
bro.get('https://xueqiu.com')
time.sleep(5)

# 使用bro對象的page_source方法獲取當前瀏覽器頁面數據
print(bro.page_source)

bro.quit()

8. 執行JavaScript

對於某些操作，Selenium API並沒有提供。比如，下拉進度條，它可以直接模擬運行JavaScript，此時使用execute_script()方法即可實現，代碼如下：

from selenium import webdriver
 
browser = webdriver.Chrome()
browser.get('https://www.jd.com/')
browser.execute_script('window.scrollTo(0, document.body.scrollHeight)')
browser.execute_script('alert("123")')

9. phantomJS

PhantomJS是一款無界面的瀏覽器，其自動化操作流程和上述操作谷歌瀏覽器是一致的。由於是無界面的，為了能夠展示自動化操作流程，PhantomJS為用戶提供了一個截屏的功能，使用save_screenshot函數實現。

from selenium import webdriver
import time

# phantomjs路徑
path = r'PhantomJS驅動路徑'
browser = webdriver.PhantomJS(path)

# 打開百度
url = 'http://www.baidu.com/'
browser.get(url)

time.sleep(3)

browser.save_screenshot(r'phantomjs\baidu.png')

# 查找input輸入框
my_input = browser.find_element_by_id('kw')
# 往框里面寫文字
my_input.send_keys('美女')
time.sleep(3)
#截屏
browser.save_screenshot(r'phantomjs\meinv.png')

# 查找搜索按鈕
button = browser.find_elements_by_class_name('s_btn')[0]
button.click()

time.sleep(3)

browser.save_screenshot(r'phantomjs\show.png')

time.sleep(3)

browser.quit()

10. 谷歌無頭瀏覽器

由於PhantomJs最近已經停止了更新和維護，所以推薦大家可以使用谷歌的無頭瀏覽器，是一款無界面的谷歌瀏覽器。

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
import time
 
# 創建一個參數對象，用來控制chrome以無界面模式打開
chrome_options = Options()
chrome_options.add_argument('--headless')
chrome_options.add_argument('--disable-gpu')
# 驅動路徑
path = r'C:\Users\ZBLi\Desktop\1801\day05\ziliao\chromedriver.exe'
 
# 創建瀏覽器對象
browser = webdriver.Chrome(executable_path=path, chrome_options=chrome_options)
 
# 上網
url = 'http://www.baidu.com/'
browser.get(url)
time.sleep(3)
 
browser.save_screenshot('baidu.png')
 
browser.quit()

11. 前進和后退 

# 模擬瀏覽器的前進后退
import time
from selenium import webdriver
 
browser=webdriver.Chrome(executable_path='./chromedriver.exe')
browser.get('https://www.baidu.com')
browser.get('https://www.taobao.com')
browser.get('http://www.jd.com/')
 
browser.back()  # 后退
time.sleep(3)
browser.forward()  # 前進
browser.close()

12. 動作鏈

在上面的實例中，一些交互動作都是針對某個節點執行的。比如，對於輸入框，我們就調用它的輸入文字和清空文字方法；對於按鈕，就調用它的點擊方法。其實，還有另外一些操作，它們沒有特定的執行對象，比如鼠標拖曳、鍵盤按鍵等，這些動作用另一種方式來執行，那就是動作鏈。

比如，現在實現一個節點的拖曳操作，將某個節點從一處拖曳到另外一處，可以這樣實現：

# 動作鏈
import time
from selenium import webdriver
from selenium.webdriver import ActionChains  # 動作鏈
from selenium.webdriver import ChromeOptions

bro = webdriver.Chrome(executable_path='./chromedriver.exe')
url = "http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable"
bro.get(url=url)

# 如果定位的標簽存在於iframe標簽之中, 則必須經過switch_to操作再進行標簽定位
bro.switch_to.frame("iframeResult")
source_tag = bro.find_element_by_id('draggable')

# 實例化一個動作鏈對象
action = ActionChains(bro)
action.click_and_hold(source_tag)  # 點擊並保持(長按)

for i in range(4):
    action.move_by_offset(20,0)  # 移動象素
    time.sleep(1)

# 使用perform()方法執行動作鏈
action.perform()

bro.quit()

# 動作鏈
import time
from selenium import webdriver
from selenium.webdriver import ActionChains  # 動作鏈
from selenium.webdriver import ChromeOptions

bro = webdriver.Chrome(executable_path='./chromedriver.exe')
url = "http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable"
bro.get(url=url)

# 如果定位的標簽存在於iframe標簽之中, 則必須經過switch_to操作再進行標簽定位
bro.switch_to.frame("iframeResult")
source_tag = bro.find_element_by_id('draggable')
target_tag = bro.find_element_by_id('droppable')

# 實例化一個動作鏈對象
action = ActionChains(bro)
action.click_and_hold(source_tag)
time.sleep(1)

for i in range(0, 5):
    action.move_by_offset(20, 0)
action.drag_and_drop(source_tag, target_tag)

# 表示開始執行動作鏈
action.perform()
time.sleep(2)

bro.quit()

Cookie處理

使用Selenium，還可以方便地對Cookies進行操作，例如獲取、添加、刪除Cookies等。示例如下：

from selenium import webdriver
 
browser = webdriver.Chrome()
browser.get('https://www.zhihu.com/explore')
print(browser.get_cookies())
browser.add_cookie({'name': 'name', 'domain': 'www.zhihu.com', 'value': 'germey'})
print(browser.get_cookies())
browser.delete_all_cookies()
print(browser.get_cookies())

異常處理

from selenium import webdriver
from selenium.common.exceptions import TimeoutException,NoSuchElementException,NoSuchFrameException

try:
    browser=webdriver.Chrome()
    browser.get('http://www.runoob.com/try/try.php?filename=jqueryui-api-droppable')
    browser.switch_to.frame('iframssseResult')

except TimeoutException as e:
    print(e)
except NoSuchFrameException as e:
    print(e)
finally:
    browser.close()

三 selenium相關案例

登錄qq空間，爬取數據

import requests
from selenium import webdriver
from lxml import etree
import time

driver = webdriver.Chrome(executable_path='/Users/bobo/Desktop/chromedriver')
driver.get('https://qzone.qq.com/')
#在web 應用中經常會遇到frame 嵌套頁面的應用，使用WebDriver 每次只能在一個頁面上識別元素，對於frame 嵌套內的頁面上的元
素，直接定位是定位是定位不到的。這個時候就需要通過switch_to_frame()方法將當前定位的主體切換了frame 里。
driver.switch_to.frame('login_frame')
driver.find_element_by_id('switcher_plogin').click()

#driver.find_element_by_id('u').clear()
driver.find_element_by_id('u').send_keys('328410948')  #這里填寫你的QQ號
#driver.find_element_by_id('p').clear()
driver.find_element_by_id('p').send_keys('xxxxxx')  #這里填寫你的QQ密碼
    
driver.find_element_by_id('login_button').click()
time.sleep(2)
driver.execute_script('window.scrollTo(0,document.body.scrollHeight)')
time.sleep(2)
driver.execute_script('window.scrollTo(0,document.body.scrollHeight)')
time.sleep(2)
driver.execute_script('window.scrollTo(0,document.body.scrollHeight)')
time.sleep(2)
page_text = driver.page_source

tree = etree.HTML(page_text)
#執行解析操作
li_list = tree.xpath('//ul[@id="feed_friend_list"]/li')
for li in li_list:
    text_list = li.xpath('.//div[@class="f-info"]//text()|.//div[@class="f-info qz_info_cut"]//text()')
    text = ''.join(text_list)
    print(text+'\n\n\n')
    
driver.close()

盡可能多的爬取豆瓣網中的電影信息

from selenium import webdriver
from time import sleep
import time

if __name__ == '__main__':
    url = 'https://movie.douban.com/typerank?type_name=%E6%81%90%E6%80%96&type=20&interval_id=100:90&action='
    # 發起請求前，可以讓url表示的頁面動態加載出更多的數據
    path = r'C:\Users\Administrator\Desktop\爬蟲授課\day05\ziliao\phantomjs-2.1.1-windows\bin\phantomjs.exe'
    # 創建無界面的瀏覽器對象
    bro = webdriver.PhantomJS(path)
    # 發起url請求
    bro.get(url)
    time.sleep(3)
    # 截圖
    bro.save_screenshot('1.png')

    # 執行js代碼（讓滾動條向下偏移n個像素（作用：動態加載了更多的電影信息））
    js = 'window.scrollTo(0,document.body.scrollHeight)'
    bro.execute_script(js)  # 該函數可以執行一組字符串形式的js代碼
    time.sleep(2)

    bro.execute_script(js)  # 該函數可以執行一組字符串形式的js代碼
    time.sleep(2)
    bro.save_screenshot('2.png') 
    time.sleep(2) 
    # 使用爬蟲程序爬去當前url中的內容 
    html_source = bro.page_source # 該屬性可以獲取當前瀏覽器的當前頁的源碼（html） 
    with open('./source.html', 'w', encoding='utf-8') as fp: 
        fp.write(html_source) 
    bro.quit()

爬取今日頭條科技版塊的頭條標題，並將其保存到指定文件中

from selenium import webdriver
from lxml import etree
from pyquery import PyQuery as pq
import time

driver = webdriver.Chrome() # 實例化
driver.maximize_window()    # 窗口最大化
driver.get('https://www.toutiao.com/')
driver.implicitly_wait(10)  # 隱性等待10s【必須有，多加幾個】
driver.find_element_by_link_text('科技').click()
driver.implicitly_wait(10)  # 隱性等待10s
for i in range(3):
    js = "var q = document.documentElement.scrollTop="+str(i*500)
    driver.execute_script(js)
    time.sleep(2)
for i in range(10):
    driver.execute_script('window.scrollTo(0, document.body.scrollHeight)')
    time.sleep(2)

time.sleep(5)
page = driver.page_source
doc = pq(page)  # 用pyquery實例化一下
doc = etree.HTML(str(doc))
contents = doc.xpath('//div[@class="wcommonFeed"]/ul/li')
print(contents)  # 這是一個對象
print("--------------------------")
for x in contents:
    title = x.xpath('div/div[1]/div/div[1]/a/text()')
    if title:
        title = title[0]
        with open('toutiao.txt', 'a+', encoding='utf8')as f:
            f.write(title + '\n')
        print(title)
    else:
        pass

driver.close()

selenium規避被檢測識別

現在不少大網站有對selenium采取了監測機制。比如正常情況下我們用瀏覽器訪問淘寶等網站的 window.navigator.webdriver的值為 
undefined。而使用selenium訪問則該值為true。那么如何解決這個問題呢？

只需要設置Chromedriver的啟動參數即可解決問題。在啟動Chromedriver之前，為Chrome開啟實驗性功能參數excludeSwitches，它的值為['enable-automation']，完整代碼如下：

from selenium.webdriver import Chrome
from selenium.webdriver import ChromeOptions

option = ChromeOptions()
option.add_experimental_option('excludeSwitches', ['enable-automation'])
driver = Chrome(options=option)