爬蟲(Spider),反爬蟲(Anti-Spider),反反爬蟲(Anti-Anti-Spider) 之間恢宏壯闊的斗爭...
Day 1
小莫想要某站上所有的電影,寫了標准的爬蟲(基於HttpClient庫),不斷地遍歷某站的電影列表頁面,根據 Html 分析電影名字存進自己的數據庫。
這個站點的運維小黎發現某個時間段請求量陡增,分析日志發現都是 IP(xxx.xxx.xxx.xxx)這個用戶,並且 user-agent 還是 Python-urllib/2.7 ,基於這兩點判斷非人類后直接在服務器上封殺。
Day 2
小莫電影只爬了一半,於是也針對性的變換了下策略:1. user-agent 模仿百度("Baiduspider..."),2. IP每爬半個小時就換一個IP代理。
小黎也發現了對應的變化,於是在服務器上設置了一個頻率限制,每分鍾超過120次請求的再屏蔽IP。 同時考慮到百度家的爬蟲有可能會被誤傷,想想市場部門每月幾十萬的投放,於是寫了個腳本,通過 hostname 檢查下這個 ip 是不是真的百度家的,對這些 ip 設置一個白名單。
Day 3
小莫發現了新的限制后,想着我也不急着要這些數據,留給服務器慢慢爬吧,於是修改了代碼,隨機1-3秒爬一次,爬10次休息10秒,每天只在8-12,18-20點爬,隔幾天還休息一下。
小黎看着新的日志頭都大了,再設定規則不小心會誤傷真實用戶,於是准備換了一個思路,當3個小時的總請求超過50次的時候彈出一個驗證碼彈框,沒有准確正確輸入的話就把 IP 記錄進黑名單。
Day 4
小莫看到驗證碼有些傻臉了,不過也不是沒有辦法,先去學習了圖像識別(關鍵詞 PIL,tesseract),再對驗證碼進行了二值化,分詞,模式訓練之后,總之最后識別了小黎的驗證碼(關於驗證碼,驗證碼的識別,驗證碼的反識別也是一個恢弘壯麗的斗爭史...),之后爬蟲又跑了起來。
小黎是個不折不撓的好同學,看到驗證碼被攻破后,和開發同學商量了變化下開發模式,數據並不再直接渲染,而是由前端同學異步獲取,並且通過 JavaScript 的加密庫生成動態的 token,同時加密庫再進行混淆(比較重要的步驟的確有網站這樣做,參見淘寶和微博的登陸流程)。
Day 5
混淆過的加密庫就沒有辦法了么?當然不是,可以慢慢調試,找到加密原理,不過小莫不准備用這么耗時耗力的方法,他放棄了基於 HttpClient的爬蟲,選擇了內置瀏覽器引擎的爬蟲(關鍵詞:PhantomJS,Selenium),在瀏覽器引擎運行頁面,直接獲取了正確的結果,又一次拿到了對方的數據。
小黎:.....
爬蟲與發爬蟲的斗爭還在繼續...
通常情況下,在爬蟲與反爬蟲的對弈中,爬蟲一定會勝利。
換言之,只要人類能夠正常訪問的網頁,爬蟲在具備同等資源
的情況下就一定可以抓取到。
關於爬蟲部分一些建議:
-
盡量減少請求次數,能抓列表頁就不抓詳情頁,減輕服務器壓力,程序員都是混口飯吃不容易。
-
不要只看 Web 網站,還有手機 App 和 H5,這樣的反爬蟲措施一般比較少。
-
實際應用時候,一般防守方做到根據 IP 限制頻次就結束了,除非很核心的數據,不會再進行更多的驗證,畢竟成本的問題會考慮到。
-
如果真的對性能要求很高,可以考慮多線程(一些成熟的框架如 Scrapy都已支持),甚至分布式...
關於反爬蟲部分的一些建議:
JavaScript
JavaScript 是網絡上最常用也是支持者最多的客戶端腳本語言。它可以收集 用戶的跟蹤數據,不需要重載頁面直接提交表單,在頁面嵌入多媒體文件,甚至運行網頁游戲。
我們可以在網頁源代碼的<scripy>
標簽里看到,比如:
<script type="text/javascript" src="https://statics.huxiu.com/w/mini/static_2015/js/sea.js?v=201601150944"></script>
jQuery
jQuery 是一個十分常見的庫,70% 最流行的網站(約 200 萬)和約 30% 的其他網站(約 2 億)都在使用。一個網站使用 jQuery 的特征,就是源代碼里包含了 jQuery 入口,比如:
<script type="text/javascript" src="https://statics.huxiu.com/w/mini/static_2015/js/jquery-1.11.1.min.js?v=201512181512"></script>
如果你在一個網站上看到了 jQuery,那么采集這個網站數據的時候要格外小心。jQuery 可 以動態地創建 HTML 內容,只有在 JavaScript 代碼執行之后才會顯示。如果你用傳統的方 法采集頁面內容,就只能獲得 JavaScript 代碼執行之前頁面上的內容。
Ajax
我們與網站服務器通信的唯一方式,就是發出 HTTP 請求獲取新頁面。如果提交表單之后,或從服務器獲取信息之后,網站的頁面不需要重新刷新,那么你訪問的網站就在用Ajax 技術。
Ajax 其實並不是一門語言,而是用來完成網絡任務(可以認為 它與網絡數據采集差不多)的一系列技術。Ajax 全稱是 Asynchronous JavaScript and XML(異步 JavaScript 和 XML),網站不需要使用單獨的頁面請求就可以和網絡服務器進行交互 (收發信息)。
DHTML
Ajax 一樣,動態 HTML(Dynamic HTML, DHTML)也是一系列用於解決網絡問題的 技術集合。DHTML 是用客戶端語言改變頁面的 HTML 元素(HTML、CSS,或者二者皆 被改變)。比如頁面上的按鈕只有當用戶移動鼠標之后才出現,背景色可能每次點擊都會改變,或者用一個 Ajax 請求觸發頁面加載一段新內容,網頁是否屬於DHTML,關鍵要看有沒有用 JavaScript 控制 HTML 和 CSS 元素。
那么,如何搞定?
那些使用了 Ajax 或 DHTML 技術改變 / 加載內容的頁面,可能有一些采集手段。但是用 Python 解決這個問題只有兩種途徑:
- 直接從 JavaScript 代碼里采集內容(費時費力)
- 用 Python 的 第三方庫運行 JavaScript,直接采集你在瀏覽器里看到的頁面(這個可以有)。
Selenium
Selenium是一個Web的自動化測試工具,最初是為網站自動化測試而開發的,類型像我們玩游戲用的按鍵精靈,可以按指定的命令自動操作,不同是Selenium 可以直接運行在瀏覽器上,它支持所有主流的瀏覽器(包括PhantomJS這些無界面的瀏覽器)。
Selenium 可以根據我們的指令,讓瀏覽器自動加載頁面,獲取需要的數據,甚至頁面截屏,或者判斷網站上某些動作是否發生。
Selenium 自己不帶瀏覽器,不支持瀏覽器的功能,它需要與第三方瀏覽器結合在一起才能使用。但是我們有時候需要讓它內嵌在代碼中運行,所以我們可以用一個叫 PhantomJS 的工具代替真實的瀏覽器。
可以從 PyPI 網站下載 Selenium庫https://pypi.python.org/simple/selenium ,也可以用 第三方管理器 pip用命令安裝:
pip install selenium
Selenium 官方參考文檔:http://selenium-python.readthedocs.io/index.html
PhantomJS
PhantomJS 是一個基於Webkit的“無界面”(headless)瀏覽器,它會把網站加載到內存並執行頁面上的 JavaScript,因為不會展示圖形界面,所以運行起來比完整的瀏覽器要高效。
如果我們把 Selenium 和 PhantomJS 結合在一起,就可以運行一個非常強大的網絡爬蟲了,這個爬蟲可以處理 JavaScrip、Cookie、headers,以及任何我們真實用戶需要做的事情。
注意:PhantomJS 只能從它的官方網站http://phantomjs.org/download.html) 下載。 因為 PhantomJS 是一個功能完善(雖然無界面)的瀏覽器而非一個 Python 庫,所以它不需要像 Python 的其他庫一樣安裝,但我們可以通過Selenium調用PhantomJS來直接使用。
PhantomJS 官方參考文檔:http://phantomjs.org/documentation
快速入門
Selenium 庫里有個叫 WebDriver 的 API。WebDriver 有點兒像可以加載網站的瀏覽器,但是它也可以像 BeautifulSoup 或者其他 Selector 對象一樣用來查找頁面元素,與頁面上的元素進行交互 (發送文本、點擊等),以及執行其他動作來運行網絡爬蟲。
# IPython2 測試代碼
# 導入 webdriver
from selenium import webdriver
# 要想調用鍵盤按鍵操作需要引入keys包
from selenium.webdriver.common.keys import Keys
# 調用環境變量指定的PhantomJS瀏覽器創建瀏覽器對象
driver = webdriver.PhantomJS()
# 如果沒有在環境變量指定PhantomJS位置
# driver = webdriver.PhantomJS(executable_path="./phantomjs"))
# get方法會一直等到頁面被完全加載,然后才會繼續程序,通常測試會在這里選擇 time.sleep(2)
driver.get("http://www.baidu.com/")
# 獲取頁面名為 wrapper的id標簽的文本內容
data = driver.find_element_by_id("wrapper").text
# 打印數據內容
print data
# 打印頁面標題 "百度一下,你就知道"
print driver.title
# 生成當前頁面快照並保存
driver.save_screenshot("baidu.png")
# id="kw"是百度搜索輸入框,輸入字符串"長城"
driver.find_element_by_id("kw").send_keys(u"長城")
# id="su"是百度搜索按鈕,click() 是模擬點擊
driver.find_element_by_id("su").click()
# 獲取新的頁面快照
driver.save_screenshot("長城.png")
# 打印網頁渲染后的源代碼
print driver.page_source
# 獲取當前頁面Cookie
print driver.get_cookies()
# ctrl+a 全選輸入框內容
driver.find_element_by_id("kw").send_keys(Keys.CONTROL,'a')
# ctrl+x 剪切輸入框內容
driver.find_element_by_id("kw").send_keys(Keys.CONTROL,'x')
# 輸入框重新輸入內容
driver.find_element_by_id("kw").send_keys("itcast")
# 模擬Enter回車鍵
driver.find_element_by_id("su").send_keys(Keys.RETURN)
# 清除輸入框內容
driver.find_element_by_id("kw").clear()
# 生成新的頁面快照
driver.save_screenshot("itcast.png")
# 獲取當前url
print driver.current_url
# 關閉當前頁面,如果只有一個頁面,會關閉瀏覽器
# driver.close()
# 關閉瀏覽器
driver.quit()
頁面操作
Selenium 的 WebDriver提供了各種方法來尋找元素,假設下面有一個表單輸入框:
<input type="text" name="user-name" id="passwd-id" />
那么:
# 獲取id標簽值
element = driver.find_element_by_id("passwd-id")
# 獲取name標簽值
element = driver.find_element_by_name("user-name")
# 獲取標簽名值
element = driver.find_elements_by_tag_name("input")
# 也可以通過XPath來匹配
element = driver.find_element_by_xpath("//input[@id='passwd-id']")
定位UI元素 (WebElements)
關於元素的選取,有如下的API 單個元素選取
find_element_by_id
find_elements_by_name
find_elements_by_xpath
find_elements_by_link_text
find_elements_by_partial_link_text
find_elements_by_tag_name
find_elements_by_class_name
find_elements_by_css_selector
-
By ID
<div id="coolestWidgetEvah">...</div>
-
實現
element = driver.find_element_by_id("coolestWidgetEvah") ------------------------ or ------------------------- from selenium.webdriver.common.by import By element = driver.find_element(by=By.ID, value="coolestWidgetEvah")
-
-
By Class Name
<div class="cheese"><span>Cheddar</span></div><div class="cheese"><span>Gouda</span></div>
-
實現
cheeses = driver.find_elements_by_class_name("cheese") ------------------------ or ------------------------- from selenium.webdriver.common.by import By cheeses = driver.find_elements(By.CLASS_NAME, "cheese")
-
-
By Tag Name
<iframe src="..."></iframe>
-
實現
frame = driver.find_element_by_tag_name("iframe") ------------------------ or ------------------------- from selenium.webdriver.common.by import By frame = driver.find_element(By.TAG_NAME, "iframe")
-
-
By Name
<input name="cheese" type="text"/>
-
實現
cheese = driver.find_element_by_name("cheese") ------------------------ or ------------------------- from selenium.webdriver.common.by import By cheese = driver.find_element(By.NAME, "cheese")
-
-
By Link Text
<a href="http://www.google.com/search?q=cheese">cheese</a>
-
實現
cheese = driver.find_element_by_link_text("cheese") ------------------------ or ------------------------- from selenium.webdriver.common.by import By cheese = driver.find_element(By.LINK_TEXT, "cheese")
-
-
By Partial Link Text
<a href="http://www.google.com/search?q=cheese">search for cheese</a>>
-
實現
cheese = driver.find_element_by_partial_link_text("cheese") ------------------------ or ------------------------- from selenium.webdriver.common.by import By cheese = driver.find_element(By.PARTIAL_LINK_TEXT, "cheese")
-
-
By CSS
- 實現
-
<div id="food"><span class="dairy">milk</span><span class="dairy aged">cheese</span></div> cheese = driver.find_element_by_css_selector("#food span.dairy.aged") ------------------------ or ------------------------- from selenium.webdriver.common.by import By cheese = driver.find_element(By.CSS_SELECTOR, "#food span.dairy.aged")
-
By XPath
-
<input type="text" name="example" /> <INPUT type="text" name="other" /> 實現 inputs = driver.find_elements_by_xpath("//input") ------------------------ or ------------------------- from selenium.webdriver.common.by import By inputs = driver.find_elements(By.XPATH, "//input")
-
鼠標動作鏈
有些時候,我們需要再頁面上模擬一些鼠標操作,比如雙擊、右擊、拖拽甚至按住不動等,我們可以通過導入 ActionChains 類來做到:
示例:
#導入 ActionChains 類
from selenium.webdriver import ActionChains
# 鼠標移動到 ac 位置
ac = driver.find_element_by_xpath('element')
ActionChains(driver).move_to_element(ac).perform()
# 在 ac 位置單擊
ac = driver.find_element_by_xpath("elementA")
ActionChains(driver).move_to_element(ac).click(ac).perform()
# 在 ac 位置雙擊
ac = driver.find_element_by_xpath("elementB")
ActionChains(driver).move_to_element(ac).double_click(ac).perform()
# 在 ac 位置右擊
ac = driver.find_element_by_xpath("elementC")
ActionChains(driver).move_to_element(ac).context_click(ac).perform()
# 在 ac 位置左鍵單擊hold住
ac = driver.find_element_by_xpath('elementF')
ActionChains(driver).move_to_element(ac).click_and_hold(ac).perform()
# 將 ac1 拖拽到 ac2 位置
ac1 = driver.find_element_by_xpath('elementD')
ac2 = driver.find_element_by_xpath('elementE')
ActionChains(driver).drag_and_drop(ac1, ac2).perform()
填充表單
我們已經知道了怎樣向文本框中輸入文字,但是有時候我們會碰到<select> </select>
標簽的下拉框。直接點擊下拉框中的選項不一定可行。
<select id="status" class="form-control valid" onchange="" name="status"> <option value=""></option> <option value="0">未審核</option> <option value="1">初審通過</option> <option value="2">復審通過</option> <option value="3">審核不通過</option> </select>
Selenium專門提供了Select類來處理下拉框。 其實 WebDriver 中提供了一個叫 Select 的方法,可以幫助我們完成這些事情:
# 導入 Select 類
from selenium.webdriver.support.ui import Select
# 找到 name 的選項卡
select = Select(driver.find_element_by_name('status'))
#
select.select_by_index(1)
select.select_by_value("0")
select.select_by_visible_text(u"未審核")
以上是三種選擇下拉框的方式,它可以根據索引來選擇,可以根據值來選擇,可以根據文字來選擇。注意:
- index 索引從 0 開始
- value是option標簽的一個屬性值,並不是顯示在下拉框中的值
- visible_text是在option標簽文本的值,是顯示在下拉框的值
全部取消選擇怎么辦呢?很簡單:
select.deselect_all()
彈窗處理
當你觸發了某個事件之后,頁面出現了彈窗提示,處理這個提示或者獲取提示信息方法如下:
alert = driver.switch_to_alert()
頁面切換
一個瀏覽器肯定會有很多窗口,所以我們肯定要有方法來實現窗口的切換。切換窗口的方法如下:
driver.switch_to.window("this is window name")
也可以使用 window_handles 方法來獲取每個窗口的操作對象。例如:
for handle in driver.window_handles:
driver.switch_to_window(handle)
頁面前進和后退
操作頁面的前進和后退功能:
driver.forward() #前進
driver.back() # 后退
Cookies
獲取頁面每個Cookies值,用法如下
for cookie in driver.get_cookies():
print "%s -> %s" % (cookie['name'], cookie['value'])
刪除Cookies,用法如下
# By name
driver.delete_cookie("CookieName")
# all
driver.delete_all_cookies()
頁面等待
注意:這是非常重要的一部分!!
現在的網頁越來越多采用了 Ajax 技術,這樣程序便不能確定何時某個元素完全加載出來了。如果實際頁面等待時間過長導致某個dom元素還沒出來,但是你的代碼直接使用了這個WebElement,那么就會拋出NullPointer的異常。
為了避免這種元素定位困難而且會提高產生 ElementNotVisibleException 的概率。所以 Selenium 提供了兩種等待方式,一種是隱式等待,一種是顯式等待。
隱式等待是等待特定的時間,顯式等待是指定某一條件直到這個條件成立時繼續執行。
顯式等待
顯式等待指定某個條件,然后設置最長等待時間。如果在這個時間還沒有找到元素,那么便會拋出異常了。
from selenium import webdriver
from selenium.webdriver.common.by import By
# WebDriverWait 庫,負責循環等待
from selenium.webdriver.support.ui import WebDriverWait
# expected_conditions 類,負責條件出發
from selenium.webdriver.support import expected_conditions as EC
driver = webdriver.Chrome()
driver.get("http://www.xxxxx.com/loading")
try:
# 頁面一直循環,直到 id="myDynamicElement" 出現
element = WebDriverWait(driver, 10).until(
EC.presence_of_element_located((By.ID, "myDynamicElement"))
)
finally:
driver.quit()
如果不寫參數,程序默認會 0.5s 調用一次來查看元素是否已經生成,如果本來元素就是存在的,那么會立即返回。
下面是一些內置的等待條件,你可以直接調用這些條件,而不用自己寫某些等待條件了。
title_is
title_contains
presence_of_element_located
visibility_of_element_located
visibility_of
presence_of_all_elements_located
text_to_be_present_in_element
text_to_be_present_in_element_value
frame_to_be_available_and_switch_to_it
invisibility_of_element_located
element_to_be_clickable – it is Displayed and Enabled.
staleness_of
element_to_be_selected
element_located_to_be_selected
element_selection_state_to_be
element_located_selection_state_to_be
alert_is_present
隱式等待
隱式等待比較簡單,就是簡單地設置一個等待時間,單位為秒。
from selenium import webdriver
driver = webdriver.Chrome()
driver.implicitly_wait(10) # seconds
driver.get("http://www.xxxxx.com/loading")
myDynamicElement = driver.find_element_by_id("myDynamicElement")
當然如果不設置,默認等待時間為0。
案例一:網站模擬登錄
# douban.py
from selenium import webdriver
from selenium.webdriver.common.keys import Keys
import time
driver = webdriver.PhantomJS()
driver.get("http://www.douban.com")
# 輸入賬號密碼
driver.find_element_by_name("form_email").send_keys("xxxxx@xxxx.com")
driver.find_element_by_name("form_password").send_keys("xxxxxxxx")
# 模擬點擊登錄
driver.find_element_by_xpath("//input[@class='bn-submit']").click()
# 等待3秒
time.sleep(3)
# 生成登陸后快照
driver.save_screenshot("douban.png")
with open("douban.html", "w") as file:
file.write(driver.page_source)
driver.quit()
案例二:動態頁面模擬點擊
#!/usr/bin/env python
# -*- coding:utf-8 -*-
# python的測試模塊
import unittest
from selenium import webdriver
from bs4 import BeautifulSoup
class douyuSelenium(unittest.TestCase):
# 初始化方法
def setUp(self):
self.driver = webdriver.PhantomJS()
#具體的測試用例方法,一定要以test開頭
def testDouyu(self):
self.driver.get('http://www.douyu.com/directory/all')
while True:
# 指定xml解析
soup = BeautifulSoup(driver.page_source, 'xml')
# 返回當前頁面所有房間標題列表 和 觀眾人數列表
titles = soup.find_all('h3', {'class': 'ellipsis'})
nums = soup.find_all('span', {'class': 'dy-num fr'})
# 使用zip()函數來可以把列表合並,並創建一個元組對的列表[(1,2), (3,4)]
for title, num in zip(nums, titles):
print u"觀眾人數:" + num.get_text().strip(), u"\t房間標題: " + title.get_text().strip()
# page_source.find()未找到內容則返回-1
if driver.page_source.find('shark-pager-disable-next') != -1:
break
# 模擬下一頁點擊
self.driver.find_element_by_class_name('shark-pager-next').click()
# 退出時的清理方法
def tearDown(self):
print '加載完成...'
self.driver.quit()
if __name__ == "__main__":
unittest.main()
案例二:動態頁面模擬點擊
#!/usr/bin/env python
# -*- coding:utf-8 -*-
# python的測試模塊
import unittest
from selenium import webdriver
from bs4 import BeautifulSoup
class douyuSelenium(unittest.TestCase):
# 初始化方法
def setUp(self):
self.driver = webdriver.PhantomJS()
#具體的測試用例方法,一定要以test開頭
def testDouyu(self):
self.driver.get('http://www.douyu.com/directory/all')
while True:
# 指定xml解析
soup = BeautifulSoup(driver.page_source, 'xml')
# 返回當前頁面所有房間標題列表 和 觀眾人數列表
titles = soup.find_all('h3', {'class': 'ellipsis'})
nums = soup.find_all('span', {'class': 'dy-num fr'})
# 使用zip()函數來可以把列表合並,並創建一個元組對的列表[(1,2), (3,4)]
for title, num in zip(nums, titles):
print u"觀眾人數:" + num.get_text().strip(), u"\t房間標題: " + title.get_text().strip()
# page_source.find()未找到內容則返回-1
if driver.page_source.find('shark-pager-disable-next') != -1:
break
# 模擬下一頁點擊
self.driver.find_element_by_class_name('shark-pager-next').click()
# 退出時的清理方法
def tearDown(self):
print '加載完成...'
self.driver.quit()
if __name__ == "__main__":
unittest.main()
案例三:執行 JavaScript 語句
- 隱藏百度圖片
from selenium import webdriver
driver = webdriver.PhantomJS()
driver.get("https://www.baidu.com/")
# 給搜索輸入框標紅的javascript腳本
js = "var q=document.getElementById(\"kw\");q.style.border=\"2px solid red\";"
# 調用給搜索輸入框標紅js腳本
driver.execute_script(js)
#查看頁面快照
driver.save_screenshot("redbaidu.png")
#js隱藏元素,將獲取的圖片元素隱藏
img = driver.find_element_by_xpath("//*[@id='lg']/img")
driver.execute_script('$(arguments[0]).fadeOut()',img)
# 向下滾動到頁面底部
driver.execute_script("$('.scroll_top').click(function(){$('html,body').animate({scrollTop: '0px'}, 800);});")
#查看頁面快照
driver.save_screenshot("nullbaidu.png")
driver.quit()
- 模擬滾動條滾動到底部
# from selenium import webdriver import time driver = webdriver.PhantomJS() driver.get("https://movie.douban.com/typerank?type_name=劇情&type=11&interval_id=100:90&action=") # 向下滾動10000像素 js = "document.body.scrollTop=10000" #js="var q=document.documentElement.scrollTop=10000" time.sleep(3) #查看頁面快照 driver.save_screenshot("douban.png") # 執行JS語句 driver.execute_script(js) time.sleep(10) #查看頁面快照 driver.save_screenshot("newdouban.png") driver.quit()