1. 前言
對於一張網頁，我們往往希望它是結構良好，內容清晰的，這樣搜索引擎才能准確地認知它。
而反過來，又有一些情景，我們不希望內容能被輕易獲取，比方說電商網站的交易額，教育網站的題目等。因為這些內容，往往是一個產品的生命線，必須做到有效地保護。這就是爬蟲與反爬蟲這一話題的由來。
對於圖片進行爬蟲整體操作過程可分為三個步驟：
獲取頁面信息
讀取圖片鏈接
將圖片保存在本地指定目錄下
2. 常見反爬蟲策略
但是世界上沒有一個網站，能做到完美地反爬蟲。
如果頁面希望能在用戶面前正常展示，同時又不給爬蟲機會，就必須要做到識別真人與機器人。因此工程師們做了各種嘗試，這些策略大多采用於后端，也是目前比較常規單有效的手段，比如：
- User-Agent + Referer檢測
- 賬號及Cookie驗證
- 驗證碼
- IP限制頻次
而爬蟲是可以無限逼近於真人的，比如：
- chrome headless或phantomjs來模擬瀏覽器環境
- tesseract識別驗證碼
- 代理IP淘寶就能買到
所以我們說，100%的反爬蟲策略？不存在的。
更多的是體力活，是個難易程度的問題。
不過作為前端工程師，我們可以增加一下游戲難度，設計出一些很(sang)有(xin)意(bing)思(kuang)的反爬蟲策略。
3. 前端與反爬蟲
3.1 FONT-FACE拼湊式
例子：貓眼電影
貓眼電影里，對於票房數據，展示的並不是純粹的數字。
頁面使用了font-face定義了字符集，並通過unicode去映射展示。也就是說，除去圖像識別，必須同時爬取字符集，才能識別出數字。
並且，每次刷新頁面，字符集的url都是有變化的，無疑更大難度地增加了爬取成本。
3.2 BACKGROUND拼湊式
例子：美團
與font的策略類似，美團里用到的是background拼湊。數字其實是圖片，根據不同的background偏移，顯示出不同的字符。
並且不同頁面，圖片的字符排序也是有區別的。不過理論上只需生成0-9與小數點，為何有重復字符就不是很懂。
3.3 字符穿插式
例子：微信公眾號文章
某些微信公眾號的文章里，穿插了各種迷之字符，並且通過樣式把這些字符隱藏掉。
這種方式雖然令人震驚…但其實沒有太大的識別與過濾難度，甚至可以做得更好，不過也算是一種腦洞吧。
3.4 偽元素隱藏式
例子：汽車之家
汽車之家里，把關鍵的廠商信息，做到了偽元素的content里。
這也是一種思路：爬取網頁，必須得解析css，需要拿到偽元素的content，這就提升了爬蟲的難度。
3.5 元素定位覆蓋式
例子：去哪兒
還有熱愛數學的去哪兒，對於一個4位數字的機票價格，先用四個i標簽渲染，再用兩個b標簽去絕對定位偏移量，覆蓋故意展示錯誤的i標簽，最后在視覺上形成正確的價格…
這說明爬蟲會解析css還不行，還得會做數學題。
3.6 IFRAME異步加載式
例子：網易雲音樂
網易雲音樂頁面一打開，html源碼里幾乎只有一個iframe，並且它的src是空白的：about:blank。接着js開始運行，把整個頁面的框架異步塞到了iframe里面….
不過這個方式帶來的難度並不大，只是在異步與iframe處理上繞了個彎（或者有其他原因，不完全是基於反爬蟲考慮），無論你是用selenium還是phantom，都有API可以拿到iframe里面的content信息。
3.7 字符分割式
例子：全網代理IP
在一些展示代理IP信息的頁面，對於IP的保護也是大費周折。
他們會先把IP的數字與符號分割成dom節點，再在中間插入迷惑人的數字，如果爬蟲不知道這個策略，還會以為自己成功拿到了數值；不過如果爬蟲注意到，就很好解決了。
3.8 字符集替換式
例子：去哪兒移動側
同樣會欺騙爬蟲的還有去哪兒的移動版。
html里明明寫的3211，視覺上展示的卻是1233。原來他們重新定義了字符集，3與1的順序剛好調換得來的結果…
4.實例：對百度圖庫進行爬蟲
import re
import os
import time
import requests
# from selenium import webdriver
#########################
###此段代碼不需要關心啥意思###
#########################
if not os.path.exists('百度圖片'):
os.mkdir('百度圖片')
#####################
###限制30張圖片的代碼###
####################
# 獲取所有圖片
response = requests.get(
'http://image.baidu.com/search/index?ct=201326592&cl=2&st=-1&lm=-1&nc=1&ie=utf-8&tn=baiduimage&ipn=r&rps=1&pv=&fm=rs7&word=風景')
data = response.text
img_desc_dics = re.findall("app.setData(\('imgData.*?\));", data, re.S)[0]
img_desc_dics = eval(str(img_desc_dics))
# 獲取所有圖片的數據
img_datas = img_desc_dics[1]['data']
count = 0
for img_data in img_datas:
# 獲取搜索圖片的參數
os_ = img_data.get('os')
cs_ = img_data.get('cs')
if os_ and cs_:
# 獲取搜索圖片的信息
img_search_url = f'http://image.baidu.com/search/detail?ct=503316480&z=0&ipn=d&word=%E9%A3%8E%E6%99%AF&step_word=&hs=0&pn=1&spn=0&di=195030&pi=0&rn=1&tn=baiduimagedetail&is=0%2C0&istype=0&ie=utf-8&oe=utf-8&in=&cl=2&lm=-1&st=-1&cs={cs_}&os={os_}'
img_search_response = requests.get(img_search_url)
img_search_data = img_search_response.text
# 獲取圖片信息
img_url = re.findall('''\('firstSc'\);" src="(.*?)"''', img_search_data)[0]
img_name = img_url.split('/')[-1]
img_name = os.path.join('百度圖片', img_name) # 拼接出圖片的地址，如 百度圖片/3822951_144045377000_2.jpg
# 保存圖片
img_response = requests.get(img_url)
img_data = img_response.content
fw = open(img_name, 'wb')
fw.write(img_data)
fw.flush()
# 提示
count += 1
print(f'{img_name}保存成功，成功保存{count}張')
# 防止百度禁ip，慢一點
time.sleep(0.01)
#########################################################################
###自行百度selenium的用法，使用這一套代碼可以無限爬取所有圖片，否則將被限制30張###
## 記得加庫哦
########################################################################
page_count_end = 2 # 爬取 指定數字（10）* 30 = 300張圖片
chrome = webdriver.Chrome()
## 安裝谷歌插件
##http://chromedriver.storage.googleapis.com/index.html?tdsourcetag=s_pcqq_aiomsg
## 查看你電腦的谷歌版本，尋找對應版本進行下載解壓
try:
chrome.implicitly_wait(10)
chrome.get(
'http://image.baidu.com/search/index?ct=201326592&cl=2&st=-1&lm=-1&nc=1&ie=utf-8&tn=baiduimage&ipn=r&rps=1&pv=&fm=rs7&word=風景')
js_code = '''
window.scrollTo(0, document.body.scrollHeight);
var lenOfPage = document.body.scrollHeight;
return lenOfPage
'''
# selenium控制爬取頁數
count = 0
page_count = 0
while page_count < page_count_end:
try:
page_count += 1
chrome.execute_script(js_code)
time.sleep(0.3)
except:
continue
img_desc_search_urls = re.findall('href="(/search/detail\?.*?)"', chrome.page_source, re.S) # re.S使.可以匹配換行符
# 獲取所有圖片的數據
for img_data in img_desc_search_urls:
try:
# 獲取搜索圖片的參數
os_ = re.findall('os=(.*?)&', img_data)[0]
cs_ = re.findall('cs=(.*?)&', img_data)[0]
if os_ and cs_:
# 獲取搜索圖片的信息
img_search_url = f'http://image.baidu.com/search/detail?ct=503316480&z=0&ipn=d&word=%E9%A3%8E%E6%99%AF&step_word=&hs=0&pn=1&spn=0&di=195030&pi=0&rn=1&tn=baiduimagedetail&is=0%2C0&istype=0&ie=utf-8&oe=utf-8&in=&cl=2&lm=-1&st=-1&cs={cs_}&os={os_}'
img_search_response = requests.get(img_search_url)
img_search_data = img_search_response.text
# 獲取圖片信息
img_url = re.findall('''\('firstSc'\);" src="(.*?)"''', img_search_data)[0]
img_name = img_url.split('/')[-1]
img_name = os.path.join('百度圖片', img_name) # 拼接出圖片的地址，如 百度圖片/3822951_144045377000_2.jpg
# 保存圖片
img_response = requests.get(img_url)
img_data = img_response.content
fw = open(img_name, 'wb')
fw.write(img_data)
fw.flush()
# 提示
count += 1
print(f'{img_name}保存成功，成功保存{count}張')
# 防止百度禁ip，慢一點
time.sleep(0.01)
except:
continue
except Exception:
pass
finally:
chrome.close()
結果
由於百度的反扒措施不斷更新，如果想要在一段時間之后進行爬蟲，需要從新尋找規律
5.總結
對於每一個網站進行爬蟲，都是有一定的規律的，每一個網站，尤其是大型網站都是規律的排版，做爬蟲尤其要重視細節，細心決定成敗，將你需要的文字，圖片，或者視頻，文件等，找出他們的鏈接，進行多個分析，耐心找出其中的規律，就是你成功的關鍵。