1引言
曾經使用模擬瀏覽器操作（selenium + webdriver）來寫爬蟲，但是稍微有點反爬的網站都會對selenium和webdriver進行識別，網站只需要在前端js添加一下判斷腳本，很容易就可以判斷出是真人訪問還是webdriver。雖然也可以通過中間代理的方式進行js注入屏蔽webdriver檢測，但是webdriver對瀏覽器的模擬操作（輸入、點擊等等）都會留下webdriver的標記，同樣會被識別出來，要繞過這種檢測，只有重新編譯webdriver，麻煩自不必說，難度不是一般大。
作為selenium+webdriver的優秀替代，pyppeteer就是一個很好的選擇。
2 手動安裝
通過pip使用豆瓣源加速安裝pyppeteer：
pip install -i https://pypi.douban.com/simple pypeteer
按照官方手冊，先來感受一下：
import asyncio from pyppeteer import launch async def main(): browser = await launch(headless=False) page = await browser.newPage() await page.goto('http://www.baidu.com/') await asyncio.sleep(100) await browser.close() asyncio.get_event_loop().run_until_complete(main())
pyppeteer第一次運行時，會自動下載chromium瀏覽器，時間可能會有些長。不過，我第一次運行時，直接報錯：
ssl.SSLCertVerificationError: [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: unable to get local issuer certificate (_ssl.c:1056)
嘗試多種方法無果，無奈只能手動下載，但手動下載的方法網上資料也幾乎沒有，讓我來做這個先行者吧。
上面代碼運行雖然報錯，但是控制台前兩行卻提供了很有用的信息：
[W:pyppeteer.chromium_downloader] start chromium download.
Download may take a few minutes.
可以看到，下載功能是由pyppeteer.chromium_downloader模塊完成的，那么我們進入這個模塊查看源碼。
在這個模塊源碼中，我們可以看到downloadURLs、chromiumExecutable等變量，很明顯指的就是下載鏈接和chromium的可執行文件路徑。我們重點關注一下可執行文件路徑
chromiumExecutable： chromiumExecutable = { 'linux': DOWNLOADS_FOLDER / REVISION / 'chrome-linux' / 'chrome', 'mac': (DOWNLOADS_FOLDER / REVISION / 'chrome-mac' / 'Chromium.app' / 'Contents' / 'MacOS' / 'Chromium'), 'win32': DOWNLOADS_FOLDER / REVISION / 'chrome-win32' / 'chrome.exe', 'win64': DOWNLOADS_FOLDER / REVISION / 'chrome-win32' / 'chrome.exe', }
可見，無論在哪個平台下，chromiumExecutable都是由是4個部分組成，其中 DOWNLOADS_FOLDER 和 REVISION是定義好的變量：
DOWNLOADS_FOLDER = Path(__pyppeteer_home__) / 'local-chromium'
進一步查看可以發現：
__pyppeteer_home__ = os.environ.get('PYPPETEER_HOME', AppDirs('pyppeteer').user_data_dir) REVISION = os.environ.get('PYPPETEER_CHROMIUM_REVISION', __chromium_revision__)
所以，DOWNLOADS_FOLDER 和 REVISION都是讀取對應環境變量設置好的值，如果沒有設置，就使用默認值。我們來輸出一下，看看默認值：
import pyppeteer.chromium_downloader print('默認版本是：{}'.format(pyppeteer.__chromium_revision__)) print('可執行文件默認路徑：{}'.format(pyppeteer.chromium_downloader.chromiumExecutable.get('win64'))) print('win64平台下載鏈接為：{}'.format(pyppeteer.chromium_downloader.downloadURLs.get('win64')))
輸出結果如下：
默認版本是：575458 可執行文件默認路徑：C:\Users\Administrator\AppData\Local\pyppeteer\pyppeteer\local-chromium\575458\chrome-win32\chrome.exe win64平台下載鏈接為：https://storage.googleapis.com/chromium-browser-snapshots/Win_x64/575458/chrome-win32.zip
在使用上面代碼的時候，你可以將win64換成你的平台就好了，有了上面的下載鏈接，這個時候就可以先開始下載着chromium瀏覽器（有些慢），然后繼續往下看。
import os os.environ['PYPPETEER_HOME'] = 'D:\Program Files' import pyppeteer.chromium_downloader print('默認版本是：{}'.format(pyppeteer.__chromium_revision__)) print('可執行文件默認路徑：{}'.format(pyppeteer.chromium_downloader.chromiumExecutable.get('win64'))) print('win64平台下載鏈接為：{}'.format(pyppeteer.chromium_downloader.downloadURLs.get('win64')))
輸出如下：
默認版本是：575458 可執行文件默認路徑：D:\Program Files\local-chromium\575458\chrome-win32\chrome.exe win64平台下載鏈接為：https://storage.googleapis.com/chromium-browser-snapshots/Win_x64/575458/chrome-win32.zip
特別提醒：上面設置環境變量的那一行，必須在導入pyppeteer這一行上面，否則設置無效。
上面這種方法你需要在每次使用pypeeteer之前通過這行代碼設置一下，實在麻煩，所以，我還是更願意直接在windows系統里面添加這個變量：
雖然我們把環境變量設置為D:\Program Files，但是層層文件夾之后，才到真正的可執行文件chrome.exe，下載好的壓縮包解壓后，所有文件都在名為chrome-win的文件夾中，所以，我們需要在D:\Program Files創建local-chromium\575458這兩個文件夾（575458是上面的版本號，記得修改為你的版本號），然后將解壓得到的chrome-win文件夾，重命名為chrome-win32，然后直接拷貝進去就好，整個安裝過程就完成了。
再來試試最初（最上面）的代碼，你會看到，已經可以成功運行。
我相信，大多數閱讀這篇博文的讀者都是用pyppeteer來開發爬蟲（別說維護世界和平，我不信)，那么接下來，重點來說說爬蟲中要用到的一些主要操作。
3 主要操作
3.1 打開瀏覽器
打開瀏覽器是通過pyppeteer.launcher.launch(options: dict = None, **kwargs) 方法，運行該函數后，會得到一個pyppeteer.browser.Browser實例，也就是說瀏覽器對象實例。launch方法是必須使用的方法，所以，詳細學學它的參數，你也直接閱讀官方文檔，因為我也是直接翻譯的：
- ignoreHTTPSErrors (bool): 是否HTTPS錯誤，某人情況下為False.
- headless (bool): 是否以無頭模式（無界面模式）執行，默認為True，為True時是不會彈出可視界面的，所以，上面代碼運行時設置headless=False。注意，下面還有個devtools參數，表示是否出現打開調試窗口，如果devtools設置為True，headless就算設置為False也會彈出可視界面。
- executablePath (str): Chromium或Chrome瀏覽器的可執行文件路徑，如果設置，則使用設置的這個路徑，不使用默認設置.
- slowMo (int|float): 設置這個參數可以延遲pyppeteer的操作，單位是毫秒.
- args (List[str]): 要傳遞給瀏覽器進程的一些其他參數.
- ignoreDefaultArgs (bool): 如果有些參數你不想使用默認值，那么，通過這個參數設置，不過，孩子，最好別用，有危險（電腦會爆炸）.
- handleSIGINT (bool): 是否響應 SIGINT 信號，是否允許通過快捷鍵Ctrl+C來終止瀏覽器進程，默認值為True，也就是允許.
- handleSIGTERM (bool): 是否響應 SIGTERM 信號，也就是說kill命令關閉瀏覽器，，默認值為True，也就是允許.
- handleSIGHUP (bool): 是否響應 SIGHUP 信號，即掛起信號，默認值為True，也就是允許.
- dumpio (bool): 是要將瀏覽器進程的輸出傳遞給process.stdout 和 process.stderr 對象，默認為False不傳遞。
- userDataDir (str): 用戶數據文件目錄.
- env (dict): 以字典的形式傳遞給瀏覽器環境變量.
- devtools (bool): 是否打開調試窗口，上面介紹headless參數是說過，默認值為False不打開.
- logLevel (int|str): 日志級別，默認和 root logger 對象的級別相同.
- autoClose (bool): 當所有操作都執行完后，是否自動關閉瀏覽器，默認True，自動關閉.
- loop (asyncio.AbstractEventLoop): 時間循環。
- appMode (bool): Deprecated.
打開瀏覽器操作簡單，看參數就行，不多介紹。
3.2 調整窗口大小
如果你運行了上面的代碼，你會發現，打開的頁面只在窗口左上角一小塊顯示，看着很別扭，這是因為pyppeteer默認窗口大小是800*600，所以，調整一下吧。調整窗口大小通過方法實現，看下面代碼，最大化窗口：
import asyncio from pyppeteer import launch def screen_size(): """使用tkinter獲取屏幕大小""" import tkinter tk = tkinter.Tk() width = tk.winfo_screenwidth() height = tk.winfo_screenheight() tk.quit() return width, height async def main(): browser = await launch(headless=False) page = await browser.newPage() width, height = screen_size() await page.setViewport({ # 最大化窗口 "width": width, "height": height }) await page.goto('http://www.baidu.com/') await asyncio.sleep(100) await browser.close() asyncio.get_event_loop().run_until_complete(main())
3.3 設置userAgent
常規操作，不多說，上代碼：
import asyncio from pyppeteer import launch async def main(): browser = await launch(headless=False) page = await browser.newPage() # 設置請求頭userAgent await page.setUserAgent('Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Mobile Safari/537.36') await page.goto('http://www.baidu.com/') await asyncio.sleep(100) await browser.close() asyncio.get_event_loop().run_until_complete(main())
3.4 執行js腳本
有時候，為了達成某些目的（例如屏蔽網站原有js），我們不可避免得需要執行一些js腳本。執行js腳本通過evaluate方法。如下所示，我們通過js來修改window.navigator.webdriver屬性的值，由此繞過網站對webdriver的檢測：
import asyncio from pyppeteer import launch async def main(): js1 = '''() =>{ Object.defineProperties(navigator,{ webdriver:{ get: () => false } }) }''' js2 = '''() => { alert ( window.navigator.webdriver ) }''' browser = await launch({'headless':False, 'args':['--no-sandbox'],}) page = await browser.newPage() await page.goto('https://h5.ele.me/login/') await page.evaluate(js1) await page.evaluate(js2) asyncio.get_event_loop().run_until_complete(main())
在上面代碼中，通過page.evalute方法執行了兩段js腳本，第一段腳本將webdriver的屬性值設為false，第二段代碼在此讀取 webdriver屬性值，輸出為false。
3.5 模擬操作
pyppeteer提供了Keyboard和Mouse兩個類來實現模擬操作，前者是用來實現鍵盤模擬，后者實現鼠標模擬（還有其他觸屏之類的就不說了）。
主要來說說輸入和點擊：
import os os.environ['PYPPETEER_HOME'] = 'D:\Program Files' import asyncio from pyppeteer import launch async def main(): browser = await launch(headless=False, args=['--disable-infobars']) page = await browser.newPage() await page.goto('https://h5.ele.me/login/') await page.type('form section input', '12345678999') # 模擬鍵盤輸入手機號 await page.click('form section button') # 模擬鼠標點擊獲取驗證碼 await asyncio.sleep(200) await browser.close() asyncio.get_event_loop().run_until_complete(main())
上面的模擬操作中，無論是模擬鍵盤輸入還是鼠標點擊定位都是通過css選擇器，似乎pyppeteer的type和click直接模擬操作定位都只能通過css選擇器（或者是我在官方文檔中沒找到方法），當然，要間接通過xpath先定位，然后再模擬操作也是可以的。下一小節中模擬登陸外賣平台就是用這種方法，不過，這種方法要麻煩一些，不推薦。
3.6 某電商平台模擬登陸
我曾經用selenium + chrome 實現了模擬登陸這個電商平台，但是實在是有些麻煩，繞過對webdriver的檢測不難，但是，通過webdriver對瀏覽器的每一步操作都會留下特殊的痕跡，會被平台識別，這個必須通過重新編譯chrome的webdriver才能實現，麻煩得讓人想哭。不說了，都是淚，下面直接上用pyppeteer實現的代碼：
import os os.environ['PYPPETEER_HOME'] = 'D:\Program Files' import asyncio from pyppeteer import launch def screen_size(): """使用tkinter獲取屏幕大小""" import tkinter tk = tkinter.Tk() width = tk.winfo_screenwidth() height = tk.winfo_screenheight() tk.quit() return width, height async def main(): js1 = '''() =>{ Object.defineProperties(navigator,{ webdriver:{ get: () => false } }) }''' js2 = '''() => { alert ( window.navigator.webdriver ) }''' browser = await launch({'headless':False, 'args':['--no-sandbox'],}) page = await browser.newPage() width, height = screen_size() await page.setViewport({ # 最大化窗口 "width": width, "height": height }) await page.goto('https://h5.ele.me/login/') await page.evaluate(js1) await page.evaluate(js2) input_sjh = await page.xpath('//form/section[1]/input[1]') click_yzm = await page.xpath('//form/section[1]/button[1]') input_yzm = await page.xpath('//form/section[2]/input[1]') but = await page.xpath('//form/section[2]/input[1]') print(input_sjh) await input_sjh[0].type('*****手機號********') await click_yzm[0].click() ya = input('請輸入驗證碼：') await input_yzm[0].type(str(ya)) await but[0].click() await asyncio.sleep(3) await page.goto('https://www.ele.me/home/') await asyncio.sleep(100) await browser.close() asyncio.get_event_loop().run_until_complete(main())
登錄時，由於等待時間過長（我猜的）導致出現以下錯誤：
pyppeteer.errors.NetworkError: Protocol Error (Runtime.callFunctionOn): Session closed. Most likely the page has been closed.
在github上找到了解決方法，似乎只能改源碼，找到pyppeteer包下的connection.py模塊，在其43行和44行改為下面這樣：
self._ws = websockets.client.connect( # self._url, max_size=None, loop=self._loop) self._url, max_size=None, loop=self._loop, ping_interval=None, ping_timeout=None)
再次運行就沒問題了。可以成功繞過官方對webdriver的檢測，登錄成功，諸位可以自己嘗試一下。
4 總結
當使用selenium+webdriver寫爬蟲被檢測到時，pyppeteer是你得不二選擇，幾乎所有能在人工操作瀏覽器進行的操作通過pyppeteer都能實現，且能完美避開官方對webdriver的檢測。pyppeteer涉及的使用方法還很多，本文只介紹了常用方法的很小很小一部分，需要一說的是，pyppeteer的中文資料真的很少，多看看官方文檔吧。
參考：