使用pyppeteer 下載chromium 報錯 或速度慢

一、概述

使用Reuqests-html的render函數，它會在用戶目錄（默認是~/.pyppeteer/）中下載一個chromium，然后用它來執行JS代碼。

 

執行之后，會下載chromium 

[W:pyppeteer.chromium_downloader] start chromium download.
Download may take a few minutes.

但是速度特別慢，幾個小時都不一定能好。長時間允許會導致連接失敗。

 

二、手動下載chromium

創建一個.py 文件 粘貼以下內容

import pyppeteer.chromium_downloader
print('默認版本是：{}'.format(pyppeteer.__chromium_revision__))
print('可執行文件默認路徑：{}'.format(pyppeteer.chromium_downloader.chromiumExecutable.get('win64')))
print('win64平台下載鏈接為：{}'.format(pyppeteer.chromium_downloader.downloadURLs.get('win64')))

執行輸出：

默認版本是：588429
可執行文件默認路徑：C:\Users\xiao\AppData\Local\pyppeteer\pyppeteer\local-chromium\588429\chrome-win32\chrome.exe
win64平台下載鏈接為：https://storage.googleapis.com/chromium-browser-snapshots/Win_x64/588429/chrome-win32.zip

注意：輸出結果，可能和我的不一樣，請根據實際情況來。

 

將上面的復制一下，使用迅雷下載，大概有130M，幾分鍾就下載好了。

將下載好的chrome-win32.zip解壓，得到chrome-win32目錄

 

注意：上面的路徑：C:\Users\xiao\AppData\Local\pyppeteer\pyppeteer\local-chromium\588429

是不存在的，需要自己手動創建一下。其實只需要創建588429即可。

將chrome-win32目錄復制到588429里面即可。

最終只要：

C:\Users\xiao\AppData\Local\pyppeteer\pyppeteer\local-chromium\588429\chrome-win32\chrome.exe

存在即可

 

最后再次執行你的爬蟲程序，就不會提示下載chromium了

 

本文參考鏈接：

https://www.jianshu.com/p/1c4666b0a830