前言
使用requests-html庫渲染html頁面的時候,初次使用需下載 chromium 瀏覽器,但是這個地址是從國外下載的,所以慢的你懷疑人生,你懂得!
pyppeteer-install下載沒反應,r.html.render() 下載無反應?看完這篇就能解決!
requests-html 是干什么用的呢?這個可以看之前這篇介紹https://www.cnblogs.com/yoyoketang/p/10663392.html
環境准備
先下載requests-html庫
pip install requests-html==0.10.0 --index-url https://pypi.douban.com/simple
遇到問題
初次使用的時候,需先下載chromium 瀏覽器,下載方法有2種
第一種:使用命令行下載
>pyppeteer-install
[W:pyppeteer.chromium_downloader] start chromium download.
Download may take a few minutes.
如果一直出現 Download may take a few minutes. 很長時間不動,或者跟蝸牛爬的一樣慢。
第二種:使用r.html.render() 下載
from requests_html import HTMLSession
session = HTMLSession()
r = session.get('https://www.cnblogs.com/yoyoketang/')
r.html.render() # 首次使用,自動下載chromium
運行代碼后,也跟上面一樣出現 Download may take a few minutes. 很長時間不動,或者跟蝸牛爬的一樣慢。
主要原因是下載地址是國外的,有梯子的小伙伴可以開梯子下載,沒有的就無法下載了!
替換下載源
既然已經知道是下載地址的問題了,那么我們只需在源碼里面找到對應的下載地址,替換國內的下載源即可。
打開pycharm,找到External Libraries> site-packages 下的pyppeteer包

修改 chromium_downloader.py 文件,找到如下內容修改
downloadURLs = {
'linux': f'{BASE_URL}/Linux_x64/{REVISION}/chrome-linux.zip',
'mac': f'{BASE_URL}/Mac/{REVISION}/chrome-mac.zip',
'win32': f'{BASE_URL}/Win/{REVISION}/{windowsArchive}.zip',
'win64': f'{BASE_URL}/Win_X64/{REVISION}/{windowsArchive}.zip',
}
我的是windows 64位電腦,所以修改后為
downloadURLs = {
'linux': f'{BASE_URL}/Linux_x64/{REVISION}/chrome-linux.zip',
'mac': f'{BASE_URL}/Mac/{REVISION}/chrome-mac.zip',
# 'win32': f'{BASE_URL}/Win/{REVISION}/{windowsArchive}.zip',
# 'win64': f'{BASE_URL}/Win_X64/{REVISION}/{windowsArchive}.zip',
'win32': 'https://npm.taobao.org/mirrors/chromium-browser-snapshots/Win/575458/chrome-win32.zip',
'win64': 'https://npm.taobao.org/mirrors/chromium-browser-snapshots/Win_x64/575458/chrome-win32.zip',
}
下面是各系統的chromium壓縮包下載地址
- linux: https://npm.taobao.org/mirrors/chromium-browser-snapshots/Linux_x64/575458/chrome-linux.zip
- mac: https://npm.taobao.org/mirrors/chromium-browser-snapshots/Mac/575458/chrome-mac.zip
- win32: https://npm.taobao.org/mirrors/chromium-browser-snapshots/Win/575458/chrome-win32.zip
- win64: https://npm.taobao.org/mirrors/chromium-browser-snapshots/Win_x64/575458/chrome-win32.zip
替換完成后,在命令行輸入 pyppeteer-install即可下載
>pyppeteer-install
[W:pyppeteer.chromium_downloader] start chromium download.
Download may take a few minutes.
......
chromium download done.
[W:pyppeteer.chromium_downloader] chromium extracted to: C:\Users\dell\AppData\Local\pyppeteer\pyppeteer\local-chromium\588429
這個時候下載速度就非常快了。
下載本地安裝
如果不想通過命令行下載,也可以自己下載安裝包的方式安裝,上面命令行下載完成后的安裝地址是:C:\Users\用戶名\AppData\Local\pyppeteer\ 目錄
於是可以先下載安裝包:https://npm.taobao.org/mirrors/chromium-browser-snapshots/Win/575458/chrome-win32.zip,下載完成后放到如下目錄
C:\Users\自己電腦用戶名\AppData\Local\pyppeteer\pyppeteer\local-chromium\588429\ 解壓 chrome-win32.zip 文件

這種本地安裝方式也可以
