Puppeteer是一個node庫,他提供了一組用來操縱Chrome的API,默認headless也就是無UI的chrome,也可以配置為有UI。 其實有點類似於PhantomJS,但Puppeteer是Chrome官方團隊進行維護的,前景會更好。
Puppeteer 核心功能
- 利用網頁生成PDF、圖片
- 爬取SPA應用,並生成預渲染內容(即“SSR” 服務端渲染)
- 可以從網站抓取內容
- 自動化表單提交、UI測試、鍵盤輸入等
- 幫你創建一個最新的自動化測試環境(chrome),可以直接在此運行測試用例
- 捕獲站點的時間線,以便追蹤你的網站,幫助分析網站性能問題
安裝:
npm i -s puppeteer
報錯提示:
UnhandledPromiseRejectionWarning: Unhandled promise rejection (rejection id: 1): Error: Failed to launch chrome! /data/www-data/hupu.com/crawl_puppeteer/node_modules/puppeteer/.local-chromium/linux-515411/chrome-linux/chrome: error while loading shared libraries: libXss.so.1: cannot open shared object file: No such file or directory
需要安裝 chrome 瀏覽器的依賴包
yum install google-chrome-stable
這里提示下 ,在Centos6.5下無法安裝chrome 我當時搗鼓了很久也沒搞好,最后把系統升級到 7.2 才安裝上
如果還報錯,可以定位錯誤 來安裝具體的依賴包。
