使用Puppeteer進行數據抓取(一)——安裝和使用
Chrome快速實現數據的抓取（五）—— puppeteer中簡單的介紹過一下它，之前准備寫一系列文章來詳細介紹 ...
原文：使用Puppeteer進行數據抓取(四)——圖片下載
大多數情況下，圖片獲取並不是很困難的事情，獲取圖片的url，然后模擬瀏覽器請求即可。但是，有的時候這種方法往往無法生效，常見的情形有： 動態圖片，每次獲取都是一個新的，例如圖片驗證碼，重新獲取時是一個新的驗證碼圖片，已經失去了效果了。 動態上下文，有的網站為了反爬蟲，獲取圖片時要加上其動態生成的cookie才行。 這些情況下，使用puppeteer驅動chrome瀏覽器能看到圖片，但獲取url后單 ...
2018-05-20 20:16 2 1616 推薦指數：
相關推薦
使用Puppeteer進行數據抓取(三)——簡單的示例
本文以一個示例簡單的介紹一下puppeteer的用法，我們的目的是：獲取我博客上的文章的前十頁的所有隨筆的標題和鏈接。由於puppeteer本身是自動化chorme，因此這里我們的步驟和手動操作瀏覽器差不多： 打開chrome，跳轉到博客首頁 獲取所有博客標題信息 點擊下一 ...
使用Puppeteer進行數據抓取(五)——快速調試
在我們使用chrome作為爬蟲獲取網頁數據時，往往需如下幾步。 打開chrome 導航至目標頁面 等待目標頁面加載完成 解析目標頁面數據 保存目標頁面數據 關閉chrome 我們實際的編碼往往集中在第4步，並且，在開發過程中，解析網頁數據往往 ...
使用Puppeteer進行數據抓取(二)——Page對象
page對象是puppeteer最常用的對象，它可以認為是chrome的一個tab頁，主要的頁面操作都是通過它進行的。Google的官方文檔詳細介紹了page對象的使用，這里我只是簡單的小結一下。 客戶端模擬 頁面模擬設置相關函數有如下幾個， page.setViewport: 設置 ...
使用Chrome快速實現數據的抓取（五）—— puppeteer
如果要以自動化的方式驅動Chrome進行數據抓取，必須實現Chrome Dev Protocol協議的客戶端。這個協議本身並不復雜，我在之前的文章中也簡單的介紹過一下。 Google本身有一個Node的實現chrome-remote-interface，對於其它語言，github上也有不少的實現 ...
php 使用代理IP進行數據抓取
什么是代理？什么情況下會用到代理IP？代理服務器（Proxy Server），其功能就是代用戶去取得網絡信息，然后返回給用戶。形象的說：它是網絡信息的中轉站。通過代理IP訪問目標站，可以隱藏用戶的真實IP。 比如你要抓取一個網站數據，該網站有100萬條內容，他們做了IP限制，每個IP每小時只能抓 ...
使用canvas實現圖片下載功能
最近項目中需要實現一個下載圖片的功能(如下圖) 一開始考慮使用a標簽的download屬性進行下載： 但是通過測試，發現再safari中，下載的文件不能帶上拓展名，所以只好換一個思路，使用canvas進行處理。 1.圖片需要添加crossOrigin ...
使用Servlet實現圖片下載
...