使用Puppeteer進行數據抓取(一)——安裝和使用
Chrome快速實現數據的抓取（五）—— puppeteer中簡單的介紹過一下它，之前准備寫一系列文章來詳細介紹 ...
原文：使用Puppeteer進行數據抓取(三)——簡單的示例
本文以一個示例簡單的介紹一下puppeteer的用法，我們的目的是：獲取我博客上的文章的前十頁的所有隨筆的標題和鏈接。由於puppeteer本身是自動化chorme，因此這里我們的步驟和手動操作瀏覽器差不多： 打開chrome，跳轉到博客首頁 獲取所有博客標題信息 點擊下一頁按鈕，跳轉到下一頁 重復 兩步，直到所有信息采集完畢 獲取信息 采集過程中比較麻煩的一步就是信息的采集，和傳統采集html后 ...
2018-05-19 14:42 0 3224 推薦指數：
相關推薦
使用Puppeteer進行數據抓取(四)——圖片下載
圖片時要加上其動態生成的cookie才行。 這些情況下，使用puppeteer驅動chrome瀏覽器能看到 ...
使用Puppeteer進行數據抓取(五)——快速調試
在我們使用chrome作為爬蟲獲取網頁數據時，往往需如下幾步。 打開chrome 導航至目標頁面 等待目標頁面加載完成 解析目標頁面數據 保存目標頁面數據 關閉chrome 我們實際的編碼往往集中在第4步，並且，在開發過程中，解析網頁數據往往 ...
使用Puppeteer進行數據抓取(二)——Page對象
page對象是puppeteer最常用的對象，它可以認為是chrome的一個tab頁，主要的頁面操作都是通過它進行的。Google的官方文檔詳細介紹了page對象的使用，這里我只是簡單的小結一下。 客戶端模擬 頁面模擬設置相關函數有如下幾個， page.setViewport: 設置 ...
使用Chrome快速實現數據的抓取（五）—— puppeteer
如果要以自動化的方式驅動Chrome進行數據抓取，必須實現Chrome Dev Protocol協議的客戶端。這個協議本身並不復雜，我在之前的文章中也簡單的介紹過一下。 Google本身有一個Node的實現chrome-remote-interface，對於其它語言，github上也有不少的實現 ...
php 使用代理IP進行數據抓取
什么是代理？什么情況下會用到代理IP？代理服務器（Proxy Server），其功能就是代用戶去取得網絡信息，然后返回給用戶。形象的說：它是網絡信息的中轉站。通過代理IP訪問目標站，可以隱藏用戶的真實IP。 比如你要抓取一個網站數據，該網站有100萬條內容，他們做了IP限制，每個IP每小時只能抓 ...
通過jsoup對網頁進行數據抓取。
jsoup 是一款Java 的HTML解析器，可直接解析某個URL地址、HTML文本內容。它提供了一套非常省力的API，可通過DOM，CSS以及類似於jQuery的操作方法來取出和操作數據。 下面是一個解析博客園首頁數據的demo： 其中用到了一個JavaBean類，方面讀取數據 ...
使用Puppeteer抓取受限網站
不要相信前端是安全的，今天簡單驗證一下，但是希望大家支持正版，支持原作者，畢竟寫書不易。 安裝Puppteer 選擇目標網站 我們這里選擇胡子大哈大神的網站 http://huziketang.mangojuice.top ； 爬取所有文章 基本思想思路 實現方案 爬取 ...