這是簡易數據分析系列的第 篇文章。 年末事情比較忙，很久不更新了，后台一直有讀者催更，我看了一些讀者給我的私信，發現一些通用的問題，所以單獨寫篇文章，介紹一些 Web Scraper 的進階用法。 今天我們就來學習一些 CSS 選擇器的知識，輔助 Web Scraper 更好的定位要選擇的元素。 一 定位 HTML 節點 HTML 是什么 它是一個網頁的骨架，是最最基礎的東西。比如說你現在看的這 ...
2019-12-30 21:16 1 4477 推薦指數：
這是簡易數據分析系列的第 9 篇文章。 今天我們說說 Web Scraper 的一些小功能：自動控制 Web Scraper 抓取數量和 Web Scraper 的父子選擇器。 如何只抓取前 100 條數據？ 如果跟着上篇教程一步一步做下來，你會發現這個爬蟲會一直運作，根本停不下來。網頁 ...
這是簡易數據分析系列的第 14 篇文章。 今天我們還來聊聊 Web Scraper 翻頁的技巧。 這次的更新是受一位讀者啟發的，他當時想用 Web scraper 爬取一個分頁器分頁的網頁，卻發現我之前介紹的分頁器翻頁方法不管用。我研究了一下才發現我漏講了一種很常見的翻頁場景 ...
這是簡易數據分析系列的第 18 篇文章。 2020-10-14 日更新： Web Scraper 在 0.5.1 版本后，為了后續的版本迭代，准備遷移數據庫，所以對新用戶關閉了 CouchDB 開關。 這個改動意味着，如果你是老用戶並且通過 Google 應用商店更新了 Web ...
這是簡易數據分析系列的第 12 篇文章。 前面幾篇文章我們介紹了 Web Scraper 應對各種翻頁的解決方法，比如說修改網頁鏈接加載數據、點擊“更多按鈕“加載數據和下拉自動加載數據。今天我們說說一種更常見的翻頁類型——分頁器。 本來想解釋一下啥叫分頁器，翻了一堆定義覺得很繁瑣 ...
這是簡易數據分析系列的第 7 篇文章。 在第 4 篇文章里，我講解了如何抓取單個網頁里的單類信息； 在第 5 篇文章里，我講解了如何抓取多個網頁里的單類信息； 今天我們要講的是，如何抓取多個網頁里的多類信息。 這次的抓取是在簡易數據分析 05的基礎上進行的，所以我們一開始就解決了抓取 ...
這是簡易數據分析系列的第 6 篇文章。 上兩期我們學習了如何通過 Web Scraper 批量抓取豆瓣電影 TOP250 的數據，內容都太干了，今天我們說些輕松的，講講 Web Scraper 如何導出導入 Sitemap 文件。 前面也沒有說，SItemap 是個什么東西，其實它就 ...
這是簡易數據分析系列的第 5 篇文章。 上篇文章我們爬取了豆瓣電影 TOP250 前 25 個電影的數據，今天我們就要在原來的 Web Scraper 配置上做一些小改動，讓爬蟲把 250 條電影數據全部爬取下來。 前面我們同時說了，爬蟲的本質就是找規律，當初這些程序員設計網頁時，肯定會 ...
這是簡易數據分析系列的第 11 篇文章。 今天我們講講如何抓取網頁表格里的數據。首先我們分析一下，網頁里的經典表格是怎么構成的。 First Name 所在的行比較特殊，是一個表格的表頭，表示信息分類 2-5 行是表格的主體，展示分類內容 經典表格就這些知識點，沒了 ...
