Spiders Spider類定義了如何爬取某個網站。包括了爬取的動作(例如:是否跟進鏈接)以及如何從網頁的內容中提取結構化數據(爬取item)。簡而言之，Spider就是你定義爬取的動作及分析某個 ...

概覽 在具體的學習scrapy之前，我們先對scrapy的架構做一個簡單的了解，之后所有的內容都是基於此架構實現的，在初學階段只需要簡單的了解即可，之后的學習中，你會對此架構有更深的理解。 下面是scrapy官網給出的最新的架構圖示。 基本組件 引擎（Engine） 引擎 ...

之前我們學習的內容都是抓取靜態頁面，每次請求，它的網頁全部信息將會一次呈現出來。 但是，像比如一些購物網站，他們的商品信息都是js加載出來的，並且會有ajax異步加載。像這樣的情況，直接使用scrapy的Request請求是拿不到我們想要的信息的，解決的方法就是使用scrapy ...

上一篇中，我們簡單的實現了toscrapy網頁信息的爬取，並存儲到mongo，本篇文章信息看看數據的存儲。這一篇主要是實現信息的存儲，我們以將信息保存到文件和mongo數據庫為例，學習數據的存儲，依然是上一節的例子。 編寫爬蟲 修改items.py文件來定義我們的item Item 是保存爬 ...

在之前的Scrapy學習篇（四）之數據的存儲的章節中，我們其實已經使用了Item Pipeline，那一章節主要的目的是形成一個籠統的認識，知道scrapy能干些什么，但是，為了形成一個更加全面的體系，我們在這一章節中，將會單獨介紹Item Pipeline，方便以后你自定義你的item ...

創建項目 創建項目是爬取內容的第一步，之前已經講過，Scrapy通過scrapy startproject <project_name>命令來在當前目錄下創建一個新的項目。 下面我們創建一個爬取博客園（'https://www.cnblogs.com/'）文章信息的項目 ...

上一篇中，我們簡單的實現了一個博客首頁信息的爬取，並在控制台輸出，但是，爬下來的信息自然是需要保存下來的。這一篇主要是實現信息的存儲，我們以將信息保存到文件和mongo數據庫為例，學習數據的存儲，依然是以博客首頁信息為例。 編寫爬蟲 修改items.py文件來定義我們的item Item ...

命令行工具(Command line tools) 全局命令 startproject settings runspider shell fetch view version 項目命令 crawl check list edit ...