題記：早已聽聞python爬蟲框架的大名。近些天學習了下其中的Scrapy爬蟲框架，將自己理解的跟大家分享。有表述不當之處，望大神們斧正。 一、初窺Scrapy Scrapy是一個為了爬取網站數據，提取結構性數據而編寫的應用框架。 可以應用在包括數據挖掘，信息處理或存儲歷史數據等一系列的程序中 ...

描述： 1.使用兩台機器，一台是win10，一台是centos7，分別在兩台機器上部署scrapy來進行分布式抓取一個網站 2.centos7的ip地址為192.168.1.112，用來作為redis的master端，win10的機器作為slave 3.master的爬蟲運行時會把提取 ...

windows下利用scrapy（python2.7）寫爬蟲，運行 scrapy crawl dmoz 命令時提示：exceptions.ImportError: No module named win32api 插個話題，這里還需要注意的是你需要到你所創建的爬蟲項目目錄下運行以上命令 ...

Scrapy使用request對象來爬取web站點。 request對象由spiders對象產生，經由Scheduler傳送到Downloader,Downloader執行request並返回response給spiders。 Scrapy架構： 1、Request ...

我想要把所有li標簽中的文本提取出來,並且放到一個字符串中. 在網上查了下發現使用xpath的string()函數可以實現(string()和text()的區別請自行google) 先看下常見的方 ...

我在使用python寫爬蟲時用到了requests.get()方法： 疑惑的是，使用時報了 ‘str’ object has no attribute ‘get’ 錯誤 查看文檔后發 ...

scrapy簡介 Scrapy 使用了 Twisted異步網絡庫來處理網絡通訊。整體架構大致如下 Scrapy主要包括了以下組件： 引擎(Scrapy)用來處理整個系統的數據流處理, 觸發事務(框架核心) 調度器(Scheduler)用來 ...

中間件是Scrapy里面的一個核心概念。使用中間件可以在爬蟲的請求發起之前或者請求返回之后對數據進行定制化修改，從而開發出適應不同情況的爬蟲。 “中間件”這個中文名字和前面章節講到的“中間人”只有一字之差。它們做的事情確實也非常相似。中間件和中間人都能在中途劫持數據，做一些修改再把數據 ...

去重規則 　　在爬蟲應用中，我們可以在request對象中設置參數dont_filter = True 來阻止去重。而scrapy框架中是默認去重的，那內部是如何去重的。 請求進來以后，會先執行from_settings方法，從settings文件中找一個 ...

背景： 　　初來乍到的pythoner，剛開始的時候覺得所有的網站無非就是分析HTML、json數據，但是忽略了很多的一個問題，有很多的網站為了反爬蟲，除了需要高可用代理IP地址池外，還需要登錄。例 ...