之前我們使用了selenium加Firefox作為下載中間件來實現爬取京東的商品信息。但是在大規模的爬取的時候，Firefox消耗資源比較多，因此我們希望換一種資源消耗更小的方法來爬取相關的信息。 下面就使用selenium加PhantomJS來實現之前的相同的邏輯。 這里需要修改 ...

創建scrapy項目 填充 item.py文件 在這里定義想要存儲的字段信息 填充middlewares.py文件 中間件主要實現添加隨機user-agent的作用。 填充pipelines.py文件 將我們爬取到的結果存儲在mongo數據庫中 設置 ...

本篇目標：我們以爬取京東商城商品數據為例，展示Scrapy框架對接selenium爬取京東商城商品數據。 背景： 　　京東商城頁面為js動態加載頁面，直接使用request請求，無法得到我們想要的商品數據，故需要借助於selenium模擬人的行為發起請求，輸出源代碼，然后解析源代碼 ...

　　 　　本篇文章我們以360圖片為例，介紹scrapy框架的使用以及圖片數據的下載。 　　目標網站：http://images.so.com/z?ch=photography 　　思路：分析目標網站為ajax加載方式，通過構造目標url從而請求數據，將圖片數據存儲在本地，將圖片的屬性 ...

今天的主要內容是爬取豆瓣電影短評，看一下網友是怎么評價最近的電影的，方便我們以后的分析，以以下三部電影：二十二，戰狼，三生三世十里桃花為例。 由於豆瓣短評網頁比較簡單，且不存在動態加載的內容，我們下面就直接上代碼。有一點需要注意的是，豆瓣短評的前幾頁不需要登錄就可以看，但是后面的內容是是需要 ...

　　本篇文章我們以抓取歷史天氣數據為例，簡單說明數據抓取的兩種方式： 　　1、一般簡單或者較小量的數據需求，我們以requests(selenum)+beautiful的方式抓取數據 　　2、當我們需要的數據量較多時，建議采用scrapy框架進行數據采集，scrapy框架采用異步方式發起 ...

京東對於爬蟲來說太友好了，不向天貓跟淘寶那樣的喪心病狂，本次爬蟲來爬取下京東，研究下京東的數據是如何獲取的。 得到url如下： 往下拖拽的時候就會發現很明顯部分數據是通過Ajax動態獲取的。那既然設計到動態數據沒啥好說的抓下包。不過在抓包之前不妨先翻幾頁看看 ...

今天，我們就以鏈家網南京地區為例，來學習爬取鏈家網的成交房源數據。 這里推薦使用火狐瀏覽器，並且安裝firebug和firepath兩款插件，你會發現，這兩款插件會給我們后續的數據提取帶來很大的方便。 首先創建一個名稱為lianjia的項目。 需求分析 爬取數據的第一步當然是確定我們的需求 ...