版權聲明：本文為博主原創文章，未經博主允許不得轉載。
系列教程：
手把手教你寫電商爬蟲-第三課 實戰尚妝網AJAX請求處理和內容提取
老規矩，爬之前首先感謝淘寶公布出這么多有價值的數據，才讓我們這些爬蟲們有東西可以搜集啊，不過淘寶就不用我來安利了
廣大剁手黨相信睡覺的時候都能把網址打出來吧。
工欲善其事，必先利其器，先上工具：
1、神箭手雲爬蟲，
2、Chrome瀏覽器
3、Chrome的插件XpathHelper 不知道是干嘛的同學請移步第一課
好了，咱們還是先打開淘寶網：
清新的畫面，琳琅滿目的商品，隱約感到的是前方是一場惡戰：
淘寶這么多的商品，這么多的主題，到底從哪里開始呢？要不就女裝了，別問我為什么，咱們先打開一個女裝的列表頁面：
https://s.taobao.com/list?q=%E5%A5%97%E8%A3%85%E5%A5%B3%E5%A4%8F
我們點擊一下下一頁看看連接：
https://s.taobao.com/list?q=%E5%A5%97%E8%A3%85%E5%A5%B3%E5%A4%8F&bcoffset=-4&s=60
看着好像不難，很簡單，不過值得注意的是，我們把鼠標移到下一頁可以看到連接本身並不是這個，這個是js處理的，這種情況類似前面我們遇到的尚妝網下一頁，我們一會再說。
我們再看下詳情頁
https://item.taobao.com/item.htm?spm=a217f.7283053.1997524073.204.hEmtfc&id=527101625954&scm=1029.minilist-17.1.16&ppath=&sku=&ug=#detail
https://item.taobao.com/item.htm?spm=a217f.7283053.1997524073.209.hEmtfc&id=528697742170&scm=1029.minilist-17.1.16&ppath=&sku=&ug=#detail
看着比較簡單，就直接提取成：
https://item\\.taobao\\.com/item\\.htm\\?.*
我比較懶，這個就先這樣吧，然后我們來看看詳情頁我們需要抽取哪些信息，商品名稱，價格自然不能少，這次再來一個新鮮的，就是縮略圖列表，因為淘寶的商品不只有一個縮略圖，因此需要爬取一個縮略圖數組。
同樣，用chrome開發者工具和xpathhelper對抽取項進行分析，看了一下結果，嘗試過濾xhr，結果：
高手就是高手，在大量的請求中，找到響應的請求，相當的困難。不要緊，還記得我們上節課提到的核武器嗎-JS渲染引擎，只要我們把JS渲染引擎打開，那么我們完全不用操心大量ajax請求的判斷，當然他的問題是效率低一些，不過沒關系，反正在雲上跑嘛，睡一覺就好了。
在神箭手里調用JS渲染引擎的方式很簡單，只需要一行代碼設置既可：
configs.enableJS=true
好了，那我們現在可以無視ajax請求了，直接用chrome工具打開，直接提取：
//em[@id="J_PromoPriceNum"]
簡單暴啦，然后高興沒有1秒鍾，瞬間蒙逼，淘寶上的價格不僅有這種促銷價格，還有價格區間，還有的是普通的價格，我的天的，這不是要人命嗎~
沒辦法，再難也要硬着頭皮上，目前來看，一共有兩種價格的抽取方式，當然不排除有其他多種的情況，我們先對這兩種分別寫一下抽取規則：
//em[@id="J_PromoPriceNum"] //em[contains(@class,"tb-rmb-num")]
我們可以通過 | 這個來連接，表達不同頁面的選取可以共存
//em[@id="J_PromoPriceNum"] | //em[contains(@class,"tb-rmb-num")]
不容易。我們再看看商品名稱，這個相對簡單：
//h3[contains(@class,'tb-main-title')]/@data-title
最后，我們需要抽取圖片的地址：
//ul[@id="J_UlThumb"]/li//img/@src
由於這一項存在多項，因此需要將該抽取規則的repeated字段設置成true
var configs = { domains: ["www.taobao.com","item.taobao.com"], scanUrls: ["https://www.taobao.com/go/market/nvzhuang/citiao/taozhuangqun.php"], contentUrlRegexes: ["https://item\\.taobao\\.com/item\\.htm\\?.*"], helperUrlRegexes: ["https://www\\.taobao\\.com/go/market/nvzhuang/citiao/taozhuangqun.php"],//可留空
enableJS:true, fields: [ { // 第一個抽取項
name: "title", selector: "//h3[contains(@class,'tb-main-title')]/@data-title",//默認使用XPath
required: true //是否不能為空
}, { // 第二個抽取項
name: "price", selector: "//em[@id='J_PromoPriceNum'] | //em[contains(@class,'tb-rmb-num')]",//默認使用XPath
}, { // 第三個抽取項
name: "thumbs", selector: "//ul[@id='J_UlThumb']/li//img/@src",//默認使用XPath
}, ] }; var crawler = new Crawler(configs); crawler.start();
好了，雖然淘寶比尚妝網難的多，但是在我們拿出核武器之后，一切迎刃而解，回頭我們在來處理下一頁的問題，這里雖然和尚妝網不一樣，但是整體的原理大同小異，就不一一解釋，我們直接上代碼：
var configs = { domains: ["s.taobao.com","item.taobao.com"], scanUrls: ["https://s.taobao.com/list?q=%E5%A5%97%E8%A3%85%E5%A5%B3%E5%A4%8F"], contentUrlRegexes: ["https?://item\\.taobao\\.com/item\\.htm\\?.*"], helperUrlRegexes: ["https?://s\\.taobao\\.com/list\\?q=%E5%A5%97%E8%A3%85%E5%A5%B3%E5%A4%8F.*"],//可留空
enableJS:true, fields: [ { // 第一個抽取項
name: "title", selector: "//h3[contains(@class,'tb-main-title')]/@data-title",//默認使用XPath
required: true //是否不能為空
}, { // 第二個抽取項
name: "price", selector: "//em[@id='J_PromoPriceNum'] | //em[contains(@class,'tb-rmb-num')]",//默認使用XPath
required: true //是否不能為空
}, { // 第三個抽取項
name: "thumbs", selector: "//ul[@id='J_UlThumb']/li//img/@src",//默認使用XPath
repeated:true }, ] }; configs.onProcessHelperUrl = function(url, content, site){ if(!content.indexOf("未找到與")){ var currentStart = parseInt(url.substring(url.indexOf("&s=") + 3)); var start = currentStart + 60; var nextUrl = url.replace("&s=" + currentStart, "&s=" + start); site.addUrl(nextUrl); } return true; }; var crawler = new Crawler(configs); crawler.start();
OK 大功告成，測試結果如下，由於開啟的js渲染，所以爬取的速度比較慢，只能耐心等待了。
對爬蟲感興趣的童鞋可以加qq群討論：342953471。