上次挖了一個坑，今天終於填上了，還記得之前我們做的拉勾爬蟲嗎？那時我們實現了一頁的爬取，今天讓我們再接再厲，實現多頁爬取，順便實現職位和公司的關鍵詞搜索功能。
之前的內容就不再介紹了，不熟悉的請一定要去看之前的文章，代碼是在之前的基礎上修改的
【圖文詳解】scrapy爬蟲與動態頁面——爬取拉勾網職位信息（1）
開始
還是回到我們熟悉的頁面，這里，我們熟練的打開了Newwork標簽，我們點下一頁，看會出來什么結果
果然還是跳出來一個頁面，但是貌似。。網址一樣，我打開看一下
和之前不一樣也！
一樣的網址，結果不一樣的結果，這怎么可能！！小伙伴是不是也和我一樣，一臉懵B!
別急，我們繼續看看別的信息
在preview我們看到了Pageno.2 說明確實不是同樣的內容
Header
我們繼續看header，貌似發現了不起的東西。
這個pn不就是pageno的簡寫嗎？（什么，你怎么不知道有這個縮寫？）我們可以再打開一個網頁看看，事實證明，我是對的。
好的，我們現在知道頁碼信息在這里了，那要怎么把這個信息附加上呢？？
Get or Post??
我們知道網頁有兩種方式傳輸數據，get和post，get是把需要傳輸的數據寫到URL上，用戶可以直觀看見，就是我們之前一直使用的（比如搜索城市，工作經驗，學歷什么的）。post是通過HTTP post機制，將表單內各個字段與其內容放置在HTML HEADER內一起傳送到ACTION屬性所指的URL地址。用戶看不到這個過程。
scrapy實現post
看來我們得想辦法用scrapy實現post了。
如果你還記得我們之前講request的時候講了request是可以輕松實現post的，那scrapy有request嗎？毫無疑問是有的。我們在文檔中找到了一個叫FormRequest的對象，它能實現post功能，並給出了例子
我們在我們的之前代碼中的class中加入一個start_requests函數
def start_requests(self):
return [scrapy.http.FormRequest('http://www.lagou.com/jobs/positionAjax.json?px=new&city=%E5%8C%97%E4%BA%AC',
formdata={'pn':'2'},callback=self.parse)]
運行一下，出錯了，才發現，原來目前拉勾的json結構改了，中間加了一個positionResult
修改代碼：
jcontent = jdict["content"]
jposresult = jcontent["positionResult"]
jresult = jposresult["result"]
再運行一下，和第2頁的一致，說明成功了
這里再說下，如果你在關鍵詞里搜索，你會發現鏈接也不會變化，說明什么？？說明也是用的post，比如我搜索大數據，可以看到kd變成了大數據，所以我們也可以構造特定關鍵詞的爬蟲了。
實現自動翻頁
我們只要能控制pn就行了，我們新增一個變量curpage讓它運行一次自加1，然后我們還是用之前的yield的方法
if self.curpage <= self.totalPageCount:
self.curpage += 1
yield scrapy.http.FormRequest('http://www.lagou.com/jobs/positionAjax.json?px=new&city=%E5%8C%97%E4%BA%AC', formdata={'pn':str(self.curpage)},callback=self.parse)
要說明的是，之前json文件里是有個totalPageCount屬性的，目前沒了！所以不能直接從json文件中獲取頁數信息了，怎么辦呢？如果你要細心觀察就可以發現有個totalCount屬性，你做實驗可以發現，每頁都是15個，頁數就是totalCount/15取整，如果頁數大於30，只顯示30頁。
self.totalPageCount = jposresult['totalCount'] /15;
if self.totalPageCount > 30:
self.totalPageCount = 30;
這里我們爬所有北京有關“大數據”的工作
formdata={'pn':str(self.curpage),'kd':'大數據'}
好了大工告成！享受你的成果吧！！
這個工程我上傳到了github，有興趣的同學可以下載下來看看：
https://github.com/hk029/LagouSpider