1.項目介紹
本項目用於爬取前程無憂招聘網站發布的招聘信息，包括崗位名稱、崗位要求、公司名稱、經驗要求等近30個字段，可用於對目前不同地區、行業招聘市場的數據分析中。
所用工具（技術）：
IDE：pycharm
Database：MySQL
抓包工具：Fiddler
爬蟲框架：scrapy
信息抓取：scrapy內置的Selector
數據存儲：Twisted+MySQL（python3.7安裝不了MySQLdb這個模塊，應該安裝mysqlclient）
2 APP抓包分析
我們先來感受一下前程無憂的APP，當我們在首頁輸入搜索關鍵詞點擊搜索之后APP就會跳轉到新的頁面，這個頁面我們姑且稱之為一級頁面。一級頁面展示着我們所想找查看的所有崗位列表。
當我們點擊其中一條崗位信息后，APP又會跳轉到一個新的頁面，我把這個頁面稱之為二級頁面。二級頁面有我們需要的所有崗位信息，也是我們的主要采集目前頁面。
分析完頁面之后，接下來就可以對前程無憂手機APP的請求（request）和回復（response）進行分析了。本文所使用的抓包工具為Fiddler，關於如何使用Fiddler，請查看博客《網絡爬蟲中Fiddler抓取PC端網頁數據包與手機端APP數據包》，在該博文中已對如何配置Fiddler及如何抓取手機APP數據包進行了詳細的介紹。鏈接如下：
https://www.cnblogs.com/chen8023miss/protected/p/11398116.html
本文的目的是抓取前程無憂APP上搜索某個關鍵詞時返回的所有招聘信息，本文以“Python”為例進行說明。APP上操作如下圖所示，輸入“Python”關鍵詞后，點擊搜索，隨后Fiddler抓取到4個數據包，如下所示：
事實上，當看到第2和第4個數據包的圖標時，我們就應該會心一笑。這兩個圖標分別代表傳輸的是json和xml格式的數據，而很多web接口就是以這兩種格式來傳輸數據的，手機APP也不列外。選中第2個數據包，然后在右側主窗口中查看，發現第二個數據包並沒有我們想要的數據。在看看第4個數據包，選中后在右側窗體，可以看到以下內容：
右下角的內容不就是在手機上看到的招聘信息嗎，還是以XML的格式來傳輸的。我們將這個數據包的鏈接復制下來：
https://appapi.51job.com/api/job/search_job_list.php?postchannel=0000&&keyword=Python&keywordtype=2&jobarea=000000&searchid=&famoustype=&pageno=1&pagesize=30&accountid=&key=&productname=51job&partner=8785419449a858b3314197b60d54d9c6&uuid=6b21f77c7af3aa83a5c636792ba087c2&version=845&guid=bbb37e8f266b9de9e2a9fbe3bb81c3d0
我們爬取的時候肯定不會只爬取一個頁面的信息，我們在APP上把頁面往下滑，看看Fiddler會抓取到什么數據包。看下圖：
手機屏幕往下滑動后，Fiddler又抓取到兩個數據包，而且第二個數據包選中看再次發現就是APP上新刷新的招聘信息，再把這個數據包的url鏈接復制下來：
https://appapi.51job.com/api/job/search_job_list.php?postchannel=0000&&keyword=Python&keywordtype=2&jobarea=000000&searchid=&famoustype=&pageno=2&pagesize=30&accountid=&key=&productname=51job&partner=8785419449a858b3314197b60d54d9c6&uuid=6b21f77c7af3aa83a5c636792ba087c2&version=845&guid=bbb37e8f266b9de9e2a9fbe3bb81c3d0
接下來，我們比對一下前后兩個鏈接，分析其中的異同。可以看出，除了“pageno”這個屬性外，其他都一樣。沒錯，就是在上面標紅的地方。第一個數據包鏈接中pageno值為1，第二個pageno值為2，這下翻頁的規律就一目了然了。
既然我們已經找到了APP翻頁的請求鏈接規律，我們就可以在爬蟲中通過循環賦值給pageno，實現模擬翻頁的功能。
我們再嘗試一下改變搜索的關鍵詞看看鏈接有什么變化，以“java”為關鍵詞，抓取到的數據包為：
https://appapi.51job.com/api/job/search_job_list.php?postchannel=0000&&keyword=java&keywordtype=2&jobarea=000000&searchid=&famoustype=&pageno=1&pagesize=30&accountid=&key=&productname=51job&partner=8785419449a858b3314197b60d54d9c6&uuid=6b21f77c7af3aa83a5c636792ba087c2&version=845&guid=bbb37e8f266b9de9e2a9fbe3bb81c3d0
對比后發現，鏈接中也只有keyword的值不一樣，而且值就是我們在自己輸入的關鍵詞。所以在爬蟲中，我們完全可以通過字符串拼接來實現輸入關鍵詞模擬，從而采集不同類型的招聘信息。同理，你可以對求職地點等信息的規律進行尋找，本文不在敘述。
解決翻頁功能之后，我們再去探究一下數據包中XML里面的內容。我們把上面的第一個鏈接復制到瀏覽器上打開，打開后畫面如下：
這樣看着就舒服多了。通過仔細觀察我們會發現，APP上每一條招聘信息都對應着一個<item>標簽，每一個<itme>里面都有一個<jobid>標簽，里面有一個id標識着一個崗位。例如上面第一條崗位是<jobid>109384390</jobid>，第二條崗位是<jobid>109381483</jobid>，記住這個id，后面會用到。
事實上，接下來，我們點擊第一條招聘信息，進入二級頁面。這時候，Fiddler會采集到APP剛發送的數據包，點擊其中的xml數據包，發現就是APP上剛刷新的頁面信息。我們將數據包的url鏈接復制出來：
https://appapi.51job.com/api/job/get_job_info.php?jobid=109384390&accountid=&key=&from=searchjoblist&jobtype=0100&productname=51job&partner=8785419449a858b3314197b60d54d9c6&uuid=6b21f77c7af3aa83a5c636792ba087c2&version=845&guid=bbb37e8f266b9de9e2a9fbe3bb81c3d0
如法炮制點開一級頁面中列表的第二條招聘，然后從Fiddler中復制出對應數據包的url鏈接：
https://appapi.51job.com/api/job/get_job_info.php?jobid=109381483&accountid=&key=&from=searchjoblist&jobtype=0100&productname=51job&partner=8785419449a858b3314197b60d54d9c6&uuid=6b21f77c7af3aa83a5c636792ba087c2&version=845&guid=bbb37e8f266b9de9e2a9fbe3bb81c3d0
對比上面兩個鏈接，發現規律沒？沒錯，就是jobid不同，其他都一樣。這個jobid就是我們在一級頁面的xml中發現的jobid。由此，我們就可以在一級頁面中抓取出jobid來構造出二級頁面的url鏈接，然后采集出我們所需要的所有信息。整個爬蟲邏輯就清晰了：
構造一級頁面初始url->采集jobid->構造二級頁面url->抓取崗位信息->通過循環模擬翻頁獲取下一頁面的url。
好了，分析工作完成了，開始動手寫爬蟲了。
3 編寫爬蟲
本文編寫前程無憂手機APP網絡爬蟲用的是Scrapy框架，下載好scrapy第三方包后，通過命令行創建爬蟲項目：
scrapy startproject job_spider .
job_spider就是我們本次爬蟲項目的項目名稱，在項目名后面有一個“.”，這個點可有可無，區別是在當前文件之間創建項目還是創建一個與項目名同名的文件然后在文件內創建項目。
創建好項目后，繼續創建一個爬蟲，專用於爬取前程無憂發布的招聘信息。創建爬蟲命名如下：
scrapy genspider qcwySpider appapi.51job.com
注意：如果你在創建爬蟲項目的時候沒有在項目名后面加“.”，請先進入項目文件夾之后再運行命令創建爬蟲。
通過pycharm打開剛創建好的爬蟲項目，左側目錄樹結構如下：
在開始一切爬蟲工作之前，先打開settings.py文件，然后取消“ROBOTSTXT_OBEY = False”這一行的注釋，並將其值改為False。
# Obey robots.txt rules ROBOTSTXT_OBEY = False
完成上述修改后，打開spiders包下的qcwySpider.py，初始代碼如下：
# -*- coding: utf-8 -*-
import scrapy
class QcwyspiderSpider(scrapy.Spider):
name = 'qcwySpider'
allowed_domains = ['appapi.51job.com']
start_urls = ['http://appapi.51job.com/']
def parse(self, response):
pass
這是scrapy為我們搭好的框架，我們只需要在這個基礎上去完善我們的爬蟲即可。
首先我們需要在類中添加一些屬性，例如搜索關鍵詞keyword、起始頁、想要爬取得最大頁數，同時也需要設置headers進行簡單的反爬。另外，starturl也需要重新設置為第一頁的url。更改后代碼如下：
name = 'qcwySpider'
keyword = 'python'
current_page = 1
max_page = 100
headers = {
'Accept': 'text / html, application / xhtml + xml, application / xml;',
'Accept-Language': 'zh-CN,zh;q=0.9',
'Connection': 'keep-alive',
'Host': 'appapi.51job.com',
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8',
}
allowed_domains = ['appapi.51job.com']
start_urls = ['https://appapi.51job.com/api/job/search_job_list.php?postchannel=0000&&keyword='+str(keyword)+
'&keywordtype=2&jobarea=000000&searchid=&famoustype=&pageno=1&pagesize=30&accountid=97932608&key=a8c33db43f42530fbda2f2dac7a6f48d5c1c853a&productname=51job&partner=8785419449a858b3314197b60d54d9c6&uuid=6b21f77c7af3aa83a5c636792ba087c2&version=845&guid=bbb37e8f266b9de9e2a9fbe3bb81c3d0']
然后開始編寫parse方法爬取一級頁面，在一級頁面中，我們主要邏輯是通過循環實現APP中屏幕下滑更新，我們用上面代碼中的current_page來標識當前頁頁碼，每次循環后，current_page加1，然后構造新的url，通過回調parse方法爬取下一頁。另外，我們還需要在parse方法中在一級頁面中采集出jobid，並構造出二級頁面的，回調實現二級頁面信息采集的parse_job方法。parse方法代碼如下：
def parse(self, response):
"""
通過循環的方式實現一級頁面翻頁，並采集jobid構造二級頁面url
:param response:
:return:
"""
selector = Selector(response=response)
itmes = selector.xpath('//item')
for item in itmes:
jobid = item.xpath('./jobid/text()').extract_first()
url = 'https://appapi.51job.com/api/job/get_job_info.php?jobid='+jobid+'&accountid=&key=&from=searchjoblist&jobtype=0100&productname=51job&partner=8785419449a858b3314197b60d54d9c6&uuid=6b21f77c7af3aa83a5c636792ba087c2&version=845&guid=bbb37e8f266b9de9e2a9fbe3bb81c3d0'
yield scrapy.Request(url=url, headers=self.headers, dont_filter=False, callback=self.parse_job)
if self.current_page < self.max_page:
self.current_page += 1
neext_page_url = 'https://appapi.51job.com/api/job/search_job_list.php?postchannel=0000&&keyword=Python&keywordtype=2&jobarea=000000&searchid=&famoustype=&pageno=1' \
+ str(self.current_page) + '&pagesize=30&accountid=97932608&key=a8c33db43f42530fbda2f2dac7a6f48d5c1c853a&productname=51job&partner=8785419449a858b3314197b60d54d9c6&uuid=6b21f77c7af3aa83a5c636792ba087c2&version=845&guid=bbb37e8f266b9de9e2a9fbe3bb81c3d0'
time_delay = random.randint(3,5)
time.sleep(time_delay)
yield scrapy.Request(url=neext_page_url, headers=self.headers, dont_filter=True, callback=self.parse)
為了方便進行調試，我們在項目的jobSpider目錄下創建一個main.py文件，用於啟動爬蟲，每次啟動爬蟲時，運行該文件即可。內容如下：
import sys
import os
from scrapy.cmdline import execute
if __name__ == '__main__':
sys.path.append(os.path.dirname(os.path.abspath(__file__)))
execute(["scrapy" , "crawl" , "qcwySpider"])
二級頁面信息采集功能在parse_job方法中實現，因為所有我們需要抓取的信息都在xml中，我們直接用scrapy自帶的selector提取出來就可以了，不過在提取之前，我們需要先定義好Item用來存放我們采集好的數據。打開items.py文件，編寫一個Item類，輸入以下代碼：
class qcwyJobsItem(scrapy.Item):
jobid = scrapy.Field()
jobname = scrapy.Field()
coid = scrapy.Field()
#……item太多，省略部分
isapply = scrapy.Field()
url = scrapy.Field()
def get_insert_sql(self):
"""
執行具體的插入
:param cursor:
:param item:
:return:
"""
insert_sql = """
insert into qcwy_job(
jobid ,jobname ,coid ,coname ,issuedate ,jobarea ,jobnum ,degree ,jobareacode ,cityname ,
funtypecode ,funtypename ,workyearcode ,address ,joblon ,joblat ,welfare ,jobtag ,providesalary ,
language1 ,language2 ,cotype ,cosize ,indtype1 ,indtype2 ,caddr ,jobterm ,jobinfo ,isapply ,url)
VALUES ( %s, %s, %s,%s , %s, %s, %s, %s, %s, %s, %s, %s , %s, %s, %s,%s , %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s, %s)
"""
param = (
self['jobid'], self['jobname'], self['coid'], self['coname'], self['issuedate'],
self['jobarea'], self['jobnum'], self['degree'], self['jobareacode'], self['cityname'],
self['funtypecode'], self['funtypename'], self['workyearcode'], self['address'], self['joblon'],
self['joblat'], self['welfare'], self['jobtag'], self['providesalary'], self['language1'],
self['language2'],self['cotype'], self['cosize'], self['indtype1'], self['indtype2'], self['caddr'], self['jobterm'],
self['jobinfo'], self['isapply'], self['url']
)
return insert_sql , param
上面每一個item都與一個xml標簽對應，用於存放一條信息。在qcwyJobsItem類的最后，定義了一個do_insert方法，該方法用於生產將item中所有信息存儲數據庫的insert語句，之所以在items木塊中生成這個insert語句，是因為日后如果有了多個爬蟲，有多個item類之后，在pipelines模塊中，可以針對不同的item插入數據庫，使本項目具有更強的可擴展性。你也可以將所有與插入數據庫有關的代碼都寫在pipelines。
然后編寫parse_job方法：
def parse_job(self, response):
time.sleep(random.randint(3,5))
selector = Selector(response=response)
item = qcwyJobsItem()
item['jobid'] = selector.xpath('/responsemessage/resultbody/jobid/text()').extract_first()
item['jobname'] = selector.xpath('/responsemessage/resultbody/jobname/text()').extract_first()
item['coid'] = selector.xpath('/responsemessage/resultbody/coid/text()').extract_first()
……
item['jobinfo'] = selector.xpath('/responsemessage/resultbody/jobinfo/text()').extract_first()
item['isapply'] = selector.xpath('/responsemessage/resultbody/isapply/text()').extract_first()
item['url'] = selector.xpath('/responsemessage/resultbody/share_url/text()').extract_first()
yield item
完成上述代碼后，信息采集部分就完成了。接下來繼續寫信息存儲功能，這一功能在pipelines.py中完成。
class MysqlTwistedPipline(object):
def __init__(self, dbpool):
self.dbpool = dbpool
@classmethod
def from_settings(cls, settings):
dbparms = dict(
host = settings["MYSQL_HOST"],
db = settings["MYSQL_DBNAME"],
user = settings["MYSQL_USER"],
passwd = settings["MYSQL_PASSWORD"],
charset='utf8',
cursorclass=MySQLdb.cursors.DictCursor,
use_unicode=True,
)
dbpool = adbapi.ConnectionPool("MySQLdb", **dbparms)
return cls(dbpool)
def process_item(self, item, spider):
#使用twisted將mysql插入變成異步執行
query = self.dbpool.runInteraction(self.do_insert, item)
query.addErrback(self.handle_error, item, spider) #處理異常
def handle_error(self, failure, item, spider):
# 處理異步插入的異常
print ('發生異常:{}'.format(failure))
def do_insert(self, cursor, item):
# 執行具體的插入
# 根據不同的item 構建不同的sql語句並插入到mysql中
insert_sql, params = item.get_insert_sql()
cursor.execute(insert_sql, params)
編寫完pipelines.py后，打開settings.py文件，將剛寫好的MysqlTwistedPipline類配置到項目設置文件中：
ITEM_PIPELINES = {
# 'jobSpider.pipelines.JobspiderPipeline': 300,
'jobSpider.pipelines.MysqlTwistedPipline':1 ,
}
順便也把數據庫配置好：
#MySQL數據庫配置 MYSQL_HOST = '******' MYSQL_USER = 'root' MYSQL_PASSWORD = '******' MYSQL_DBNAME = 'job_spider'
數據庫配置你也可以之間嵌入到MysqlTwistedPipline類中，不過我習慣於把這些專屬的數據庫信息寫在配置文件中。
最后，只差一步，建數據庫、建數據表。部分表結構如下圖所示：
完成上述所有內容之后，就可以運行爬蟲開始采集數據了。采集的數據如下圖所示：
4 總結
整個過程下來，感覺前程無憂網APP爬取要比網頁爬取容易一些（似乎很多網站都這樣）。回顧整個流程，其實代碼中還有諸多細節尚可改進完善，例如還可以在構造鏈接時加上求職地點等。本博文重在對整個爬蟲過程的邏輯分析和介紹APP的基本爬取方法，博文中省略了部分代碼，若需要完整代碼，請在我的網盤中獲取，后續將繼續更新其他招聘網站的爬蟲。
百度網盤：鏈接：https://pan.baidu.com/s/19nt9XjrEAg40xDHoCerz3A 提取碼：n1jv