原文地址 : http://www.jtahstu.com/blog/scrapy_zhipin_spider.html
Python爬蟲框架Scrapy實戰 - 抓取BOSS直聘招聘信息
零、開發環境
- MacBook Pro (13-inch, 2016, Two Thunderbolt 3 ports)
- CPU : 2 GHz Intel Core i5
- RAM : 8 GB 1867 MHz LPDDR3
- Python 版本:
v3.6.3[GCC 4.2.1 (Apple Inc. build 5666) (dot 3)] on darwin - MongoDB 版本:
v3.4.7 - MongoDB 可視化工具 ：MongoBooster v4.1.3
一、准備工作
安裝 Scrapy
pip3 install scrapy
如果順利的話,會像本人這樣,裝了一大堆軟件包
參考翻譯文檔的安裝教程：http://scrapy-chs.readthedocs.io/zh_CN/latest/intro/install.html
官方 GitHub 地址：https://github.com/scrapy/scrapy
二、新建項目
scrapy startproject www_zhipin_com
如果順利的話,會像本人這樣
三、定義要抓取的 Item
在items.py 文件中定義一個類
class WwwZhipinComItem(scrapy.Item):
# define the fields for your item here like:
# name = scrapy.Field()
pid = scrapy.Field()
positionName = scrapy.Field()
positionLables = scrapy.Field()
workYear = scrapy.Field()
salary = scrapy.Field()
city = scrapy.Field()
education = scrapy.Field()
companyShortName = scrapy.Field()
industryField = scrapy.Field()
financeStage = scrapy.Field()
companySize = scrapy.Field()
time = scrapy.Field()
updated_at = scrapy.Field()
四、分析頁面
一般一條招聘像下面這樣
html 結構如下
爬蟲中就是使用 css 選擇器獲取標簽里的文字或鏈接等
五、爬蟲代碼
在 spiders 目錄下新建 zhipin_spider.py
# -*- coding: utf-8 -*-
import scrapy
import time
from www_zhipin_com.items import WwwZhipinComItem
class ZhipinSpider(scrapy.Spider):
# spider的名字定義了Scrapy如何定位(並初始化)spider，所以其必須是唯一的。 不過您可以生成多個相同的spider實例(instance)，這沒有任何限制。 name是spider最重要的屬性，而且是必須的
name = 'zhipin'
# 可選。包含了spider允許爬取的域名(domain)列表(list)。 當 OffsiteMiddleware 啟用時， 域名不在列表中的URL不會被跟進。
allowed_domains = ['www.zhipin.com']
# URL列表。當沒有制定特定的URL時，spider將從該列表中開始進行爬取。
# 這里我們進行了指定，所以不是從這個 URL 列表里爬取
start_urls = ['http://www.zhipin.com/']
# 要爬取的頁面，可以改為自己需要搜的條件，這里搜的是 上海-PHP，其他條件都是不限
positionUrl = 'http://www.zhipin.com/c101020100/h_101020100/?query=php'
curPage = 1
# 發送 header，偽裝為瀏覽器
headers = {
'x-devtools-emulate-network-conditions-client-id': "5f2fc4da-c727-43c0-aad4-37fce8e3ff39",
'upgrade-insecure-requests': "1",
'user-agent': "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/60.0.3112.90 Safari/537.36",
'accept': "text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8",
'dnt': "1",
'accept-encoding': "gzip, deflate",
'accept-language': "zh-CN,zh;q=0.8,en;q=0.6",
'cookie': "__c=1501326829; lastCity=101020100; __g=-; __l=r=https%3A%2F%2Fwww.google.com.hk%2F&l=%2F; __a=38940428.1501326829..1501326829.20.1.20.20; Hm_lvt_194df3105ad7148dcf2b98a91b5e727a=1501326839; Hm_lpvt_194df3105ad7148dcf2b98a91b5e727a=1502948718; __c=1501326829; lastCity=101020100; __g=-; Hm_lvt_194df3105ad7148dcf2b98a91b5e727a=1501326839; Hm_lpvt_194df3105ad7148dcf2b98a91b5e727a=1502954829; __l=r=https%3A%2F%2Fwww.google.com.hk%2F&l=%2F; __a=38940428.1501326829..1501326829.21.1.21.21",
'cache-control': "no-cache",
'postman-token': "76554687-c4df-0c17-7cc0-5bf3845c9831"
}
//該方法必須返回一個可迭代對象(iterable)。該對象包含了spider用於爬取的第一個Request。
//該方法僅僅會被Scrapy調用一次，因此您可以將其實現為生成器。
def start_requests(self):
return [self.next_request()]
//負責處理response並返回處理的數據以及(/或)跟進的URL。
def parse(self, response):
print("request -> " + response.url)
job_list = response.css('div.job-list > ul > li')
for job in job_list:
item = WwwZhipinComItem()
job_primary = job.css('div.job-primary')
item['pid'] = job.css(
'div.info-primary > h3 > a::attr(data-jobid)').extract_first().strip()
item["positionName"] = job_primary.css(
'div.info-primary > h3 > a::text').extract_first().strip()
item["salary"] = job_primary.css(
'div.info-primary > h3 > a > span::text').extract_first().strip()
info_primary = job_primary.css(
'div.info-primary > p::text').extract()
item['city'] = info_primary[0].strip()
item['workYear'] = info_primary[1].strip()
item['education'] = info_primary[2].strip()
item['companyShortName'] = job_primary.css(
'div.info-company > div.company-text > h3 > a::text'
).extract_first().strip()
company_infos = job_primary.css(
'div.info-company > div.company-text > p::text').extract()
if len(company_infos) == 3: # 有一條招聘這里只有兩項，所以加個判斷
item['industryField'] = company_infos[0].strip()
item['financeStage'] = company_infos[1].strip()
item['companySize'] = company_infos[2].strip()
item['positionLables'] = job.css(
'li > div.job-tags > span::text').extract()
item['time'] = job.css('span.time::text').extract_first().strip()
item['updated_at'] = time.strftime("%Y-%m-%d %H:%M:%S", time.localtime())
yield item
self.curPage += 1
time.sleep(5) # 停停停！聽聽聽！都給我停下來聽着！睡一會(～﹃～)~zZ
yield self.next_request()
# 發送請求
def next_request(self):
return scrapy.http.FormRequest(
self.positionUrl + ("&page=%d&ka=page-%d" %
(self.curPage, self.curPage)),
headers=self.headers,
callback=self.parse)
運行腳本
scrapy crawl zhipin -o item.json
這里會在項目目錄下生成 item.json 的一個 json 文件
運行情況如下
http://cdn.jtup.cc/blog/video/scrapy_zhipin_demo.mp4
Point 1 設置 UTF-8 編碼
但是不巧，往往這是一個 Unicode 編碼的文件，所以需要加個設置
在 settings.py中添加(PS:也可以在運行的時候帶上這個參數)
FEED_EXPORT_ENCODING = 'utf-8'
親測以下方法是不能解決問題的
Point 2 慢一點
注意不要爬的太快，因為 BOSS 直聘只會顯示20頁的招聘信息，所以理論上這個腳本只要執行20次即可，那么間隔時間盡量設置長一點，本人爬的時候設置的是5秒，但是后面稍微快了一點就六字真言了，還好我已經把數據爬到了
慢一點，才能快一點！
Point 3 修改為自定義的條件
可以修改 zhipin_spider.py 第18行 positionUrl 的鏈接，把 PHP 修改為 Java 或 Python，把城市編碼（'c101020100' == 上海）換成你需要查詢的城市，即可爬取自定的崗位，這就很靈性了！
六、保存到數據庫
一條json數據如下
{
"pid": "16115932",
"positionName": "PHP后台開發工程師",
"salary": "13K-20K",
"city": "上海",
"workYear": "1-3年",
"education": "本科",
"companyShortName": "蜻蜓FM",
"industryField": "互聯網",
"financeStage": "D輪及以上",
"companySize": "100-499人",
"positionLables": [
"PHP"
],
"time": "發布於昨天",
"updated_at": "2017-12-10 17:36:21"
},
使用軟件將json文件導入到 MongoDB 中,以備后面的使用
七、不足
- 這里招聘的詳細要求還沒有爬取
- 剛抓到的數據還沒初步處理
本項目開源地址：http://git.jtahstu.com/jtahstu/Scrapy_zhipin
八、后記
有人可能會問，爬這些數據有什么用呢，現在又不跳槽。
本人的回答是，那當然肯定必須有用啊，所謂防患於未然、知己知彼，百戰不殆，只有及時了解市面上的需求，才能有針對性的提升自己、學習技術，從另一方面來看，那有關錢途的事都是大事啊。
ok，本文到此為止，下一篇就是讓我們來好好分析，招聘 PHP 程序員，企業到底需要招聘的是什么樣的 PHP程序員。PHP 程序員需要具備哪些常規技能和哪些冷門技能，應該點亮怎樣的技能樹，敬請期待。
非常感謝你能抽出三五分鍾看完這篇 Python 基礎入門的文章 ， ^_^
九、致謝
在文章的創作過程中，參考了以下文檔和文章等