python爬蟲Scrapy(一)-我爬了boss數據

一、概述

    學習python有一段時間了，最近了解了下Python的入門爬蟲框架Scrapy，參考了文章Python爬蟲框架Scrapy入門。本篇文章屬於初學經驗記錄，比較簡單，適合剛學習爬蟲的小伙伴。
    這次我選擇爬取boss直聘的招聘信息數據，畢竟這個網站的數據還是很有參考價值的，下面我們講述怎么爬取boss直聘的招聘信息並存盤，下一篇文章我們在對爬取到的數據進行分析。

二、Scrapy框架使用步驟

    下面我們做一個簡單示例，創建一個名字為BOSS的爬蟲工程，然后創建一個名字為zhipin的爬蟲來爬取zhipin.com這個網站

創建工程步驟：

1、創建工程 scrapy startproject BOSS

2、創建爬蟲程序 cd BOSS 回車 scrapy gensipder zhipin zhipin.com

3、編寫數據存儲模板items.py 類對象繼承自scrapy.item

4、編寫爬蟲zhipin.py 類對象集成子scrapy.Spider

5、修改settings.py配置文件 ITEM_PIPELINES = {'BOSS.pipelines.WwwZhipinComPipeline':100}

6、編寫數據處理腳本進行數據保存，pipelines.py 類對象繼承自object

def process_item(self, item, spider):
    with open("my_boss.txt", 'a') as fp:
        fp.write(item['name'] + '\n')

7、執行爬蟲 cd BOSS 回車 scrapy crawl zhipin --nolog

注意：如果導出的中文信息亂碼則需要在settings.py文件中配置編碼：FEED_EXPORT_ENCODING = 'utf-8'

三、環境安裝

    爬蟲框架我們使用Scrapy，爬取到的數據我們使用mongodb來存儲

1、安裝Scrapy

pip install Scrapy

2、安裝mongodb

pip install pymongo 

    如果安裝速度太慢，或者安裝失敗可以嘗試使用pip install pymongo -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com

    mongodb基礎操作命令參考：MongoDB基本命令操作

    上述操作只是安裝了mongodb的python驅動程序，如果要成功存儲數據還需要安裝Mongodb，具體安裝流程參考Windows平台安裝MongoDB，安裝完成后一定要記得使用命令啟動mongodb服務：net start MongoDB

四、mongodb使用

    上一小節我們已經安裝了mongodb數據庫和驅動，因此后續我們爬取到的招聘信息就存儲在該數據庫中，為了方便數據存儲，我們這里封裝了一個類，來快速的訪問數據庫，代碼如下所示

from pymongo import MongoClient

class my_connect(object):
    def __init__(self, settings):
        try:
            self.conn = MongoClient(settings["ip"], settings["port"])
        except Exception as e:
            print(e)
        self.db = self.conn[settings["db_name"]]
        self.my_set = self.db[settings["set_name"]]

    def insert(self, dic):
        self.my_set.insert(dic)

    def update(self, dic, newdic):
        self.my_set.update(dic, newdic)

    def delete(self, dic):
        self.my_set.remove(dic)

    def dbfind(self, dic):
        return self.my_set.find(dic)

    def setTableName(self, name):
        #print(u'修改當前使用集合:{}'.format(name))
        self.my_set = self.db[name]

    上述代碼中我們封裝了一個名為my_connect的類，並提供了輸入、更新、刪除和查找文檔的接口，除此之外還提供了一個setTableName的接口，這個接口主要是用於往不同集合中插入文檔數據。MongoDB 概念解析可以看這里。mongodb屬於非關系型數據庫，與關系型數據庫對比圖如下

    my_connect初始化函數中有一個參數，需要我們傳入ip地址、端口號、數據庫名字和集合名字，使用方式如下所示

from pymongo import MongoClient
from my_connect import my_connect

settings = {
    "ip":'127.0.0.1',   #ip
    "port":27017,           #端口
    "db_name" : "zhipin_datas",    #數據庫名字
    "set_name" : "test"   #集合名字
}

conn = my_connect(settings)
conn.setTableName('21') 
conn.insert({'12':'3'})

五、創建爬蟲zhipin

1、輸入如下命令，創建zhipin爬蟲

scrapy startproject www_zhipin_com
cd www_zhipin_com 回車 scrapy gensipder zhipin www.zhipin.com

2、修改zhipin.py，爬取數據，類中成員屬性含義代碼中都有解釋，這里不做解釋，需要注意的是parse方法，該方法是爬取到數據以后的回調函數，參數response表示爬取到的結果，我們可以對其進行解析拿到網頁數據。

class ZhipinSpider(scrapy.Spider):
     # spider的名字定義了Scrapy如何定位(並初始化)spider，所以其必須是唯一的。
     # 不過您可以生成多個相同的spider實例(instance)，這沒有任何限制。 
     # name是spider最重要的屬性，而且是必須的
    name = 'zhipin'

    # 可選。包含了spider允許爬取的域名(domain)列表(list)。 
    # 當 OffsiteMiddleware 啟用時， 域名不在列表中的URL不會被跟進。
    allowed_domains = ['www.zhipin.com']

    # URL列表。當沒有指定特定的URL時，spider將從該列表中開始進行爬取。
    # 這里我們進行了指定，所以不是從這個 URL 列表里爬取
    start_urls = ['http://www.zhipin.com/']
    
    #網址URL中特殊字符轉義編碼：https://blog.csdn.net/u010828718/article/details/50548687 
    #爬取的頁面，可以改為自己需要搜的條件，這里搜的是 北京-C++，其他條件都是不限
    #query：查詢崗位    
    #period：時間范圍 5表示一個月內 &在url中需要寫為%26
    #a_街道b_區名稱 eg：a_上地-b_海淀區  包含在路徑內，城市編號(c101010100)下一級
    positionUrl = 'https://www.zhipin.com/c101010100/?query=C%2B%2B%'
    curPage = 1

    解析數據時，默認一次可以拿到30條數據，我們循環遍歷這30條數據，構造WwwZhipinComItem對象item，然后調用yield item即可

def parse(self, response):
        job_list = response.css('div.job-list > ul > li')
        request_data = []
        for job in job_list:
            item = WwwZhipinComItem()
            ...
            yield item

2.1、這里有一個小技巧，我們重寫start_requests方法，讓他調用了我們自己寫的一個方法next_request，並設置了回調函數為parse方法，當parse數據解析完畢后，又構造一個新的url在次調用next_request方法拉取數據，一直循環迭代，拉取數據、解析數據

2.2、boss直聘有一個限制，不管以什么樣的方式搜索數據，數據最多顯示10頁，這也就要求我們需要對爬蟲做一個處理，在合適的實際去終止拉取數據，否則爬蟲會一直運行下去，直到boss直聘返回異常(請求被限制)

2.3、經過對爬蟲數據的分析，我們發現當最后一次請求和上一次請求的數據完全一樣時，我們可能已經到達請求的最后一頁，那么這個時候我們就可以去終止爬蟲了

2.4、為了快速的比對我么爬取到的數據是否和上一次一樣，我們對爬取到的數據進行簡單的處理，每次去對比關鍵字段即可

class itemData(object):
    def __init__(self, data):
        self.companyShortName = data['companyShortName']
        self.positionName = data['positionName']
        self.time = data['time']
        self.city = data['city']
   
    def __eq__(self, other):
        return (self.positionName == other.positionName
        and self.companyShortName == other.companyShortName
        and self.time == other.time
        and self.city == other.city)

    def __str__(self):
        return "{}:{}:{}:{}".format(self.companyShortName
        , self.time
        , self.city
        , self.positionName)

    itemData包含是一條招聘信息，存儲了招聘公司名稱，職位名稱，發布時間和發布城市，我們重寫了__eq__方法，就是為了比對兩個對象是否相等。

2.5、一次請求的數據是一個itemData集合，當兩個集合相等時我們即可終止爬蟲

if one_request == request_data:#已經拉取到最后一頁數據了  退出
    print('{}:本次拉取數據和上次拉取數據相同，{}'.format(time.strftime("%Y-%m-%d %H:%M:%S"
    , time.localtime()), self.curPage))
    return

one_request = request_data #更新最后一次請求數據

print('{}:拉取數據量:{}'.format(time.strftime("%Y-%m-%d %H:%M:%S", time.localtime()), len(job_list)))
self.curPage += 1
time.sleep(5) # 停停停！聽聽聽！都給我停下來聽着！睡一會(～﹃～)~zZ
yield self.next_request()

2.6、parse解析數據時，對每一條數據會構造一個WwwZhipinComItem對象item，並通過yield item方式觸發

3、對於爬取的字段定義需要我們修改item.py文件，定義爬取字段如下

class WwwZhipinComItem(scrapy.Item):
    # define the fields for your item here like:
    # name = scrapy.Field()
    pid = scrapy.Field()
    positionName = scrapy.Field()
    positionLables = scrapy.Field()
    workYear = scrapy.Field()
    salary = scrapy.Field()
    city = scrapy.Field()
    education = scrapy.Field()
    companyShortName = scrapy.Field()
    industryField = scrapy.Field()
    financeStage = scrapy.Field()
    companySize = scrapy.Field()
    time = scrapy.Field()
    updated_at = scrapy.Field()

4、最后一步寫入數據庫

4.1、第四節我們封裝了一個名字為my_connect的數據庫操作對象，在這里我們就可以用上了。

4.2、首先構造一個conn對象

db_name = 'zhipin_datas_C++'
nowMonth = datetime.datetime.now().month
settings = {
    "ip":'127.0.0.1',   #ip
    "port":27017,           #端口
    "db_name" : db_name,    #數據庫名字
    "set_name" : "test"   #集合名字
}

conn = my_connect(settings)

4.3、指定要插入的集合，然后構造數據、插入數據

conn.setTableName(month) 

data = {"pid": item['pid']#"27102804"
, "positionName": item['positionName']
, "positionLables": item['positionLables']#[]
, "workYear": item['workYear']#"5-10年"
, "salary": item['salary']#"30k-50k"
, "city": item['city']#"北京 海淀區 知春路"
, "education": item['education']#"碩士"
, "companyShortName": item['companyShortName']#"vmware"
, "industryField": item['industryField']#"計算機軟件"
, "financeStage": item['financeStage']#"已上市"
, "companySize": item['companySize']#"10000人以上"
, "time": item['time']#"2018-11-13 17:35:02"
, "updated_at": item['updated_at']#"2018-11-13 17:35:02"
}

conn.insert(data)

4.4、數據爬取結束后，使用gui工具Navicat 12 for MongoDB可以查看爬取到的數據，效果如下圖所示

六、源碼下載

　　需要全部代碼的到csdn直接下載：python爬蟲Scrapy(一)-我爬了boss數據

 

如果您覺得文章不錯，不妨給個打賞，寫作不易，感謝各位的支持。您的支持是我最大的動力，謝謝！！！ 

---

 

  

---

很重要--轉載聲明

1. 本站文章無特別說明，皆為原創，版權所有，轉載時請用鏈接的方式，給出原文出處。同時寫上原作者：朝十晚八 or Twowords
2. 如要轉載，請原文轉載，如在轉載時修改本文，請事先告知，謝絕在轉載時通過修改本文達到有利於轉載者的目的。 

---

奮斗中的無名小卒。。。