Scrapy爬蟲框架第八講【項目實戰篇：知乎用戶信息抓取】--本文參考靜覓博主所寫

思路分析：

（1）選定起始人（即選擇關注數和粉絲數較多的人--大V）

（2）獲取該大V的個人信息

（3）獲取關注列表用戶信息

（4）獲取粉絲列表用戶信息

（5）重復（2）（3）（4）步實現全知乎用戶爬取

 實戰演練：

（1）、創建項目：scrapy startproject zhijutest

（2）、創建爬蟲：cd zhihutest -----scrapy genspider  zhihu www.zhihu.com

（3）、選取起始人（這里我選擇了以下用戶）

 

我們可以看到他關注的人和關注他的人，這些內容是我們（3）（4）步需要獲取的

 

（3）、更改settings.py

 

代碼分析：這里我們設置了不遵守robots協議

robots協議：網絡爬蟲協議，它用來告訴用戶那些內容可以爬取，那些內容禁止爬取，一般我們運行爬蟲項目，首先會訪問網站的robots.txt頁面，它告訴爬蟲那些是你可以獲取的內容，這里我們為了方便，即不遵守robots協議。

代碼分析：這里我們設置了User-Agent和authorization字段（這是知乎對請求頭的限制了，即反爬），而這里我們通過設置模擬了在沒有登陸的前提下偽裝成瀏覽器去請求知乎

（4）、頁面初步分析

右擊鼠標打開chrome開發者工具選項，並選中如下箭頭所指，將鼠標放在黃色標記上，我們可以發現右側加載出了一個ajax請求

單擊該ajax請求，得到如下頁面：我們可以看見黃色部分為每位用戶的詳細信息的url,它包含多個參數用來存儲信息

此時再將頁面下滑可以看到如下信息：

該字段為上面參數的字段詳情（Query String Parameters，英文好的小伙伴應該一眼發現）

（5）、更改items.py

承接上面將頁面點擊左側並翻頁，可以看出右側出現了新的Ajax請求：followees:......這就是他關注者信息，通過點擊Preview我們獲取了網頁源代碼，可以發現包含了每一頁的用戶信息，小伙伴們可以核對下，發現信息能匹配上，我們可以從中發現每頁包含20條他的關注者信息，而黑框部分就是包含每一位用戶詳細信息的參數，我們通過它們來定義item.py(即爬什么？？？)

修改items.py如下：

（6）、更改zhihu.py

第一步：模塊導入

# -*- coding: utf-8 -*-
import json

import scrapy

from ..items import UserItem


class ZhihuSpider(scrapy.Spider):
    name = 'zhihu'
    allowed_domains = ['zhihu.com']
    start_urls = ['http://zhihu.com/']

    #設定起始爬取人，這里我們通過觀察發現與url_token字段有關
    start_user = 'zhouyuan'

    #選取起始爬取人的頁面詳情信息，這里我們傳入了user和include參數方便對不同的用戶進行爬取
    user_url = 'https://www.zhihu.com/api/v4/members/{user}?include={include}'
    #用戶詳情參數即包含在include后面的字段
    user_query = 'allow_message,is_followed,is_following,is_org,is_blocking,employments,answer_count,follower_count,articles_count,gender,badge[?(type=best_answerer)].topics'

    #這是他的關注者的url,這里包含了每位他的關注者的url，同樣我們傳入了user和include參數方便對不同用戶進行爬取
    follows_url = 'https://www.zhihu.com/api/v4/members/{user}/followees?include={include}&offset={offset}&limit={limit}'
    #他的每位關注者詳情參數，即包含在include后面的字段
    follows_query = 'data[*].answer_count,articles_count,gender,follower_count,is_followed,is_following,badge[?(type=best_answerer)].topics'

    #這是他的粉絲的url,這里包含了每位他的關注者的url，同樣我們傳入了user和include參數方便對不同用戶進行爬取
    followers_url = 'https://www.zhihu.com/api/v4/members/{user}/followees?include={include}&offset={offset}&limit={limit}'
    #他的每位粉絲的詳情參數，即包含在include后面的字段
    followers_query = 'data[*].answer_count,articles_count,gender,follower_count,is_followed,is_following,badge[?(type=best_answerer)].topics'

    #重新定義起始爬取點的url
    def start_requests(self):
        #這里我們傳入了將選定的大V的詳情頁面的url，並指定了解析函數parseUser
        yield scrapy.Request(self.user_url.format(user=self.start_user, include=self.user_query), callback=self.parseUser)
        #這里我們傳入了將選定的大V他的關注者的詳情頁面的url，並指定了解析函數parseFollows
        yield scrapy.Request(self.follows_url.format(user=self.start_user, include=self.follows_query, offset=0, limit=20), callback=self.parseFollows)
        #這里我們傳入了將選定的大V的粉絲的詳情頁面的url，並指定了解析函數parseFollowers
        yield scrapy.Request(self.followers_url.format(user=self.start_user, include=self.followers_query, offset=0, limit=20), callback=self.parseFollowers)

#爬取每一位用戶詳情的頁面解析函數
    def parseUser(self, response):
        #這里頁面上是json字符串類型我們使用json.loads（）方法將其變為文本字符串格式
        result = json.loads(response.text)
        item = UserItem()

        #這里我們遍歷了items.py中定義的字段並判斷每位用戶的詳情頁中的keys是否包含該字段，如包含則獲取
        for field in item.fields:
            if field in result.keys():
                item[field] = result.get(field)
        yield item
#定義回調函數，爬取他的關注者與粉絲的詳細信息，實現層層迭代
        yield scrapy.Request(self.follows_url.format(user=result.get('url_token'), include=self.follows_query, offset=0, limit=20), callback=self.parseFollows)
        yield scrapy.Request(self.followers_url.format(user=result.get('url_token'), include=self.followers_query, offset=0, limit=20), callback=self.parseFollowers)

#他的關注者的頁面解析函數
    def parseFollows(self, response):
        results = json.loads(response.text)
        #判斷data標簽下是否含有獲取的文本字段的keys
        if 'data' in results.keys():
            for result in results.get('data'):
                yield scrapy.Request(self.user_url.format(user=result.get('url_token'), include=self.user_query), callback=self.parseUser)
        #判斷頁面是否翻到了最后
        if 'paging' in results.keys() and results.get('paging').get('is_end') == False:
            next_page = results.get('paging').get('next')
            yield scrapy.Request(next_page, callback=self.parseFollows)

#他的粉絲的頁面解析函數
    def parseFollowers(self, response):
        results = json.loads(response.text)

        if 'data' in results.keys():
            for result in results.get('data'):
                yield scrapy.Request(self.user_url.format(user=result.get('url_token'), include=self.user_query), callback=self.parseUser)

        if 'paging' in results.keys() and results.get('paging').get('is_end')    == False:
            next_page = results.get('paging').get('next')
            yield scrapy.Request(next_page, callback=self.parseFollowers)

我們可以看到當我們翻到了最后is_end字段變為了True,而next字段就是下一個頁面的url

（7）、運行下程序，可以看見已經在爬取了

（8）、將結果存入Mongodb數據庫

重寫pipelines.py

import pymongo

class MongoPipeline(object):

    collection_name = 'user'

    def __init__(self, mongo_uri, mongo_db):
        self.mongo_uri = mongo_uri
        self.mongo_db = mongo_db

    @classmethod
    def from_crawler(cls, crawler):
        return cls(
            mongo_uri=crawler.settings.get('MONGO_URI'),
            mongo_db=crawler.settings.get('MONGO_DATABASE')
        )

    def open_spider(self, spider):
        self.client = pymongo.MongoClient(self.mongo_uri)
        self.db = self.client[self.mongo_db]

    def close_spider(self, spider):
        self.client.close()

    def process_item(self, item, spider):
        self.db['user'].update({'url_token' :item['url_token']},{'$set':item},True)

代碼分析：

我們創建了名為user的集合

重寫了__init__方法指定了數據庫的鏈接地址和數據庫名稱

並修改了工廠類函數（具體參見上講ITEM PIPLELIEN用法）

打開數據庫並插入數據並以url_token字段對重復數據執行了更新操作

最后我們關閉了數據庫

再配置下settings.py

再次運行程序，可以看見我們的數據就到了數據庫了