scrapy模擬登錄2018新版知乎

　　由於2018知乎改版，增加了幾個登錄所需要的post_data，讓我這個初出茅廬的小白頭疼了幾天，經過一番search（github和各種大佬的博客），最終成功的模擬登錄的2018新版知乎。

方法如下：

1.谷歌瀏覽器，打開知乎登錄頁面，F12打開調試，F5刷新，選中Network，輸入賬號，錯誤的密碼（正確的密碼登錄成功直接跳到主頁了就無法分析登錄的請求了），觀察登錄的過程中提交了哪些請求

　　主要就是上圖中4個請求

（1）第一個是一個GET請求，查看他的response是一個json格式的數據，show_captcha為true表示需要驗證碼，false為不需要

（2）第二個是一個PUT請求，這次請求得到了驗證碼的base64碼，解碼后可得到一張帶有字母的圖片驗證碼

（3）第三個是一個POST請求，表示服務器的驗證結果是否正確，如果為true，表示驗證成功，可以進行最后一個登陸請求了

 

（4）最后一個為登陸請求（POST），就是登陸請求了，新版知乎的登錄post數據變成了Request Payload，比以前復雜了許多

發送請求的時候帶上這些數據就可以啦。其中signature和timestamp較為復雜，signature是通過js加密過的（通過ctrl+alt+F搜索signature），可用python模擬js加密過程獲得signature的值，timestamp為13位的時間戳。client_id和request header中的authorization后面部分是一樣的。

2.下面附上整體代碼：

# -*- coding: utf-8 -*-
__author__ = 'Mark'
__date__ = '2018/4/15 10:18'

import hmac
import json
import scrapy
import time
import base64
from hashlib import sha1


class ZhihuLoginSpider(scrapy.Spider):
    name = 'zhihu03'
    allowed_domains = ['www.zhihu.com']
    start_urls = ['http://www.zhihu.com/']
    agent = 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36'
    # agent = 'Mozilla/5.0 (Windows NT 6.2; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/27.0.1453.94 Safari/537.36'
    headers = {
        'Connection': 'keep-alive',
        'Host': 'www.zhihu.com',
        'Referer': 'https://www.zhihu.com/signup?next=%2F',
        'User-Agent': agent,
        'authorization': 'oauth c3cef7c66a1843f8b3a9e6a1e3160e20'
    }
    grant_type = 'password'
    client_id = 'c3cef7c66a1843f8b3a9e6a1e3160e20'
    source = 'com.zhihu.web'
    timestamp = str(int(time.time() * 1000))
    timestamp2 = str(time.time() * 1000)
    print(timestamp2)

    def get_signature(self, grant_type, client_id, source, timestamp):
        """處理簽名"""
        hm = hmac.new(b'd1b964811afb40118a12068ff74a12f4', None, sha1)
        hm.update(str.encode(grant_type))
        hm.update(str.encode(client_id))
        hm.update(str.encode(source))
        hm.update(str.encode(timestamp))
        return str(hm.hexdigest())

    def parse(self, response):
        print(response.body.decode("utf-8"))

    def start_requests(self):
        yield scrapy.Request('https://www.zhihu.com/api/v3/oauth/captcha?lang=en',
                             headers=self.headers, callback=self.is_need_capture)

    def is_need_capture(self, response):
        print(response.text)
        need_cap = json.loads(response.body)['show_captcha']
        print(need_cap)

        if need_cap:
            print('需要驗證碼')
            yield scrapy.Request(
                url='https://www.zhihu.com/api/v3/oauth/captcha?lang=en',
                headers=self.headers,
                callback=self.capture,
                method='PUT'
            )
        else:
            print('不需要驗證碼')
            post_url = 'https://www.zhihu.com/api/v3/oauth/sign_in'
            post_data = {
                "client_id": self.client_id,
                "username": "***********",  # 輸入知乎用戶名
                "password": "***********",  # 輸入知乎密碼
                "grant_type": self.grant_type,
                "source": self.source,
                "timestamp": self.timestamp,
                "signature": self.get_signature(self.grant_type, self.client_id, self.source, self.timestamp),  # 獲取簽名
                "lang": "en",
                "ref_source": "homepage",
                "captcha": '',
                "utm_source": "baidu"
            }
            yield scrapy.FormRequest(
                url=post_url,
                formdata=post_data,
                headers=self.headers,
                callback=self.check_login
            )
        # yield scrapy.Request('https://www.zhihu.com/captcha.gif?r=%d&type=login' % (time.time() * 1000),
        #                      headers=self.headers, callback=self.capture, meta={"resp": response})
        # yield scrapy.Request('https://www.zhihu.com/api/v3/oauth/captcha?lang=en',
        #                      headers=self.headers, callback=self.capture, meta={"resp": response},dont_filter=True)

    def capture(self, response):
        # print(response.body)
        try:
            img = json.loads(response.body)['img_base64']
        except ValueError:
            print('獲取img_base64的值失敗！')
        else:
            img = img.encode('utf8')
            img_data = base64.b64decode(img)

            with open('zhihu03.gif', 'wb') as f:
                f.write(img_data)
                f.close()
        captcha = input('請輸入驗證碼：')
        post_data = {
            'input_text': captcha
        }
        yield scrapy.FormRequest(
            url='https://www.zhihu.com/api/v3/oauth/captcha?lang=en',
            formdata=post_data,
            callback=self.captcha_login,
            headers=self.headers
        )

    def captcha_login(self, response):
        try:
            cap_result = json.loads(response.body)['success']
            print(cap_result)
        except ValueError:
            print('關於驗證碼的POST請求響應失敗!')
        else:
            if cap_result:
                print('驗證成功!')
        post_url = 'https://www.zhihu.com/api/v3/oauth/sign_in'
        post_data = {
            "client_id": self.client_id,
            "username": "***********",  # 輸入知乎用戶名
            "password": "***********",  # 輸入知乎密碼
            "grant_type": self.grant_type,
            "source": self.source,
            "timestamp": self.timestamp,
            "signature": self.get_signature(self.grant_type, self.client_id, self.source, self.timestamp),  # 獲取簽名
            "lang": "en",
            "ref_source": "homepage",
            "captcha": '',
            "utm_source": ""
        }
        headers = self.headers
        headers.update({
            'Origin': 'https://www.zhihu.com',
            'Pragma': 'no - cache',
            'Cache-Control': 'no - cache'
        })
        yield scrapy.FormRequest(
            url=post_url,
            formdata=post_data,
            headers=headers,
            callback=self.check_login
        )

    def check_login(self, response):
        # 驗證是否登錄成功
        text_json = json.loads(response.text)
        print(text_json)
        yield scrapy.Request('https://www.zhihu.com/inbox', headers=self.headers)

3.經過多番掙扎，此次模擬登錄新版知乎終於成功，給自己上了一課，還有好多好多需要學習，一起加油吧！

注：

最后調試過程中出現的問題：

（1）驗證碼票據問題：setting.py文件，設置

COOKIES_ENABLED = True

（2）輸入驗證碼最后檢查登錄是否成功瀏覽器時出現500錯誤，本以為是user-agent的問題，各種設置后發現還是沒用，最后經調試發現是自己的timestamp值提交錯了

應該先取整然后再轉成字符串，寫代碼一定要仔細仔細仔細啊！！！我是真的皮。。。

參考鏈接：

 https://zhuanlan.zhihu.com/p/34073256

 http://www.bubuko.com/infodetail-2485207.html

 https://github.com/zkqiang/Zhihu-Login/blob/master/zhihu_login.py

 https://github.com/superdicdi/zhihu_login/blob/master/ZhiHu/spiders/zhihu_login.py