第5章 scrapy爬取知名問答網站

第五章感覺是第四章的練習項目，無非就是多了一個模擬登錄。

不分小節記錄了，直接上知識點，可能比較亂。

1.常見的httpcode：

2.怎么找post參數？

先找到登錄的頁面，打開firebug，輸入錯誤的賬號和密碼，觀察post_url變換，從而確定參數。

3.讀取本地的文件，生成cookies。

try:
    import cookielib #py2
except:
    import http.cookiejar as cookielib #py3

4.用requests登錄知乎

# -*- coding: utf-8 -*-
__author__ = 'jinxiao'

import requests
try:
    import cookielib
except:
    import http.cookiejar as cookielib

import re

session = requests.session()  #實例化session,下面的requests可以直接換成session
session.cookies = cookielib.LWPCookieJar(filename="cookies.txt") #實例化cookies，保存cookies
#讀取cookies
try:
    session.cookies.load(ignore_discard=True)
except:
    print ("cookie未能加載")

#知乎一定要加上瀏覽器的頭，其他網站不一定，一般都是要的
agent = "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:51.0) Gecko/20100101 Firefox/51.0"
header = {
    "HOST":"www.zhihu.com",
    "Referer": "https://www.zhizhu.com",
    'User-Agent': agent
}

def is_login():
    #通過個人中心頁面返回狀態碼來判斷是否為登錄狀態
    inbox_url = "https://www.zhihu.com/question/56250357/answer/148534773"
    response = session.get(inbox_url, headers=header, allow_redirects=False)  #禁止重定向，判斷為是否登錄
    if response.status_code  != 200:
        return False
    else:
        return True

def get_xsrf():
    #獲取xsrf code
    response = session.get("https://www.zhihu.com", headers=header)
    match_obj = re.match('.*name="_xsrf" value="(.*?)"', response.text)
    if match_obj:
        return (match_obj.group(1))
    else:
        return ""


def get_index():
    response = session.get("https://www.zhihu.com", headers=header)
    with open("index_page.html", "wb") as f:
        f.write(response.text.encode("utf-8"))
    print ("ok")

def zhihu_login(account, password):
    #知乎登錄
    if re.match("^1\d{10}",account):
        print ("手機號碼登錄")
        post_url = "https://www.zhihu.com/login/phone_num"
        post_data = {
            "_xsrf": get_xsrf(),
            "phone_num": account,
            "password": password
        }
    else:
        if "@" in account:
            #判斷用戶名是否為郵箱
            print("郵箱方式登錄")
            post_url = "https://www.zhihu.com/login/email"
            post_data = {
                "_xsrf": get_xsrf(),
                "email": account,
                "password": password
            }

    response_text = session.post(post_url, data=post_data, headers=header)
    session.cookies.save()

zhihu_login("18782902568", "admin123")
# get_index()
print(is_login())

5.在shell調試中添加UserAgent

　scrapy shell -s USER_AGENT='...' url

6.JsonView插件

可以很好的可視化看json

7.寫入html文件

with open(''e:/zhihu.html'',"wb") as f:
    f.write(response.text.encode('utf-8'))

8.yield理解

　　如果是yield item 會到pipelins中處理

　　如果是yield Request 會到下載器去下載

9.在mysql中怎么去重，設置主鍵去重，主鍵沖突

解決：在插入的sql語句后面加上 ON DUPLICATE KEY UPDATE content=VALUES(content) #這是需要更新的內容

10.手動輸入驗證碼（zhihu.login_requests.py）

def get_captcha():
    import time
    t=str(int(time.time()*1000))
    captcha_url="https://www.zhihu.com/captcha.gif?r={0}&type=login".format(t)
    t=session.get(captcha_url,headers=header)
    with open("captcha.jpg","wb") as f:
        f.write(t.content)
        f.close()
    captcha=input("輸入驗證碼：")
    return captcha
#為什么是第五行是session，而不是requests？
#因為requests會重新建立一次繪畫 session，這與后面的參數不符，輸入的驗證碼並不是當前的驗證碼。

作者：今孝

出處：http://www.cnblogs.com/jinxiao-pu/p/6749332.html

本文版權歸作者和博客園共有，歡迎轉載，但未經作者同意必須保留此段聲明，且在文章頁面明顯位置給出原文連接。