前戲
有些頁面需要登錄才可以訪問,而服務器是根據cookie來進行判斷的,服務器拿到瀏覽器的cookie,然后再數據庫里進行查詢判斷,如果校驗通過,則服務器認為是登錄過的,才有繼續訪問的權限,否則,服務器可能會返回到登錄頁面讓你進行登錄。
設置cookie
登錄cookie = 登錄后的cookies - 登錄前的cookies
想發送你的cookies到服務器,可以使用 cookies 參數:
import requests url = 'http://httpbin.org/cookies' cookies = dict(cookies_are='working') r = requests.get(url, cookies=cookies) print(r.text)
結果:
{ "cookies": { "cookies_are": "working" } }
Cookie 的返回對象為 RequestsCookieJar,它的行為和字典類似,但接口更為完整,適合跨域名跨路徑使用。你還可以把 Cookie Jar 傳到 Requests 中:
import requests jar = requests.cookies.RequestsCookieJar() jar.set('tasty_cookie', 'yum', domain='httpbin.org', path='/cookies') jar.set('gross_cookie', 'blech', domain='httpbin.org', path='/elsewhere') url = 'http://httpbin.org/cookies' r = requests.get(url, cookies=jar) print(r.text)
結果:
{ "cookies": { "tasty_cookie": "yum" } }
如果某個響應中包含一些 cookie,你可以快速訪問它們:
import requests url = 'http://example.com/some/cookie/setting/url' r = requests.get(url) print(r.cookies['example_cookie_name'])
實戰
import requests # 先打開登錄首頁,獲取部分cookie url = "https://passport.cnblogs.com/user/signin" headers = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64; rv:44.0) Gecko/20100101 Firefox/44.0" } r = requests.get(url, headers=headers, verify=False) print(r.cookies) # 添加前的cookies # 添加登錄需要的兩個cookie c = requests.cookies.RequestsCookieJar() c.set('.CNBlogsCookie', 'xxx') # 填抓包內容 c.set('.Cnblogs.AspNetCore.Cookies', 'xxx') # 填抓包內容 r.cookies.update(c) # 更新cookies print(r.cookies) # 添加后的cookies