python urllib2 cookie 設置


在模擬登錄一些平台后,在抓取平台數據時需要將cookie設置到urllib2中,python有一個自己的cookielib庫,可實現cookie的設置

#!/usr/bin/env python
#-*- coding: utf-8 -*-

import urllib2
import cookielib

#獲取一個保存cookie的對象
cj = cookielib.LWPCookieJar()
#將一個保存cookie對象,和一個HTTP的cookie的處理器綁定
cookie_support = urllib2.HTTPCookieProcessor(cj)
#創建一個opener,將保存了cookie的http處理器,還有設置一個handler用於處理http的URL的打開
opener = urllib2.build_opener(cookie_support, urllib2.HTTPHandler)
#將包含了cookie、http處理器、http的handler的資源和urllib2對象板頂在一起
urllib2.install_opener(opener)

login_url = "登錄url"
data_url = "需要抓取數據的url"


#登錄請求
LoginRequest = urllib2.Request(login_url)
LoginResponse = urllib2.urlopen(LoginRequest)

#抓取數據請求
DataRequest = urllib2.Request(data_url)
DataResponse = urllib2.urlopen(DataResponse)

 

 


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM