在模擬登錄一些平台后,在抓取平台數據時需要將cookie設置到urllib2中,python有一個自己的cookielib庫,可實現cookie的設置
#!/usr/bin/env python #-*- coding: utf-8 -*- import urllib2 import cookielib #獲取一個保存cookie的對象 cj = cookielib.LWPCookieJar() #將一個保存cookie對象,和一個HTTP的cookie的處理器綁定 cookie_support = urllib2.HTTPCookieProcessor(cj) #創建一個opener,將保存了cookie的http處理器,還有設置一個handler用於處理http的URL的打開 opener = urllib2.build_opener(cookie_support, urllib2.HTTPHandler) #將包含了cookie、http處理器、http的handler的資源和urllib2對象板頂在一起 urllib2.install_opener(opener) login_url = "登錄url" data_url = "需要抓取數據的url" #登錄請求 LoginRequest = urllib2.Request(login_url) LoginResponse = urllib2.urlopen(LoginRequest) #抓取數據請求 DataRequest = urllib2.Request(data_url) DataResponse = urllib2.urlopen(DataResponse)
