python爬蟲模擬瀏覽器訪問-User-Agent

模擬瀏覽器訪問-User-Agent：

import urllib2

#User-Agent 模擬瀏覽器訪問
headers = {"User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.88 Safari/537.36"}

#通過urllib2.Request()方法構造一個請求對象
request = urllib2.Request("http://www.baidu.com/",headers = headers)


#向指定的URL地址發送請求，並返回服務器響應的類文件對象
#response是服務器響應的類文件，除了支持文件操作的方法外，還支持以下常用的方法：
response = urllib2.urlopen(request)



#服務器返回的類文件對象支持python文件對象的操作方法
#read()方法就是讀取文件里的全部內容，返回字符串
html = response.read()

#返回HTTP的響應碼，成功返回200,4服務器頁面出錯；5.服務器問題
print response.getcode()

#返回實際數據的實際URL，防止重定向問題
print response.geturl()

#返回服務器響應的HTTP報頭
print response.info()


#打印響應內容
print(html)