寫在破殼日的話:筆者的博客作為自己學習的記錄,也算是學習筆記啦。如果有什么錯誤之處歡迎指出!希望自己能從小白一點點成長起來。
往之不可諫,來者猶可追!
結論:爬蟲使用requests更方便
以下為學習整理:(重點對requests進行學習)
1.urllib是python內置的HTTP請求庫
2.urllib.request
urllib.request可以實現基本的網頁訪問
用type查看三個變量的類型,分別是:<class 'http.client.HTTPResponse'> <class 'bytes'> <class 'str'>
Q:用response=urllib.request.urlopen()就可以訪問網頁,為什么還有req=urllib.request.Request(),response=urllib.request.urlopen(req)?
A:簡單的直接訪問網頁可以用response=urllib.request.urlopen(url);但要對訪問信息進行包裝就用后者,比如添加headers : req=urllib.request.Request(url=url,headers=headers),response=urllib.request.urlopen(req)
3.requests的方法