Requests庫的詳細安裝過程
對於初學Python爬蟲小白,認識和使用requests庫是第一步,requests庫包含了網頁爬取
的常用方法。下面開始安裝requests庫。
1.檢查是否安裝過requests庫:Windows加r打開cmd命令提示符,輸入pip install requests,
回車查看。
2.若回車后顯示空,則需要下載安裝tar包。網站鏈接:https://pypi.org/project/pip/#files。
3.解壓下載的tar包,將pip文件放在Python安裝目錄下的lib包內。
4.打開cmd命令管理器,輸入pip install requests,顯示如下圖則安裝成功。
Python對於其他庫函數的安裝類似如上方法。例如BeautifulSoup4的安裝,只需按上面步驟
即可,命令行輸入pip install beautifulsoup4。
requests庫的常用方法
get()方法
get()方法構造一個請求服務器的request對象。
requests.get()
r = requests.get(url)
r是返回的一個包含服務器資源的對象
response對象的屬性
r.status_code返回的要么是200,要么是404或者其他,只有返回200時是表示連接成功。
r.text返回輸出網頁的內容,解決亂碼問題。
r.encoding返回網頁的編碼,如果header不存在charset,則默認返回ISO-8859-1。
r.apparent_encoding,從文本內容分析出網頁的編碼方式。實際上更加全面。
Requests庫的異常
Response的異常
返回狀態不是200時,產生一個requests.HTTPError的異常。