Python爬蟲入門requests庫的安裝與使用


Requests庫的詳細安裝過程

對於初學Python爬蟲小白,認識和使用requests庫是第一步,requests庫包含了網頁爬取

的常用方法。下面開始安裝requests庫。

1.檢查是否安裝過requests庫:Windows加r打開cmd命令提示符,輸入pip install requests,

回車查看。

2.若回車后顯示空,則需要下載安裝tar包。網站鏈接:https://pypi.org/project/pip/#files

 

 

 3.解壓下載的tar包,將pip文件放在Python安裝目錄下的lib包內。

4.打開cmd命令管理器,輸入pip install requests,顯示如下圖則安裝成功。

 

 Python對於其他庫函數的安裝類似如上方法。例如BeautifulSoup4的安裝,只需按上面步驟

即可,命令行輸入pip install beautifulsoup4。

requests庫的常用方法

 

 get()方法

get()方法構造一個請求服務器的request對象。

requests.get()

r = requests.get(url)

r是返回的一個包含服務器資源的對象

response對象的屬性

 

r.status_code返回的要么是200,要么是404或者其他,只有返回200時是表示連接成功。

r.text返回輸出網頁的內容,解決亂碼問題。

r.encoding返回網頁的編碼,如果header不存在charset,則默認返回ISO-8859-1。

r.apparent_encoding,從文本內容分析出網頁的編碼方式。實際上更加全面。

Requests庫的異常

 

 Response的異常

返回狀態不是200時,產生一個requests.HTTPError的異常。


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM