參考鏈接
http://www.zhidaow.com/post/python-requests-install-and-brief-introduction
1. 安裝
下載安裝包地址:https://github.com/requests/requests.git
下載完成后解壓到python的安裝目錄中
然后打開cmd命令行,輸入cd 當前requests的路徑里
然后輸入命令:python setup.py install,回車即可
檢查是否安裝成功,打開cmd命令行,輸入:python回車,接着輸入:import requests ;也可以在IDLE中輸入import requests
,如果沒提示錯誤,那說明已經安裝成功了!
2. 小試牛刀
3.快速指南
3.1 發送請求
發送請求很簡單的,首先要導入requests模塊:
接下來讓我們獲取一個網頁,例如某博主的博客的首頁:
接下來,我們就可以使用這個r
的各種方法和函數了。
另外,HTTP請求還有很多類型,比如POST,PUT,DELETE,HEAD,OPTIONS。也都可以用同樣的方式實現:
因為目前我還沒用到這些,所以沒有深入研究。
3.2 在URLs中傳遞參數
有時候我們需要在URL中傳遞參數,比如在采集百度搜索結果時,我們wd參數(搜索詞)和rn參數(搜素結果數量),你可以手工組成URL,requests也提供了一種看起來很NB的方法:
上面wd=
的亂碼就是“張亞楠”的轉碼形式。(好像參數按照首字母進行了排序。)
3.3 獲取響應內容
可以通過r.text
來獲取網頁的內容。
文檔里說,requests會自動將內容轉碼。大多數unicode字體都會無縫轉碼。但我在cygwin下使用時老是出現UnicodeEncodeError
錯誤,郁悶。倒是在python的IDLE中完全正常。
另外,還可以通過r.content
來獲取頁面內容。
文檔中說r.content
是以字節的方式去顯示,所以在IDLE中以b
開頭。但我在cygwin中用起來並沒有,下載網頁正好。所以就替代了urllib2的urllib2.urlopen(url).read()
功能。(基本上是我用的最多的一個功能。)
3.4 獲取網頁編碼
可以使用r.encoding
來獲取網頁編碼。
當你發送請求時,requests會根據HTTP頭部來猜測網頁編碼,當你使用r.text
時,requests就會使用這個編碼。當然你還可以修改requests的編碼形式。
像上面的例子,對encoding修改后就直接會用修改后的編碼去獲取網頁內容。
3.5 json
像urllib和urllib2,如果用到json,就要引入新模塊,如json
和simplejson
,但在requests中已經有了內置的函數,r.json()
。就拿查詢IP的API來說:
3.6 網頁狀態碼
我們可以用r.status_code
來檢查網頁的狀態碼。
前兩個例子很正常,能正常打開的返回200,不能正常打開的返回404。但第三個就有點奇怪了,那個是百度搜索結果中的302跳轉地址,但狀態碼顯示是200,接下來我用了一招讓他原形畢露:
這里能看出他是使用了302跳轉。也許有人認為這樣可以通過判斷和正則來獲取跳轉的狀態碼了,其實還有個更簡單的方法:
只要加上一個參數allow_redirects
,禁止了跳轉,就直接出現跳轉的狀態碼了,好用吧?我也利用這個在最后一掌做了個簡單的獲取網頁狀態碼的小應用,原理就是這個。
3.7 響應頭內容
可以通過r.headers
來獲取響應頭內容。
可以看到是以字典的形式返回了全部內容,我們也可以訪問部分內容。
3.8 設置超時時間
我們可以通過timeout
屬性設置超時時間,一旦超過這個時間還沒獲得響應內容,就會提示錯誤。
3.9 代理訪問
采集時為避免被封IP,經常會使用代理。requests也有相應的proxies
屬性。
如果代理需要賬戶和密碼,則需這樣:
3.10 請求頭內容
請求頭內容可以用r.request.headers
來獲取。
3.11 自定義請求頭部
偽裝請求頭部是采集時經常用的,我們可以用這個方法來隱藏: