request庫
雖然Python的標准庫中 urllib.request 模塊已經包含了平常我們使用的大多數功能，但是它的 API 使用起來讓人感覺不太好，而 Requests 自稱 “HTTP for Humans”，說明使用更簡潔方便。
Requests 唯一的一個非轉基因的 Python HTTP 庫，人類可以安全享用。
Requests 繼承了urllib2的所有特性。Requests支持HTTP連接保持和連接池，支持使用cookie保持會話，支持文件上傳，支持自動確定響應內容的編碼，支持國際化的 URL 和 POST 數據自動編碼。
requests 的底層實現其實就是 urllib3。
Requests的文檔非常完備，中文文檔也相當不錯。Requests能完全滿足當前網絡的需求，支持Python 2.6—3.6，而且能在PyPy下完美運行。
1.1 requests庫特性。
Requests庫是Python中的一個HTTP請求第三方庫，用來簡化網絡請求，
它有如下特征，能夠完全滿足現在的Web開發。
1.Keep-Alive & 連接池。
2.國際化域名和 URL。
3.帶持久 Cookie 的會話。
4.瀏覽器式的 SSL 認證。
5.自動內容解碼。
6.基本/摘要式的身份認證。
7.優雅的 key/value Cookie。
8.自動解壓。
9.Unicode 響應體。
10.HTTP(S) 代理支持。
11.文件分塊上傳。
12.流下載。
13.連接超時。
14.分塊請求。
15.支持 .netrc。
1.2 requests庫安裝。
requests庫的安裝可以通過pip install requests命令安裝或者利用easy_install都可以完成安裝，一般情況都是通過pip install requests命令安裝。
1.3 用requests庫發送請求。
使用 Requests發送網絡請求非常簡單。
第一步：需要導入 Requests 模塊：
import requests
第二步：創建一個Response對象，我們可以各種通過HTTP請求類型從這個對象中獲取所有我們想要的信息。
例如：獲取 Github 的公共時間線。
Response = requests.get('https://api.github.com/events')
Response = requests.post('http://httpbin.org/post', data = {'key':'value'})
Response = requests.put('http://httpbin.org/put', data = {'key':'value'})
Response = requests.delete('http://httpbin.org/delete')
Response = requests.head('http://httpbin.org/get')
Response = requests.options('http://httpbin.org/get')
Get 、Post、PUT、DELETE、HEAD 以及 OPTIONS 都是requests 庫的HTTP請求類型，常用的一般是Get 、Post兩種，下面的教程也是以Get 、Post兩種為主介紹相關的使用。
1.4 帶參數的Get請求。
通常一個get完整的URL是手工構建的，數據會以鍵/值對的形式置於URL中，跟在一個問號的后面。例如， httpbin.org/get?key=val。 Requests 允許你使用 params 關鍵字參數，以一個字符串字典來提供這些參數。舉例來說，如果你想傳遞 key1=value1 和 key2=value2 到 httpbin.org/get ，那么你可以使用如下代碼：
payload = {'key1': 'value1', 'key2': 'value2'}
r = requests.get("http://httpbin.org/get", params=payload)
print(r.url)
運行結果：
http://httpbin.org/get?key1=value1&key2=value2
注意字典里值為 None 的鍵都不會被添加到 URL 的查詢字符串里。
例子：
import requests
payload = {'key1': 'value1', 'key2': None,'key3':'value3'}
r = requests.get("http://httpbin.org/get", params=payload)
print(r.url)
運行結果：
http://httpbin.org/get?key3=value3&key1=value1
你還可以將一個列表作為值傳入。
例子：
import requests
payload = {'key1': 'value1', 'key2': ['value2', 'value3']}
r = requests.get("http://httpbin.org/get", params=payload)
print(r.url)
運行結果：
http://httpbin.org/get?key2=value2&key2=value3&key1=value1
1.5 Get請求帶headers 和 params查詢參數。
Get請求如果想添加 headers，可以傳入headers參數來增加請求頭中的headers信息。如果要將參數放在url中傳遞，可以利用 params 參數。
例子：
import requests
kw = {'wd':'電影'}
headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"}
# params 接收一個字典或者字符串的查詢參數，字典類型自動轉換為url編碼，不需要urlencode()
response = requests.get("http://www.baidu.com/s?", params = kw, headers = headers)
# 查看響應內容，response.text 返回的是Unicode格式的數據。
print(response.text)
# 查看響應內容，response.content返回的字節流數據。
print(response.content)
# 查看完整url地址。
print(response.url)
# 查看響應頭部字符編碼。
print(response.encoding)
# 查看響應碼。
print(response.status_code)
運行結果：
說明：
【response.text】：獲取響應內容。
【response.content】：也是獲取響應內容，但是返回的是字節流數據。
【response.url】：查看完整的請求URL。
【response.encoding】：查看響應頭部字符編碼。
【response.status_code】：查看響應狀態碼。
使用response.text 時，Requests 會基於 HTTP 響應的文本編碼自動解碼響應內容，大多數 Unicode 字符集都能被無縫地解碼。
使用response.content 時，返回的是服務器響應數據的原始二進制字節流，可以用來保存圖片等二進制文件。
1.6 Post請求。
對於 POST 請求來說，我們一般需要為它增加一些參數。那么最基本的傳參方法可以利用 data 這個參數。
例子：
import requests
payload = {'key1': 'value1', 'key2': 'value2'}
ret = requests.post("http://httpbin.org/post", data=payload)
print(ret.text)
運行結果：
{"args":{},"data":"","files":{},"form":{"key1":"value1","key2":"value2"},"headers":{"Accept":"*/*","Accept-Encoding":"gzip, deflate","Connection":"close","Content-Length":"23","Content-Type":"application/x-www-form-urlencoded","Host":"httpbin.org","User-Agent":"python-requests/2.18.4"},"json":null,"origin":"119.123.205.115","url":"http://httpbin.org/post"}
1.7 響應內容。
requests模塊的返回對象是一個Response對象，可以從這個對象中獲取需要的信息。下面 r 代表Response對象。
【r.text】：文本響應內容。
【r.context】：二進制響應內容。
【r.json()】：JSON響應內容 。
【r.raw】：原始相應內容。
（1）文本響應內容。
例子：
import requests
r = requests.get('https://api.github.com/events')
print(r.text)
運行結果：
對於非文本請求，你也能以字節的方式訪問請求響應體。
（2）二進制響應內容。
對於非文本請求，你也能以字節的方式訪問請求響應體。
例子1：
import requests
r = requests.get('https://api.github.com/events')
print(r.content)
運行結果：
Requests 會自動為你解碼 gzip 和 deflate 傳輸編碼的響應數據。
例子2，以請求返回的二進制數據創建一張圖片。
from PIL import Image
from io import BytesIO
i = Image.open(BytesIO(r.content))
（3）JSON響應內容。
Requests 中也有一個內置的 JSON 解碼器，助你處理 JSON 數據。
例子：
import requests
r = requests.get('https://github.com/timeline.json')
print(r.json())
運行結果：
如果 JSON 解碼失敗， r.json 就會拋出一個異常。例如，相應內容是 401 (Unauthorized)，嘗試訪問 r.json 將會拋出 ValueError: No JSON object could be decoded 異常。
（4）Raw響應內容。
在罕見的情況下，你可能想獲取來自服務器的原始套接字響應，那么你可以訪問 r.raw。 如果你確實想這么干，那請你確保在初始請求中設置了 stream=True。具體你可以這么做。
例子：
import requests
r = requests.get('https://github.com/timeline.json', stream=True)
print(r.raw)
運行結果：
但一般情況下，你應該以下面的模式將文本流保存到文件。
with open(filename, 'wb') as fd:
for chunk in r.iter_content(chunk_size):
fd.write(chunk)
使用 Response.iter_content 將會處理大量你直接使用 Response.raw 不得不處理的。 當流下載時，上面是優先推薦的獲取內容方式。
1.8 響應碼轉碼。
Requests會自動將從Server返回的內容解碼。許多Unicode字符也會被解碼。
請求發出后，Requests 會基於 HTTP 頭部對響應的編碼作出有根據的推測。當你訪問 r.text 之時，Requests 會使用其推測的文本編碼。你可以找出 Requests 使用了什么編碼，並且能夠使用r.encoding 屬性來改變它：
如果你改變了編碼，每當你訪問 r.text ，Request 都將會使用 r.encoding 的新值。你可能希望在使用特殊邏輯計算出文本的編碼的情況下來修改編碼。比如 HTTP 和 XML 自身可以指定編碼。這樣的話，你應該使用 r.content 來找到編碼，然后設置 r.encoding 為相應的編碼。這樣就能使用正確的編碼解析 r.text 了。
在你需要的情況下，Requests 也可以使用定制的編碼。如果你創建了自己的編碼，並使用codecs 模塊進行注冊，你就可以輕松地使用這個解碼器名稱作為 r.encoding 的值， 然后由 Requests 來為你處理編碼。
例子：
import requests
r = requests.get('https://api.github.com/events')
print(r.text)
print(r.encoding)
r.encoding = 'ISO-8859-1'
print(r.encoding)
運行結果：
1.9 自定義請求頭。
如果你想為請求添加 HTTP 頭部，只要簡單地傳遞一個 dict 給 headers 參數就可以了。
例如，在前一個示例中我們沒有指定 content-type。
import requests
url = 'https://api.github.com/some/endpoint'
headers = {'user-agent': 'my-app/0.0.1'}
r = requests.get(url, headers=headers)
注意: 定制 header 的優先級低於某些特定的信息源，例如：
1.如果在 .netrc 中設置了用戶認證信息，使用 headers= 設置的授權就不會生效。而如果設置了auth= 參數，.netrc 的設置就無效了。
2.如果被重定向到別的主機，授權 header 就會被刪除。
3.代理授權 header 會被 URL 中提供的代理身份覆蓋掉。
4.在我們能判斷內容長度的情況下，header 的 Content-Length 會被改寫。
更進一步講，Requests 不會基於定制 header 的具體情況改變自己的行為。只不過在最后的請求中，所有的 header 信息都會被傳遞進去。
注意: 所有的 header 值必須是 string、bytestring 或者 unicode。盡管傳遞 unicode header 也是允許的，但不建議這樣做。
1.10 響應狀態碼。
我們可以通過r.status_code檢測響應狀態碼。
例子:
import requests
r = requests.get('http://httpbin.org/get')
print(r.status_code)
運行結果：
為方便引用，Requests還附帶了一個內置的狀態碼查詢對象。
r.status_code == requests.codes.ok
如果發送了一個錯誤請求(一個 4XX 客戶端錯誤，或者 5XX 服務器錯誤響應)，我們可以通過Response.raise_for_status() 來拋出異常。
import requests
r = requests.get('http://httpbin.org/get')
print(r.status_code)
假如運行的結果為：404，會報如下錯誤：
bad_r.raise_for_status()
Traceback (most recent call last):
File "requests/models.py", line 832, in raise_for_status
raise http_error
requests.exceptions.HTTPError: 404 Client Error
但是，由於我們的例子中 r 的 status_code 是 200 ，當我們調用 raise_for_status() 時，得到的是：None。
1.11 響應頭。
我們可以通過r.headers查看以一個請求的服務器響應頭。
例子：
import requests
r = requests.get('http://httpbin.org/get')
print(r.headers)
運行結果：
{'Server': 'gunicorn/19.8.1',
'Access-Control-Allow-Origin': '*',
'Content-Length': '211',
'Content-Type': 'application/json',
'Connection': 'keep-alive',
'Access-Control-Allow-Credentials': 'true',
'Date': 'Sun, 17 Jun 2018 03:21:54 GMT',
'Via': '1.1 vegur'}
返回的是一個字典，這個字典比較特殊：它是僅為 HTTP 頭部而生的，HTTP 頭部是大小寫不敏感的，因此，我們可以使用任意大寫形式來編寫這些響應頭字段。
還有一個特殊點，那就是服務器可以多次接受同一 header，每次都使用不同的值。 Requests 會自動將它們合並。
1.12 cookies
我們可以通過r.cookies 去獲取一個請求的cookies，特別是在實戰中登錄模塊用的比較多，我們可以通過cookies進行登錄。
例子1：
import requests
response = requests.get("http://www.baidu.com/")
# 返回CookieJar對象:
cookiejar = response.cookies
# 將CookieJar轉為字典：
cookiedict = requests.utils.dict_from_cookiejar(cookiejar)
print(cookiejar)
print(cookiedict)
運行結果：
例子2：利用Cookie模擬登錄步驟：
1.在瀏覽器輸入http://demo.bxcker.com，輸入用戶名和密碼登錄。
2.登錄成功點“客戶管理”模塊。
3.進入客戶管理模塊，顯示客戶列表。
4.通過抓包工具抓取客戶列表，得到登錄后的Cookie信息。
GET http://demo.bxcker.com/customer/index.shtml HTTP/1.1
Host: demo.bxcker.com
Connection: keep-alive
Pragma: no-cache
Cache-Control: no-cache
Accept: */*
X-Requested-With: XMLHttpRequest
User-Agent: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36
Referer: http://demo.bxcker.com/
Accept-Encoding: gzip, deflate
Accept-Language: zh-CN,zh;q=0.9
Cookie: IEX-JSESSIONID=WFPlPUVbbbkQ76XPCr9tXRB4voK0eESo; Hm_lvt_4320d635415dcfd7831a11fa64aec173=1526347940; Hm_lpvt_4320d635415dcfd7831a11fa64aec173=1526347940; SPRING_SECURITY_REMEMBER_ME_COOKIE=UE9kSDFGMnVsS291S2Z2V1k5c1daQT09OjZxWFVDUUhoVmR2UTdsWnRFRnlZZ0E9PQ
5.利用sublime text工具處理抓到的http請求頭信息替換成字典。
選擇內容替換的方式是用正則表達式。
內容填寫：^(.*):\s(.*)$ （需要把header文件內容處理成字典，中間有個空格，所以加個\s）
替換為填寫："\1":"\2",
點全換，處理完成之后變成如下：
"Host":"demo.bxcker.com",
"Connection":"keep-alive",
"Pragma":"no-cache",
"Cache-Control":"no-cache",
"Accept":"*/*",
"X-Requested-With":"XMLHttpRequest",
"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36",
"Referer":"http://demo.bxcker.com/",
"Accept-Encoding":"gzip, deflate",
"Accept-Language":"zh-CN,zh;q=0.9",
"Cookie":"IEX-JSESSIONID=WFPlPUVbbbkQ76XPCr9tXRB4voK0eESo; Hm_lvt_4320d635415dcfd7831a11fa64aec173=1526347940; Hm_lpvt_4320d635415dcfd7831a11fa64aec173=1526347940; SPRING_SECURITY_REMEMBER_ME_COOKIE=UE9kSDFGMnVsS291S2Z2V1k5c1daQT09OjZxWFVDUUhoVmR2UTdsWnRFRnlZZ0E9PQ",
6. 處理完成之后直接拷貝到Python定義的頭信息變量headers={}里。
7. 整理headers 信息（去掉一些沒用的，保留一些重要的）。
"Connection":"keep-alive",
"X-Requested-With":"XMLHttpRequest",
"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36",
"Referer":"http://demo.bxcker.com/",
"Cookie":"IEX-JSESSIONID=WFPlPUVbbbkQ76XPCr9tXRB4voK0eESo; Hm_lvt_4320d635415dcfd7831a11fa64aec173=1526347940; Hm_lpvt_4320d635415dcfd7831a11fa64aec173=1526347940; SPRING_SECURITY_REMEMBER_ME_COOKIE=UE9kSDFGMnVsS291S2Z2V1k5c1daQT09OjZxWFVDUUhoVmR2UTdsWnRFRnlZZ0E9PQ",
8. 編寫完整的程序。
import requests
from urllib import parse
url ="http://demo.bxcker.com/qhiex_login"
headers ={
"Referer": "http://demo.bxcker.com/",
"Connection": "keep-alive",
"X-Requested-With": "XMLHttpRequest",
"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36",
"Content-Type": "application/x-www-form-urlencoded",
"Accept-Language": "zh-CN,zh;q=0.9",
}
data ={"username":"demo100","password":"demo100"}
# 通過urlencode()轉碼
postdata = parse.urlencode(data).encode(encoding='UTF8')
response = requests.post(url, data = postdata,headers=headers)
# 返回CookieJar對象:
cookiejar = response.cookies
# 將CookieJar轉為字典：
cookiedict = requests.utils.dict_from_cookiejar(cookiejar)
print(cookiejar)
print(cookiedict)
#利用cookie登錄，訪問客戶管理模塊
r=requests.get("http://demo.bxcker.com/customer/index.shtml",headers=headers)
# 響應內容轉碼
r.encoding = 'utf-8'
#打印響應內容
print(r.text)
運行結果：
可以看到客戶列表里的相關信息，證明是通過Cookie登錄成功，然后跳轉到客戶管理模塊，獲取的客戶信息。
1.13 Sission
在 requests 里，session對象是一個非常常用的對象，這個對象代表一次用戶會話：從客戶端瀏覽器連接服務器開始，到客戶端瀏覽器與服務器斷開。
會話能讓我們在跨請求時候保持某些參數，比如在同一個 Session 實例發出的所有請求之間保持 cookie 。
例子：利用Sission實現登錄。
import requests
from urllib import parse
url ="http://demo.bxcker.com/qhiex_login"
headers ={
"Referer": "http://demo.bxcker.com/",
"Connection": "keep-alive",
"X-Requested-With": "XMLHttpRequest",
"User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.139 Safari/537.36",
"Content-Type": "application/x-www-form-urlencoded",
"Accept-Language": "zh-CN,zh;q=0.9",
}
data ={"username":"demo100","password":"demo100"}
# 創建session對象，可以保存Cookie值。
ssion = requests.session()
# 發送附帶用戶名和密碼的請求，並獲取登錄后的Cookie值，保存在ssion里。
ssion.post("http://www.renren.com/PLogin.do", data = data)
# ssion包含用戶登錄后的Cookie值，可以直接訪問那些登錄后才可以訪問的頁面。
r = ssion.get("http://demo.bxcker.com/customer/index.shtml",headers=headers)
# 響應內容轉碼。
r.encoding = 'utf-8'
# 打印響應內容。
print(r.text)
運行結果：
1.14 重定向和重定向歷史。
默認情況下，除了 HEAD, Requests 會自動處理所有重定向。
可以使用響應對象的 history 方法來追蹤重定向。
Response.history 是一個 Response 對象的列表，為了完成請求而創建了這些對象。這個對象列表按照從最老到最近的請求進行排序。
例如：Github 將所有的 HTTP 請求重定向到 HTTPS。
import requests
r = requests.get('http://github.com')
print(r.url)
#'https://github.com/'
print(r.status_code)
# 200
print(r.history)
#[<Response [301]>]
如果你使用的是GET、OPTIONS、POST、PUT、PATCH 或者 DELETE，那么你可以通過 allow_redirects 參數禁用重定向處理：
import requests
r = requests.get('http://github.com',allow_redirects=False)
print(r.status_code)
# 301
print(r.history)
#[]
如果你使用了 HEAD，你也可以啟用重定向：
例子：
import requests
r = requests.get('http://github.com',allow_redirects=False)
print(r.url)
#'https://github.com/'
print(r.history)
#[<Response [301]>]
1.15 請求超時設置。
你可以告訴 requests 在經過以 timeout 參數設定的秒數時間之后停止等待響應。
requests.get('http://github.com', timeout=0.001)
1.16 代理（proxies參數）
如果需要使用代理，你可以通過為任意請求方法提供 proxies 參數來配置單個請求。
例子：
import requests
# 根據協議類型，選擇不同的代理
proxies = {
"http": "http://12.34.56.79:9527",
"https": "http://12.34.56.79:9527",
}
response = requests.get("http://www.baidu.com", proxies = proxies)
print response.text
也可以通過本地環境變量 HTTP_PROXY 和 HTTPS_PROXY 來配置代理：
export HTTP_PROXY="http://12.34.56.79:9527"
export HTTPS_PROXY="https://12.34.56.79:9527"
1.17 私密代理驗證（特定格式） 和 Web客戶端驗證（auth 參數）。
urllib.request庫 的做法比較復雜，requests只需要一步。
1.私密代理。
例子：
import requests
# 如果代理需要使用HTTP Basic Auth，可以使用下面這種格式：
proxy = { "http": "xny_123:abc123@61.158.163.130:16816" }
response = requests.get("http://www.baidu.com", proxies = proxy)
print(response.text)
2.web客戶端驗證。
如果是Web客戶端驗證，需要添加 auth = (賬戶名, 密碼)。
例子：
import requests
auth=('xiaony', 'xny123')
response = requests.get('http://192.168.1.102', auth = auth)
print(response.text)
1.18 處理HTTPS請求 SSL證書驗證。
Requests也可以為HTTPS請求驗證SSL證書。
要想檢查某個主機的SSL證書，你可以使用 verify 參數（也可以不寫）。
例子：
import requests
r = requests.get("https://www.baidu.com/", verify=True)
# 也可以省略不寫
# r = requests.get("https://www.baidu.com/")
print(r.encoding)
# 響應轉碼
r.encoding = 'utf-8'
print(r.text)
運行結果：
-------------------------------
個人今日頭條賬號： 聽海8 （上面上傳了很多相關學習的視頻以及我書里的文章，大家想看視頻，可以關注我的今日頭條）
