urllib庫中的URL編碼解碼和GETPOST請求

 

　　在urllib庫的使用過程中，會在請求發送之前按照發送請求的方式進行編碼處理，來使得傳遞的參數更加的安全，也更加符合模擬瀏覽器發送請求的形式。這就需要用urllib中的parse模塊。parse的使用主要提供了輸送連接的編碼解碼處理。對於不同的請求發送方式，parse的使用方法不是很相同，下面是我的學習筆記。

---

　　GET方法

　　parse的使用流程大體就是在發送請求的時候將發送的內容使用字典封裝起來，然后按照拼湊的方式將查詢的關鍵信息拼湊到鏈接后，然后發送請求。如下所示：

d = {
    'q':'中國'
}
u = parse.urlencode(d) #將傳遞的參數進行編碼，編碼后的格式是按照字節以%包裹的形式進行傳遞的.
                       #值得注意的是，當傳遞的參數是漢字時，默認是按照‘utf-8’的格式進行編碼的,
                       #比如漢字中國的編碼為%E4%B8%AD%E5%9B%BD
url = '{}?{}'.format(base_url,u)

　　完整的GET方法發送請求請參考下面這個小例子。

'''
@Description: url編碼和GET請求
@Version: 1.0
@Autor: Montoin Yan
@Date: 2020-02-02 15:44:59
@LastEditors  : Montoin Yan
@LastEditTime : 2020-02-02 20:29:00
'''
##在使用GET方法進行傳遞參數的過程中，我們一般會進行一些簡單的編碼操作用來保證參數傳遞的保密性。在urllib.parse中提供了這樣一種方法進行編碼與解碼

from urllib import parse
from urllib.request import urlopen,Request
import random

#http://www.bing.com/search?q=中國
base_url = 'http://www.bing.com/search'

#parse在編碼時支持的是字典格式，可以將字典中的鍵值對按照隨機的形式進行排序，拼湊成一個類似於鏈接格式
d = {
    'q':'中國'
}
u = parse.urlencode(d) #將傳遞的參數進行編碼，編碼后的格式是按照字節以%包裹的形式進行傳遞的.
                       #值得注意的是，當傳遞的參數是漢字時，默認是按照‘utf-8’的格式進行編碼的,
                       #比如漢字中國的編碼為%E4%B8%AD%E5%9B%BD
url = '{}?{}'.format(base_url,u) #設置兩個字典，將得到的url拼湊在一起

print(url)
u_url = parse.unquote(url) #將編碼后的結果進行解碼
print(u_url)

#在編碼或者解碼結束后，會進行連接的傳遞訪問，這就運用到urllib.request模塊，這部分常用的知識點上一篇博客已經總結過了
ua_list = [
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:72.0) Gecko/20100101 Firefox/72.0",
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.29 Safari/537.36",
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 Edge/18.18362",
    "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3741.400 QQBrowser/10.5.3863.400"
]
#隨機pick one
ua = random.choice(ua_list)
request = Request(url,headers={
    'User-agent':ua
})
# response  = urlopen(url,timeout=3) #GET
response =  urlopen(request,timeout=3)
#將使用GET方法得到的信息儲存到任意文件中
with response:
    with open('bing.txt','wb') as f:
        f.write(response.read())

print('成功！')

　　結果可以參考下面的信息：

---

 

 　　POST方法

　　使用POST方法的形式就在於我們不會在發送請求的時候將請求信息顯示出來，而是在表單提交的時候將請求信息隱藏起來進行發送。而使用編碼方式進行發送，也會提高請求發送過程中的安全性。與GET方法不同發是，在請求返回的過程中，會可能返回一些JSON格式的數據，所以在處理這些數據的過程中，需要將JSON數據轉換為字典形式。

　　這里給大家推薦一個測試的網址：http://httpbin.org  這個網址中很多的關於spider發送請求的測試，很實用。

　　post方法發送請求可以參考下面這個小例子。

'''
@Description: URL編碼和POST請求
@Version: 1.0
@Autor: Montoin Yan
@Date: 2020-02-02 20:18:08
@LastEditors  : Montoin Yan
@LastEditTime : 2020-02-02 20:54:28
'''

#不同於GET方法請求，POST方法進行數據請求的時候是不能直接看到傳遞的參數的，並且POST方法返回的數據通常是JOSN形式的，所以使用不同的方式進行傳遞
from urllib import parse
from urllib.request import urlopen,Request
import random
import simplejson


url = 'http://httpbin.org/post' 

d = {
    'name':'張三!@#$%^',
    'age':'11'
}
data = parse.urlencode(d) #使用POST方式傳遞數據，相當於將data數據放置到body中進行傳輸



ua_list = [
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:72.0) Gecko/20100101 Firefox/72.0",
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.29 Safari/537.36",
    "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.102 Safari/537.36 Edge/18.18362",
    "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3741.400 QQBrowser/10.5.3863.400"
]
#隨機pick one
ua = random.choice(ua_list)
request = Request(url,headers={
    'User-agent':ua
})
#這里使用urlopen的第二個參數進行數據的傳遞
response =  urlopen(request,data =data.encode(),timeout=3)
#將使用GET方法得到的信息儲存到任意文件中
with response:
    text = response.read()
    print(type(text))
    d = simplejson.loads(text)
    print(d)
    print(type(d))

print('成功！')

 　　執行的結果可以參考下面的內容：