urllib.request默認只支持HTTP/HTTPS的GET和POST方法
urllib.parse.urlencode()
urllib 和 urllib2 都是接受URL請求的相關模塊，但是提供了不同的功能。兩個最顯著的不同如下：
urllib 僅可以接受URL，不能創建 設置了headers 的Request 類實例；
但是 urllib 提供
urlencode方法用來GET查詢字符串的產生，而 urllib2 則沒有。（這是 urllib 和 urllib2 經常一起使用的主要原因）編碼工作使用urllib的
urlencode()函數，幫我們將key:value這樣的鍵值對轉換成"key=value"這樣的字符串，解碼工作可以使用urllib的unquote()函數。（注意，不是urllib2.urlencode() )
一般HTTP請求提交數據，需要編碼成 URL編碼格式，然后做為url的一部分，或者作為參數傳到Request對象中。
Get方式
GET請求一般用於我們向服務器獲取數據，比如說，我們用百度搜索傳智播客：https://www.baidu.com/s?wd=傳智播客
瀏覽器的url會跳轉成如圖所示:
https://www.baidu.com/s?wd=%E4%BC%A0%E6%99%BA%E6%92%AD%E5%AE%A2
在其中我們可以看到在請求部分里，http://www.baidu.com/s? 之后出現一個長長的字符串，其中就包含我們要查詢的關鍵詞傳智播客，於是我們可以嘗試用默認的Get方式來發送請求。
1 from urllib import request 2 import urllib.parse 3 4 keyword=input('請輸入關鍵字：') 5 a=urllib.parse.urlencode({'wd':keyword}) #url編碼 6 # print(a) 7 # b=urllib.parse.unquote(a) #url解碼 8 # print(b) 9 header={"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.87 Safari/537.36"} 10 fullurl='http://www.baidu.com/s'+'?'+a 11 c=request.Request(fullurl,headers=header) 12 request.urlopen(c) 13 print(fullurl)
批量爬取貼吧頁面數據
首先我們創建一個python文件, tiebaSpider.py，我們要完成的是，輸入一個百度貼吧的地址，比如：
百度貼吧LOL吧第一頁：http://tieba.baidu.com/f?kw=lol&ie=utf-8&pn=0
第二頁： http://tieba.baidu.com/f?kw=lol&ie=utf-8&pn=50
第三頁： http://tieba.baidu.com/f?kw=lol&ie=utf-8&pn=100
發現規律了吧，貼吧中每個頁面不同之處，就是url最后的pn的值，其余的都是一樣的，我們可以抓住這個規律。
簡單寫一個小爬蟲程序，來爬取百度LOL吧的所有網頁。
1 from urllib import request 2 import urllib.parse 3 4 #根據url發送請求，獲取服務器響應文件 5 def getPage(url,filename): 6 print('正在下載'+filename) 7 header = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.87 Safari/537.36"} 8 a=request.Request(url,headers=header) 9 return request.urlopen(a).read() 10 11 #將html內容寫入到本地 12 def saveFile(filename,html): 13 print('正在保存' + filename) 14 with open(filename,'wb') as f: 15 f.write(html) 16 print('*'*20) 17 18 #貼吧爬蟲調度器，負責組合處理每個頁面的url 19 def tiebaSpider(url,startpage,endpage): 20 for page in range(startpage,endpage+1): 21 pn=(page-1)*50 22 fullurl=url+'&pn='+str(pn) 23 print(fullurl) 24 filname='第'+str(page) + "頁.html" 25 html = getPage(fullurl, filname) 26 saveFile(filname,html) 27 print('謝謝使用!') 28 29 if __name__ == '__main__': 30 kw=input('請輸入要搜索的內容：') 31 startpage=int(input('請輸入從第幾頁開始：')) 32 endpage=int(input('請輸入從第幾頁結束:')) 33 34 kw=urllib.parse.urlencode({'kw':kw}) 35 url='http://tieba.baidu.com/f?'+kw 36 37 tiebaSpider(url, startpage, endpage)
其實很多網站都是這樣的，同類網站下的html頁面編號，分別對應網址后的網頁序號，只要發現規律就可以批量爬取頁面了。
POST方式：
上面我們說了Request請求對象的里有data參數，它就是用在POST里的，我們要傳送的數據就是這個參數data，data是一個字典，里面要匹配鍵值對。
有道詞典翻譯網站：
輸入測試數據，再通過使用Fiddler觀察，其中有一條是POST請求，而向服務器發送的請求數據並不是在url里，那么我們可以試着模擬這個POST請求。
於是，我們可以嘗試用POST方式發送請求。
1 from urllib import request 2 import urllib.parse 3 4 # url='http://fanyi.youdao.com/translate_o?smartresult=dict&smartresult=rule' 5 url='http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule' 6 header={ 7 # "Accept": "application/json, text/javascript, */*; q=0.01", 8 "X-Requested-With": "XMLHttpRequest", 9 "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.87 Safari/537.36", 10 "Content-Type": "application/x-www-form-urlencoded; charset=UTF-8", 11 "Origin": "http://fanyi.youdao.com" 12 } 13 14 data={ 15 "i":"python", 16 "from":"AUTO", 17 "to":"AUTO", 18 "smartresult": "dict", 19 "client":"fanyideskweb", 20 "salt": "15825474729954", 21 "sign":"792ead532594975beac7426b8b565dff", 22 "ts":"1582547472995", 23 "bv":"4b1009b506fa4405f21e207abc4459fd", 24 "doctype": "json", 25 "version": "2.1", 26 "keyfrom": "fanyi.web", 27 "action ":"FY_BY_REALTlME" 28 } 29 30 datas=urllib.parse.urlencode(data).encode('utf-8') 31 32 a=request.Request(url,data=datas,headers=header) 33 print(request.urlopen(a).read().decode('utf-8'))
發送POST請求時，需要特別注意headers的一些屬性：
Content-Length: 144： 是指發送的表單數據長度為144，也就是字符個數是144個。
X-Requested-With: XMLHttpRequest：表示Ajax異步請求。
Content-Type: application/x-www-form-urlencoded： 表示瀏覽器提交 Web 表單時使用，表單數據會按照 name1=value1&name2=value2 鍵值對形式進行編碼。
獲取AJAX加載的內容
有些網頁內容使用AJAX加載，只要記得，AJAX一般返回的是JSON,直接對AJAX地址進行post或get，就返回JSON數據了。
"作為一名爬蟲工程師，你最需要關注的，是數據的來源"
1 from urllib import request 2 import urllib.parse 3 4 5 ######post方式 6 url = "https://movie.douban.com/j/search_subjects?type=movie&tag=%E7%83%AD%E9%97%A8&sort=recommend" 7 8 headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.87 Safari/537.36"} 9 10 formdata = { 11 "page_limit":"5", 12 "page_start":"20" 13 } 14 15 data=urllib.parse.urlencode(formdata).encode('utf-8') 16 a=request.Request(url,data=data,headers=headers) 17 18 print(request.urlopen(a).read().decode('utf-8')) 19 20 21 #####get方式 22 url1 = "https://movie.douban.com/j/search_subjects?type=movie&tag=%E7%83%AD%E9%97%A8&sort=recommend&page_limit=5&page_start=20" 23 24 headers1 = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.87 Safari/537.36"} 25 26 b=request.Request(url1,headers=headers1) 27 # print(request.urlopen(b).read().decode('utf-8'))
問題：為什么有時候POST也能在URL內看到數據？
GET方式是直接以鏈接形式訪問，鏈接中包含了所有的參數，服務器端用Request.QueryString獲取變量的值。如果包含了密碼的話是一種不安全的選擇，不過你可以直觀地看到自己提交了什么內容。
POST則不會在網址上顯示所有的參數，服務器端用Request.Form獲取提交的數據，在Form提交的時候。但是HTML代碼里如果不指定 method 屬性，則默認為GET請求，Form中提交的數據將會附加在url之后，以
?分開與url分開。表單數據可以作為 URL 字段（method="get"）或者 HTTP POST （method="post"）的方式來發送。比如在下面的HTML代碼中，表單數據將因為 （method="get"） 而附加到 URL 上：
<form action="form_action.asp" method="get"> <p>First name: <input type="text" name="fname" /></p> <p>Last name: <input type="text" name="lname" /></p> <input type="submit" value="Submit" /> </form>
處理HTTPS請求 SSL證書驗證
現在隨處可見 https 開頭的網站，urllib2可以為 HTTPS 請求驗證SSL證書，就像web瀏覽器一樣，如果網站的SSL證書是經過CA認證的，則能夠正常訪問，如：https://www.baidu.com/等...
如果SSL證書驗證不通過，或者操作系統不信任服務器的安全證書，比如瀏覽器在訪問12306網站如：https://www.12306.cn/mormhweb/的時候，會警告用戶證書不受信任。（據說 12306 網站證書是自己做的，沒有通過CA認證）
urllib2在訪問的時候則會報出SSLError：
import urllib2 url = "https://www.12306.cn/mormhweb/" headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"} request = urllib2.Request(url, headers = headers) response = urllib2.urlopen(request) print response.read() 運行結果：
urllib2.URLError: <urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed (_ssl.c:590)>
所以，如果以后遇到這種網站，我們需要單獨處理SSL證書，讓程序忽略SSL證書驗證錯誤，即可正常訪問。
import urllib import urllib2 # 1. 導入Python SSL處理模塊 import ssl # 2. 表示忽略未經核實的SSL證書認證 context = ssl._create_unverified_context() url = "https://www.12306.cn/mormhweb/" headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/54.0.2840.99 Safari/537.36"} request = urllib2.Request(url, headers = headers) # 3. 在urlopen()方法里 指明添加 context 參數 response = urllib2.urlopen(request, context = context) print response.read() 關於CA
CA(Certificate Authority)是數字證書認證中心的簡稱，是指發放、管理、廢除數字證書的受信任的第三方機構，如北京數字認證股份有限公司、上海市數字證書認證中心有限公司等...
CA的作用是檢查證書持有者身份的合法性，並簽發證書，以防證書被偽造或篡改，以及對證書和密鑰進行管理。
現實生活中可以用身份證來證明身份， 那么在網絡世界里，數字證書就是身份證。和現實生活不同的是，並不是每個上網的用戶都有數字證書的，往往只有當一個人需要證明自己的身份的時候才需要用到數字證書。
普通用戶一般是不需要，因為網站並不關心是誰訪問了網站，現在的網站只關心流量。但是反過來，網站就需要證明自己的身份了。
比如說現在釣魚網站很多的，比如你想訪問的是www.baidu.com，但其實你訪問的是www.daibu.com”，所以在提交自己的隱私信息之前需要驗證一下網站的身份，要求網站出示數字證書。
一般正常的網站都會主動出示自己的數字證書，來確保客戶端和網站服務器之間的通信數據是加密安全的。