1、Url的格式簡單介紹，如下圖：
2、我們要對網站進行訪問，需要用到python中的一個模塊或者說一個包吧，urllib（這個在python2中是urllib+urllib2，python3將這兩個合並為一）
Urllib這個包內有幾個模塊，我們用最難的那個就可以啦，哈哈哈，request模塊。
-
urllib.request.urlopen(url, data=None, [timeout, ]*, cafile=None, capath=None, cadefault=False, context=None)
url: 網站地址 data：Post要提交的數據 （不寫的話默認為get請求） timeout：設置網站的訪問超時時間
直接用urllib.request模塊的urlopen（）獲取頁面，html的數據格式為bytes類型，需要decode（）解碼，轉換成str類型。
舉個簡單的實例，我們爬取百度的網址：
import urllib.request as urt #模塊別名 response = urt.urlopen(r"https://www.cnblogs.com/") #獲取博客地址內容 html = response.read() #因為是一個對象，所以用讀的方式將內容讀出 html = html.decode('utf-8') #因為是二進制(byte的類型)的字符串，要解碼成unicode print(html)
urlopen返回對象提供方法：
- read() , readline() ,readlines() , fileno() , close() ：對HTTPResponse類型數據進行操作。
- info()：返回HTTPMessage對象，即服務器返回的頭信息。
- getcode()：返回Http狀態碼。
- geturl()：返回請求的url地址。
urllib.request.urlopen實際上執行的是兩個動作，先是urllib.request.Request(url)然后再urlopen這個對象，因此我們可以通過Request來包裝請求，然后再通過urlopen來訪問地址。
-
urllib.request.Request(url, data=None, headers={}, method=None)
import urllib.request url = r'http://www.lagou.com/zhaopin/Python/?labelWords=label'
#以字典形式添加，當然有些只需要添加User-Agent 即可
headers = { 'User-Agent': r'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36', 'Referer': r'http://www.lagou.com/zhaopin/Python/?labelWords=label', 'Connection': 'keep-alive' } req = urllib.request.Request(url, headers=headers) #這里可以添加header頭 page = urllib.request.urlopen(req).read() page = page.decode('utf-8') print(page)
用來包裝頭部的數據：
- User-Agent ：這個頭部可以攜帶如下幾條信息：瀏覽器名和版本號、操作系統名和版本號等
- Referer：可以用來防止盜鏈，有一些網站圖片顯示來源http://***.com，就是檢查Referer來鑒定的
- Connection：表示連接狀態，記錄Session的狀態。
剛剛開始的時候我們用urlopen做了get請求，現在我們試試post請求，以下面實例進行講解：
from urllib import request, parse url = r'https://www.lagou.com/jobs/companyAjax.json?needAddtionalResult=false&isSchoolJob=0' headers = { 'User-Agent': r'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36', 'Referer': r'http://www.lagou.com/zhaopin/Python/?labelWords=label', 'Connection': 'keep-alive' } data = { 'first': 'true', 'pn': 1, 'kd': 'Java' } data = parse.urlencode(data).encode('utf-8') #Post的數據必須是bytes或者iterable of bytes，不能是str，因此需要進行encode（）編碼 req = request.Request(url, headers=headers, data=data) #也可以將data數據在urlopen中再傳入 page = request.urlopen(req).read() page = page.decode('utf-8') print(page)
這里需要注意下：urllib.parse.urlencode(query, doseq=False, safe='', encoding=None, errors=None)，這個是將數據格式變成人家能看懂的數據，經過urlencode（）轉換后的data數據為URL后面加上?first=true?pn=1?kd=Java
當然，有些網站為了防止別人爬蟲或者惡意訪問，可能會做諸多限制，比如發現同一個ip一秒內下載了幾十張圖片，那么這肯定就有可能不是正常訪問，因此很可能就會判斷為爬蟲或者其它，然后發個驗證碼讓你輸入，為了避免這種情況出現，於是乎我們使用代理的方式進行訪問，例子如下：
-
urllib.request.ProxyHandler(proxies=None)
import urllib.request import random url = 'http://www.whatismyip.com.tw' iplist = ['180.149.131.67:80','27.221.93.217:80','111.2.122.46:8080'] proxy_support = urllib.request.ProxyHandler({'http':random.choice(iplist)}) opener = urllib.request.build_opener(proxy_support) opener.addheaders = [('User-Agent','Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/5')] urllib.request.install_opener(opener) response = urllib.request.urlopen(url) html = response.read().decode('utf-8')
print(html)
上面是代碼，我們來詳細說下整個過程：
1、首先我們先創建一個代理處理器 ProxyHandler，ProxyHandler是一個類，其參數是一個字典，上面就是我們的iplist，我們本來也可以寫一個ip，但是由於免費的代理ip不穩定，因此我們寫成了一個列表，然后每次隨機從列表中取出一個代理Ip。
什么是Handler？Handler也叫作處理器，每個handlers知道如何通過特定協議打開URLs，或者如何處理URL打開時的各個方面，例如HTTP重定向或者HTTP cookies。
2、定制（創建）一個opener，opener = urllib.request.build_opener(proxy_support)
什么是opener？python在打開一個url鏈接時，就會使用opener。其實，urllib.request.urlopen()函數實際上是使用的是默認的opener，只不過在這里我們需要定制一個opener來指定handler。
3、安裝opener，urllib.request.install_opener(opener)，install_opener 用來創建（全局）默認opener，這個表示調用urlopen將使用你安裝的opener，當然你也可以不用安裝，你可以直接opener.open(url)，修改上面的代碼為：
import urllib.request import random url = 'http://www.whatismyip.com.tw' iplist = ['180.149.131.67:80','27.221.93.217:80','111.2.122.46:8080'] proxy_support = urllib.request.ProxyHandler({'http':random.choice(iplist)}) opener = urllib.request.build_opener(proxy_support) opener.addheaders = [('User-Agent','Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/5')] #urllib.request.install_opener(opener) #注釋了這一行，下一行修改為 opener.open(url)，但是我們這樣修改如果使用urlopen的話就不會打開我們特制的opener，因此這個看需求而定。 response = opener.open(url) html = response.read().decode('utf-8') print(html)
下面說下異常處理，詳細就不多說了，看下就知道了，如下：
from urllib import request, parse url = r'https://www.lagou.com/jobs/companyAjax.json?needAddtionalResult=false&isSchoolJob=0' headers = { 'User-Agent': r'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36', 'Referer': r'http://www.lagou.com/zhaopin/Python/?labelWords=label', 'Connection': 'keep-alive' } data = { 'first': 'true', 'pn': 1, 'kd': 'Java' } data = parse.urlencode(data).encode('utf-8') #Post的數據必須是bytes或者iterable of bytes，不能是str，因此需要進行encode（）編碼 try: req = request.Request(url, headers=headers, data=data) #也可以將data數據在urlopen中再傳入 page = request.urlopen(req).read() page = page.decode('utf-8') print(page) except error.HTTPError as e: print(e.code()) print(e.read().decode('utf-8'))