urllib與urllib2的學習總結(python2.7.X)

　　先啰嗦一句，我使用的版本是python2.7，沒有使用3.X的原因是我覺得2.7的擴展比較多，且較之前的版本變化不大，使用順手。3.X簡直就是革命性的變化，用的蹩手。3.x的版本urllib與urllib2已經合並為一個urllib庫，學着比較清晰些，2.7的版本呢urllib與urllib2各有各的作用，下面我把自己學習官方文檔和其他資料的總結寫下，方便以后使用。

　　urllib與urllib2並不是可以代替的，只能說2是一個補充吧。先來看看他們倆的區別，有一篇文章把urllib與urllib2的關系說的很明白《difference between urllib and urllib2》，意思如下。

　　Python的urllib和urllib2模塊都做與請求URL相關的操作，但他們提供不同的功能。他們兩個最顯着的差異如下：

• 　　urllib2可以接受一個Request對象，並以此可以來設置一個URL的headers，但是urllib只接收一個URL。這意味着，你不能偽裝你的用戶代理字符串等。
• 　　urllib模塊可以提供進行urlencode的方法，該方法用於GET查詢字符串的生成，urllib2的不具有這樣的功能。這就是urllib與urllib2經常在一起使用的原因。

　　

　　這兩點對於用過urllib與urllib2的人來說比較好理解，但是對於沒用過的還是不能有好的理解，下面參考官方的文檔，把自己對urllib與urllib2的學習內容總結如下。

　　A.urllib2概述

　　urllib2模塊定義的函數和類用來獲取URL（主要是HTTP的），他提供一些復雜的接口用於處理： 基本認證，重定向，Cookies等。

　　urllib2支持許多的“URL schemes”（由URL中的“：”之前的字符串確定 - 例如“FTP”的URL方案如“ftp://python.org/”），且他還支持其相關的網絡協議（如FTP，HTTP）。我們則重點關注HTTP。

　　在簡單的情況下，我們會使用urllib2模塊的最常用的方法urlopen。但只要打開HTTP URL時遇到錯誤或異常的情況下，就需要一些HTTP傳輸協議的知識。我們沒有必要掌握HTTP RFC2616。這是一個最全面和最權威的技術文檔，且不易於閱讀。在使用urllib2時會用到HTTP RFC2616相關的知識，了解即可。

　　B.常用方法和類

　　1) urllib2.urlopen(url[, data][, timeout])

　　urlopen方法是urllib2模塊最常用也最簡單的方法，它打開URL網址，url參數可以是一個字符串url或者是一個Request對象。URL沒什么可說的，Request對象和data在request類中說明，定義都是一樣的。

　　對於可選的參數timeout，阻塞操作以秒為單位，如嘗試連接（如果沒有指定，將使用設置的全局默認timeout值）。實際上這僅適用於HTTP，HTTPS和FTP連接。

　　先看只包含URL的請求例子：

import urllib2
response = urllib2.urlopen('http://python.org/')
html = response.read()

　　urlopen方法也可通過建立了一個Request對象來明確指明想要獲取的url。調用urlopen函數對請求的url返回一個response對象。這個response類似於一個file對象，所以用.read()函數可以操作這個response對象，關於urlopen函數的返回值的使用，我們下面再詳細說。

import urllib2
req = urllib2.Request('http://python.org/')
response = urllib2.urlopen(req)
the_page = response.read()

這里用到了urllib2.Request類，對於上例，我們只通過了URL實例化了Request類的對象，其實Request類還有其他的參數。

　　2) class urllib2.Request(url[, data][, headers][, origin_req_host][, unverifiable])

Request類是一個抽象的URL請求。5個參數的說明如下

　　URL——是一個字符串，其中包含一個有效的URL。

　　data——是一個字符串，指定額外的數據發送到服務器，如果沒有data需要發送可以為“None”。目前使用data的HTTP請求是唯一的。當請求含有data參數時，HTTP的請求為POST，而不是GET。數據應該是緩存在一個標准的application/x-www-form-urlencoded格式中。urllib.urlencode()函數用映射或2元組，返回一個這種格式的字符串。通俗的說就是如果想向一個URL發送數據（通常這些數據是代表一些CGI腳本或者其他的web應用）。對於HTTP來說這動作叫Post。例如在網上填的form（表單）時，瀏覽器會POST表單的內容，這些數據需要被以標准的格式編碼（encode），然后作為一個數據參數傳送給Request對象。Encoding是在urlib模塊中完成的，而不是在urlib2中完成的。下面是個例子：

import urllib
import urllib2
url = 'http://www.someserver.com/cgi-bin/register.cgi'
values = {'name' : 'Michael Foord',
          'location' : 'Northampton',
          'language' : 'Python' }
data = urllib.urlencode(values)
req = urllib2.Request(url, data)
response = urllib2.urlopen(req)
the_page = response.read()

　　headers——是字典類型，頭字典可以作為參數在request時直接傳入，也可以把每個鍵和值作為參數調用add_header()方法來添加。作為辨別瀏覽器身份的User-Agent header是經常被用來惡搞和偽裝的，因為一些HTTP服務只允許某些請求來自常見的瀏覽器而不是腳本，或是針對不同的瀏覽器返回不同的版本。例如，Mozilla Firefox瀏覽器被識別為“Mozilla/5.0 (X11; U; Linux i686) Gecko/20071127 Firefox/2.0.0.11”。默認情況下，urlib2把自己識別為Python-urllib/x.y（這里的xy是python發行版的主要或次要的版本號，如在Python 2.6中，urllib2的默認用戶代理字符串是“Python-urllib/2.6。下面的例子和上面的區別就是在請求時加了一個headers，模仿IE瀏覽器提交請求。

import urllib
import urllib2
url = 'http://www.someserver.com/cgi-bin/register.cgi'
user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'
values = {'name' : 'Michael Foord',
          'location' : 'Northampton',
          'language' : 'Python' }
headers = { 'User-Agent' : user_agent }
data = urllib.urlencode(values)
req = urllib2.Request(url, data, headers)
response = urllib2.urlopen(req)
the_page = response.read()

標准的headers組成是(Content-Length, Content-Type and Host)，只有在Request對象調用urlopen()（上面的例子也屬於這個情況）或者OpenerDirector.open()時加入。兩種情況的例子如下：

使用headers參數構造Request對象，如上例在生成Request對象時已經初始化header，而下例是Request對象調用add_header(key, val)方法附加header（Request對象的方法下面再介紹）：

import urllib2
req = urllib2.Request('http://www.example.com/')
req.add_header('Referer', 'http://www.python.org/')
r = urllib2.urlopen(req)

OpenerDirector為每一個Request自動加上一個User-Agent header，所以第二種方法如下（urllib2.build_opener會返回一個OpenerDirector對象，關於urllib2.build_opener類下面再說）：

import urllib2
opener = urllib2.build_opener()
opener.addheaders = [('User-agent', 'Mozilla/5.0')]
opener.open('http://www.example.com/')

最后兩個參數僅僅是對正確操作第三方HTTP cookies 感興趣，很少用到：

　　origin_req_host——是RFC2965定義的源交互的request-host。默認的取值是cookielib.request_host(self)。這是由用戶發起的原始請求的主機名或IP地址。例如，如果請求的是一個HTML文檔中的圖像，這應該是包含該圖像的頁面請求的request-host。

　　unverifiable ——代表請求是否是無法驗證的，它也是由RFC2965定義的。默認值為false。一個無法驗證的請求是，其用戶的URL沒有足夠的權限來被接受。例如，如果請求的是在HTML文檔中的圖像，但是用戶沒有自動抓取圖像的權限，unverifiable的值就應該是true。

　　3) urllib2.install_opener(opener)和urllib2.build_opener([handler, ...])　

　　install_opener和build_opener這兩個方法通常都是在一起用,也有時候build_opener單獨使用來得到OpenerDirector對象。　　

　　install_opener實例化會得到OpenerDirector 對象用來賦予全局變量opener。如果想用這個opener來調用urlopen，那么就必須實例化得到OpenerDirector；這樣就可以簡單的調用OpenerDirector.open()來代替urlopen()。

　　build_opener實例化也會得到OpenerDirector對象，其中參數handlers可以被BaseHandler或他的子類實例化。子類中可以通過以下實例化：ProxyHandler (如果檢測代理設置用), UnknownHandler, HTTPHandler, HTTPDefaultErrorHandler, HTTPRedirectHandler, FTPHandler, FileHandler, HTTPErrorProcessor。　

import urllib2
req = urllib2.Request('http://www.python.org/')
opener=urllib2.build_opener()
urllib2.install_opener(opener)
f = opener.open(req)

　　如上使用 urllib2.install_opener()設置 urllib2 的全局 opener。這樣后面的使用會很方便，但不能做更細粒度的控制，比如想在程序中使用兩個不同的 Proxy 設置等。比較好的做法是不使用 install_opener 去更改全局的設置，而只是直接調用 opener的open 方法代替全局的 urlopen 方法。

　　說到這Opener和Handler之間的操作聽起來有點暈。整理下思路就清楚了。當獲取一個URL時，可以使用一個opener（一個urllib2.OpenerDirector實例對象，可以由build_opener實例化生成）。正常情況下程序一直通過urlopen使用默認的opener（也就是說當你使用urlopen方法時，是在隱式的使用默認的opener對象），但也可以創建自定義的openers（通過操作器handlers創建的opener實例）。所有的重活和麻煩都交給這些handlers來做。每一個handler知道如何以一種特定的協議（http，ftp等等）打開url，或者如何處理打開url發生的HTTP重定向，或者包含的HTTP cookie。創建openers時如果想要安裝特別的handlers來實現獲取url（如獲取一個處理cookie的opener，或者一個不處理重定向的opener）的話，先實例一個OpenerDirector對象，然后多次調用.add_handler(some_handler_instance)來創建一個opener。或者，你可以用build_opener，這是一個很方便的創建opener對象的函數，它只有一個函數調用。build_opener默認會加入許多handlers，它提供了一個快速的方法添加更多東西和使默認的handler失效。
install_opener如上所述也能用於創建一個opener對象，但是這個對象是（全局）默認的opener。這意味着調用urlopen將會用到你剛創建的opener。也就是說上面的代碼可以等同於下面這段。這段代碼最終還是使用的默認opener。一般情況下我們用build_opener為的是生成自定義opener，沒有必要調用install_opener，除非是為了方便。

import urllib2
req = urllib2.Request('http://www.python.org/')
opener=urllib2.build_opener()
urllib2.install_opener(opener)
f = urllib2.urlopen(req)

 　　C.異常處理

　　當我們調用urllib2.urlopen的時候不會總是這么順利，就像瀏覽器打開url時有時也會報錯，所以就需要我們有應對異常的處理。
　　說到異常，我們先來了解返回的response對象的幾個常用的方法：

　　geturl() — 返回檢索的URL資源，這個是返回的真正url，通常是用來鑒定是否重定向的，如下面代碼4行url如果等於“http://www.python.org/ ”說明沒有被重定向。

　　info() — 返回頁面的原信息就像一個字段的對象， 如headers，它以mimetools.Message實例為格式(可以參考HTTP Headers說明)。

　　getcode() — 返回響應的HTTP狀態代碼，運行下面代碼可以得到code=200，具體各個code代表的意思請參見文后附錄。

import urllib2
req = urllib2.Request('http://www.python.org/')
response=urllib2.urlopen(req)
url=response.geturl()
info=response.info()
code=response.getcode()

　　當不能處理一個response時，urlopen拋出一個URLError（對於python APIs，內建異常如，ValueError, TypeError 等也會被拋出。）
　　HTTPError是HTTP URL在特別的情況下被拋出的URLError的一個子類。下面就詳細說說URLError和HTTPError。

　　URLError——handlers當運行出現問題時（通常是因為沒有網絡連接也就是沒有路由到指定的服務器，或在指定的服務器不存在），拋出這個異常.它是IOError的子類.這個拋出的異常包括一個‘reason’ 屬性,他包含一個錯誤編碼和一個錯誤文字描述。如下面代碼，request請求的是一個無法訪問的地址，捕獲到異常后我們打印reason對象可以看到錯誤編碼和文字描述。

import urllib2
req = urllib2.Request('http://www.python11.org/')
try:
    response=urllib2.urlopen(req)
except urllib2.URLError,e:
    print e.reason
    print e.reason[0]
    print e.reason[1]

運行結果：

　　HTTPError——HTTPError是URLError的子類。每個來自服務器HTTP的response都包含“status code”. 有時status code不能處理這個request. 默認的處理程序將處理這些異常的responses。例如，urllib2發現response的URL與你請求的URL不同時也就是發生了重定向時，會自動處理。對於不能處理的請求, urlopen將拋出HTTPError異常. 典型的錯誤包含‘404’ (沒有找到頁面), ‘403’ (禁止請求),‘401’ (需要驗證)等。它包含2個重要的屬性reason和code。

　　當一個錯誤被拋出的時候，服務器返回一個HTTP錯誤代碼和一個錯誤頁。你可以使用返回的HTTP錯誤示例。這意味着它不但具有code和reason屬性，而且同時具有read，geturl，和info等方法，如下代碼和運行結果。

import urllib2
req = urllib2.Request('http://www.python.org/fish.html')
try:
    response=urllib2.urlopen(req)
except urllib2.HTTPError,e:
    print e.code
    print e.reason
    print e.geturl()
    print e.read()

運行結果:

   如果我們想同時處理HTTPError和URLError，因為HTTPError是URLError的子類，所以應該把捕獲HTTPError放在URLError前面，如不然URLError也會捕獲一個HTTPError錯誤，代碼參考如下：

import urllib2
req = urllib2.Request('http://www.python.org/fish.html')
try:
    response=urllib2.urlopen(req)
except urllib2.HTTPError,e:
    print 'The server couldn\'t fulfill the request.'
    print 'Error code: ',e.code
    print 'Error reason: ',e.reason   
except urllib2.URLError,e:
    print 'We failed to reach a server.'
    print 'Reason: ', e.reason
else:
    # everything is fine
    response.read()

這樣捕獲兩個異常看着不爽，而且HTTPError還是URLError的子類，我們可以把代碼改進如下：

import urllib2
req = urllib2.Request('http://www.python.org/fish.html')
try:
    response=urllib2.urlopen(req)
except urllib2.URLError as e:
    if hasattr(e, 'reason'):
        #HTTPError and URLError all have reason attribute.
        print 'We failed to reach a server.'
        print 'Reason: ', e.reason
    elif hasattr(e, 'code'):
        #Only HTTPError has code attribute.
        print 'The server couldn\'t fulfill the request.'
        print 'Error code: ', e.code
else:
    # everything is fine
    response.read()

　　關於錯誤編碼因為處理程序默認的處理重定向（錯誤碼范圍在300內），錯誤碼在100-299范圍內的表示請求成功，所以通常會看到的錯誤代碼都是在400-599的范圍內。具體錯誤碼的說明看附錄。

　　寫到這上面多次提到了重定向，也說了重定向是如何判斷的，並且程序對於重定向時默認處理的。如何禁止程序自動重定向呢，我們可以自定義HTTPRedirectHandler 類，代碼參考如下：

class SmartRedirectHandler(urllib2.HTTPRedirectHandler):
    def http_error_301(self, req, fp, code, msg, headers):
        result = urllib2.HTTPRedirectHandler.http_error_301(self, req, fp, code, msg, headers)
        return result

    def http_error_302(self, req, fp, code, msg, headers):
        result = urllib2.HTTPRedirectHandler.http_error_302(self, req, fp, code, msg, headers)
        return result

附錄：

# Table mapping response codes to messages; entries have the
# form {code: (shortmessage, longmessage)}.
responses = {
    100: ('Continue', 'Request received, please continue'),
    101: ('Switching Protocols',
          'Switching to new protocol; obey Upgrade header'),

    200: ('OK', 'Request fulfilled, document follows'),
    201: ('Created', 'Document created, URL follows'),
    202: ('Accepted',
          'Request accepted, processing continues off-line'),
    203: ('Non-Authoritative Information', 'Request fulfilled from cache'),
    204: ('No Content', 'Request fulfilled, nothing follows'),
    205: ('Reset Content', 'Clear input form for further input.'),
    206: ('Partial Content', 'Partial content follows.'),

    300: ('Multiple Choices',
          'Object has several resources -- see URI list'),
    301: ('Moved Permanently', 'Object moved permanently -- see URI list'),
    302: ('Found', 'Object moved temporarily -- see URI list'),
    303: ('See Other', 'Object moved -- see Method and URL list'),
    304: ('Not Modified',
          'Document has not changed since given time'),
    305: ('Use Proxy',
          'You must use proxy specified in Location to access this '
          'resource.'),
    307: ('Temporary Redirect',
          'Object moved temporarily -- see URI list'),

    400: ('Bad Request',
          'Bad request syntax or unsupported method'),
    401: ('Unauthorized',
          'No permission -- see authorization schemes'),
    402: ('Payment Required',
          'No payment -- see charging schemes'),
    403: ('Forbidden',
          'Request forbidden -- authorization will not help'),
    404: ('Not Found', 'Nothing matches the given URI'),
    405: ('Method Not Allowed',
          'Specified method is invalid for this server.'),
    406: ('Not Acceptable', 'URI not available in preferred format.'),
    407: ('Proxy Authentication Required', 'You must authenticate with '
          'this proxy before proceeding.'),
    408: ('Request Timeout', 'Request timed out; try again later.'),
    409: ('Conflict', 'Request conflict.'),
    410: ('Gone',
          'URI no longer exists and has been permanently removed.'),
    411: ('Length Required', 'Client must specify Content-Length.'),
    412: ('Precondition Failed', 'Precondition in headers is false.'),
    413: ('Request Entity Too Large', 'Entity is too large.'),
    414: ('Request-URI Too Long', 'URI is too long.'),
    415: ('Unsupported Media Type', 'Entity body in unsupported format.'),
    416: ('Requested Range Not Satisfiable',
          'Cannot satisfy request range.'),
    417: ('Expectation Failed',
          'Expect condition could not be satisfied.'),

    500: ('Internal Server Error', 'Server got itself in trouble'),
    501: ('Not Implemented',
          'Server does not support this operation'),
    502: ('Bad Gateway', 'Invalid responses from another server/proxy.'),
    503: ('Service Unavailable',
          'The server cannot process the request due to a high load'),
    504: ('Gateway Timeout',
          'The gateway server did not receive a timely response'),
    505: ('HTTP Version Not Supported', 'Cannot fulfill request.'),
    }