python爬蟲之urlError異常處理

1.URLError

URLError產生的原因：

(1)網絡無連接，即本機無法上網

(2)連接不到特定的服務器

(3)服務器不存在

 

import urllib.request
import urllib.error
from urllib.request import urlopen
request=urllib.request.Request('http://www.xxxxxx.com')
try:
    urllib.request.urlopen(request)
except urllib.error.URLError as e:
    print(e.reason)

D:\Anaconda3\python.exe D:/dazhongdianping/position.py
[Errno 11004] getaddrinfo failed

 

運行結果表明了錯誤帶還是11004，錯誤原因是getaddrinfo failed

編寫過程中產生的錯誤：首先要導入庫文件，其次一定要注意python2和3 的區別

 

 

1.HTTPError

 

HTTPError是URLError的子類，在你利用URLopen方法發出一個請求時，服務器上都會對應一個應答對象response，其中他包含一個數字“狀態碼”，例如response是一個重定向，需定位到別的地址獲取文檔，urllib將對此進行處理。

其他不能處理的，URLopen會產生一個HTTPError，對應相應的狀態碼，HTTP狀態碼表示HTTP協議所返回的響應的狀態。狀態碼歸結如下：

 

100：繼續  客戶端應當繼續發送請求。客戶端應當繼續發送請求的剩余部分，或者如果請求已經完成，忽略這個響應。

101： 轉換協議  在發送完這個響應最后的空行后，服務器將會切換到在Upgrade 消息頭中定義的那些協議。只有在切換新的協議更有好處的時候才應該采取類似措施。

102：繼續處理   由WebDAV（RFC 2518）擴展的狀態碼，代表處理將被繼續執行。

200：請求成功      處理方式：獲得響應的內容，進行處理

201：請求完成，結果是創建了新資源。新創建資源的URI可在響應的實體中得到    處理方式：爬蟲中不會遇到

202：請求被接受，但處理尚未完成    處理方式：阻塞等待

204：服務器端已經實現了請求，但是沒有返回新的信 息。如果客戶是用戶代理，則無須為此更新自身的文檔視圖。    處理方式：丟棄

300：該狀態碼不被HTTP/1.0的應用程序直接使用， 只是作為3XX類型回應的默認解釋。存在多個可用的被請求資源。    處理方式：若程序中能夠處理，則進行進一步處理，如果程序中不能處理，則丟棄
301：請求到的資源都會分配一個永久的URL，這樣就可以在將來通過該URL來訪問此資源    處理方式：重定向到分配的URL

302：請求到的資源在一個不同的URL處臨時保存     處理方式：重定向到臨時的URL

304：請求的資源未更新     處理方式：丟棄

400：非法請求     處理方式：丟棄

401：未授權     處理方式：丟棄

403：禁止     處理方式：丟棄

404：沒有找到     處理方式：丟棄

500：服務器內部錯誤  服務器遇到了一個未曾預料的狀況，導致了它無法完成對請求的處理。一般來說，這個問題都會在服務器端的源代碼出現錯誤時出現。

501：服務器無法識別  服務器不支持當前請求所需要的某個功能。當服務器無法識別請求的方法，並且無法支持其對任何資源的請求。

502：錯誤網關  作為網關或者代理工作的服務器嘗試執行請求時，從上游服務器接收到無效的響應。

503：服務出錯   由於臨時的服務器維護或者過載，服務器當前無法處理請求。這個狀況是臨時的，並且將在一段時間以后恢復
HTTPError實例產生后會有一個code屬性，這就是服務器發送的相關錯誤號。因為urllib可以為你處理重定向，也就是3開頭的代號可以被處理，並且100-299范圍的號碼指示成功，所以你只能看到400-599的錯誤號碼。

下面我們寫一個例子來感受一下，捕獲的異常是HTTPError，它會帶有一個code屬性，就是錯誤代號，另外我們又打印了reason屬性，這是它的父類URLError的屬性。

 

import urllib.request
import urllib.error
from urllib.request import urlopen
request=urllib.request.Request('http://blog.csdn.net/cqcre')
try:
    urllib.request.urlopen(request)
except urllib.error.HTTPError as e:
    print(e.code)
    print(e.reason)

D:\Anaconda3\python.exe D:/dazhongdianping/position.py
403
Forbidden

結果分析：錯誤代號是403，錯誤原因是Forbidden，說明服務器禁止訪問。

 

我們知道：HTTPError的父類是URLError，根據編程經驗，弗雷德異常應當寫到子類異常的后面，如果子類捕獲不到，那么就可以捕獲父類的異常

 

import urllib.request
import urllib.error
from urllib.request import urlopen
request=urllib.request.Request('http://blog.csdn.net/cqcre')
try:
    urllib.request.urlopen(request)
except urllib.error.HTTPError as e:
    print(e.code)
except urllib.error.URLError as e:
    print(e.reason)
else:
    print('OK')

結果：
403

 

如果補貨到了HTTPError，則輸出code，不會再處理URLError異常，如果發生的不是HTTPError，則會去捕獲URLError異常，輸出錯誤原因。

另外還可以加入 hasattr屬性提前對屬性進行判斷，代碼改寫如下：

 

import urllib.request
import urllib.error
from urllib.request import urlopen
request=urllib.request.Request('http://blog.csdn.net/cqcre')
try:
    urllib.request.urlopen(request)
except urllib.error.URLError as e:
    if hasattr(e,'reason'):
        print(e.reason)
else:
    print('OK')

首先對異常進行判斷，以免出現屬性輸出報錯的現象

 

部分內容轉載自：靜覓 » Python爬蟲入門五之URLError異常處理