Python3網絡爬蟲(三)：urllib.error異常

一.urllib.error

    urllib.error可以接收有urllib.request產生的異常。urllib.error有兩個方法，URLError和HTTPError。如下圖所示：

    URLError是OSError的一個子類，HTTPError是URLError的一個子類，服務器上HTTP的響應會返回一個狀態碼，根據這個HTTP狀態碼，我們可以知道我們的訪問是否成功。例如第二個筆記中提到的200狀態碼，表示請求成功，再比如常見的404錯誤等。

1.URLError

    讓我們先看下URLError的異常，創建文件urllib_test06.py，編寫如下代碼：

# -*- coding: UTF-8 -*- from urllib import request from urllib import error if __name__ == "__main__": #一個不存在的連接 url = "http://www.iloveyou.com/" req = request.Request(url) try: response = request.urlopen(req) html = response.read().decode('utf-8') print(html) except error.URLError as e: print(e.reason)

    我們可以看到如下運行結果：

2.HTTPError

    再看下HTTPError異常，創建文件urllib_test07.py，編寫如下代碼：

# -*- coding: UTF-8 -*- from urllib import request from urllib import error if __name__ == "__main__": #一個不存在的連接 url = "http://www.douyu.com/Jack_Cui.html" req = request.Request(url) try: responese = request.urlopen(req) # html = responese.read() except error.HTTPError as e: print(e.code)

    運行之后，我們可以看到404，這說明請求的資源沒有在服務器上找到，www.douyu.com這個服務器是存在的，但是我們要查找的Jack_Cui.html資源是沒有的，所以拋出404異常。

二.URLError和HTTPError混合使用

    最后值得注意的一點是，如果想用HTTPError和URLError一起捕獲異常，那么需要將HTTPError放在URLError的前面，因為HTTPError是URLError的一個子類。如果URLError放在前面，出現HTTP異常會先響應URLError，這樣HTTPError就捕獲不到錯誤信息了。

    如果不用上面的方法，也可以使用hasattr函數判斷URLError含有的屬性，如果含有reason屬性表明是URLError，如果含有code屬性表明是HTTPError。創建文件urllib_test08.py，編寫代碼如下：

# -*- coding: UTF-8 -*- from urllib import request from urllib import error if __name__ == "__main__": #一個不存在的連接 url = "http://www.douyu.com/Jack_Cui.html" req = request.Request(url) try: responese = request.urlopen(req) except error.URLError as e: if hasattr(e, 'code') print("HTTPError") print(e.code) elif hasattr(e, 'reason') print("URLError") print(e.reason)

    運行結果如下：