Python小應用1 - 抓取網頁中的鏈接地址

看到一篇博文上講到用Python寫自動訪問博客的功能，里面的核心功能就是抓取網頁中的鏈接，類似一個網頁爬蟲工具。正好我剛學習Python，就決定自己練習一下。寫了一下，原本覺得很簡單的東西，搞了半天才終於搞定，看來紙上得來終是淺，勤加實踐才是王道。雖然花了不少時間，但是感覺自己收獲還是蠻大的。

這段代碼的知識點包括以下幾個：

1. 列表的使用；
2. 自定義全局函數的寫法；
3. 自定義類及繼承類的寫法；
4. 標准模塊的使用
5. 異常處理

下面看代碼。

先是導入用到的標准模塊：

import html.parser as parser
import urllib.request

然后是分析網頁中網址的類定義：

class MyHtmlParser(parser.HTMLParser):
    def __init__(self, lst = None):
        super().__init__()   #這里容易漏掉導致出錯
        if not lst:
            self.urls = []
        else:
            self.urls = lst
        
    def handle_starttag(self, tag, attrs):
        for attr, value in attrs:
            if "http" in value and ".js" not in value \
            and value not in self.urls:
                self.urls.append(value)
                
    def handle_startendtag(self, tag, attrs):
        for attr, value in attrs:
            if "http" in value and ".js" not in value \
            and value not in self.urls:
                self.urls.append(value)

解析網址函數：

def ParseUrlsInText(text, lst):
    pars = MyHtmlParser(lst)
    try:
        pars.feed(text)
    #添加異常處理，可能會遇到各種異常
    except parser.HTMLParseError as ex:
        print("parse failed.",ex)  

 最后是實現整個功能的函數：

def VisitUrlsInPage(pageUrl):
    url_list = [pageUrl]
    for url in url_list:
        try:
            fh = urllib.request.urlopen(url)
            data = fh.read()
            ParseUrlsInText(str(data), url_list)
            #這里是為了快速結束，去掉就變成小爬蟲了
            if len(url_list) >= 200: 
                break
        except urllib.request.URLError:
            print("Failed.")
            continue
    print("length: ", len(url_list))
    for url in url_list:
        print(url)


if __name__ == '__main__':
    VisitUrlsInPage("http://www.cnblogs.com/jason-yang/")

里面的異常處理和對地址的剔除還不完善，對不同的網站運行過程中可能還會有些小問題。