使用python多線程實現一個簡單spider

老習慣，先看看別人的工作。推薦看看 我的知識庫（1）--Java 搜索引擎的實現— 網絡爬蟲 文章把相關概念講的很詳細了。

老樣子，我也是初學者，通過本次學習主要掌握以下幾點：

1.了解python 網絡編程

2.了解python多線程鎖機制

3.掌握python re模塊match使用

那么開始吧

1.使用python抓取一個網頁的內容

使用urllib模塊

def getWebPage(url):
    wp = urllib.urlopen(url)
    content = wp.read()
    return content

2.對抓取到的網頁內容進行分析，提取有用URL
抓到的數據是用str存儲的，下面使用python里的re.split()和re.match()

def analysisPage(content):
    strlist = re.split('\"',content)
    urlset = set([])
    for str in strlist:
        if re.match('http://www.cnblogs.com(/|\w)+', str):
                urlset.add(str + '\n')
    return list(urlset)

園里關於python的html解析的文章很多，看的我眼花繚亂，這里就不一一列舉了。

這里有個問題，我把match里的pattern改成 ’http://www.cnblogs.com(/|\w)+html$' 就

匹配不出結果了，不知道什么原因，哪位大神知道。

3.多線程

主要用了一個urllist和一個urlset。

urlset用來存儲已經訪問過的網頁url，urllist用來存儲待訪問的網頁url

申請四個線程並行的對urllist的url進行頁面抽取，提取頁面url加入到urllist中

為了互斥使用urllist和urlset，引入了listlock和setlock兩把鎖

全部代碼如下：

import re
import urllib
import threading

def getWebPage(url):
    wp = urllib.urlopen(url)
    content = wp.read()
    return content

def analysisPage(content, urllist, urlset):
    strlist = re.split('\"',content)
    geturlset = set([])
    for str in strlist:
        if re.match('http://www.cnblogs.com/(/|\w)+', str):
            geturlset.add(str + '\n')

    setlock.acquire()
    geturlset = geturlset - urlset
    setlock.release()

    listlock.acquire()
    for url in list(geturlset):
        urllist.append(url)
    listlock.release()

class MyThread(threading.Thread):
    def __init__(self, urllist, urlset):
        threading.Thread.__init__(self)
        self.urllist = urllist
        self.urlset = urlset

    def run(self):
        while True:
            listlock.acquire()
            if self.urllist:
                url = self.urllist.pop(0)
                listlock.release()
            else:
                listlock.release()
                break

            setlock.acquire()
            if len(self.urlset) >= 50:
                setlock.release()
                break
            else:
                if url in self.urlset:
                    setlock.release()
                    continue
                else:
                    self.urlset.add(url)
                    setlock.release()
                    content = getWebPage(url)
                    analysisPage(content, self.urllist, self.urlset)

listlock = threading.RLock()
setlock = threading.RLock()

if __name__ == '__main__':
    starturl = 'http://www.cnblogs.com/\n'
    content = getWebPage(starturl)
    #urlset存放已訪問過的網頁url
    #urllist存放待訪問的網頁url
    urlset = set([starturl])
    urllist = []
    analysisPage(content, urllist, urlset)    
    tlist = []
    for i in range(4):
        t = MyThread(urllist, urlset)
        t.start()
        tlist.append(t)
    for t in tlist:
        t.join()
    f = open('url.txt', 'w')
    f.writelines(list(urlset))
    f.close()

當urlset集合的元素超過50時就停止，當這個數值較大時，socket會出問題，我也不知道什么原因，應該和網絡有關。

完