一個網絡爬蟲的分析

說明

這個爬蟲是從outofmemory看到的，只有100行，內容是抓取淘寶商品信息，包括商品名、賣家id、地區、價格等信息，json格式，作者說他曾經抓取到了一千萬條信息。

出於對這個爬蟲能力的感嘆，我好奇的對它進行了分析，發現原理是如此的簡單，感嘆python的強大之余，好也把分析的心得記錄一下，引為后來的經驗。

現在這個爬蟲能不能用就沒有保證了，不過沒有關系，只是作為一個學習的例子。

代碼

代碼可以到原來的網址下，為免失效，現張貼如下：

import time
import leveldb
from urllib.parse import quote_plus 
import re
import json
import itertools
import sys
import requests
from queue import Queue
from threading import Thread

URL_BASE = 'http://s.m.taobao.com/search?q={}&n=200&m=api4h5&style=list&page={}'

def url_get(url):
    # print('GET ' + url)
    header = dict()
    header['Accept'] = 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8'
    header['Accept-Encoding'] = 'gzip,deflate,sdch'
    header['Accept-Language'] = 'en-US,en;q=0.8'
    header['Connection'] = 'keep-alive'
    header['DNT'] = '1'
    #header['User-Agent'] = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_8_0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/28.0.1500.71 Safari/537.36'
    header['User-Agent'] = 'Mozilla/12.0 (compatible; MSIE 8.0; Windows NT)'
    return requests.get(url, timeout = 5, headers = header).text

def item_thread(cate_queue, db_cate, db_item):
    while True:
        try:
            cate = cate_queue.get()
            post_exist = True
            try:
                state = db_cate.Get(cate.encode('utf-8'))
                if state != b'OK': post_exist = False
            except:
                post_exist = False
            if post_exist == True:
                print('cate-{}: {} already exists ... Ignore'.format(cate, title))
                continue
            db_cate.Put(cate.encode('utf-8'), b'crawling')
            for item_page in itertools.count(1):
                url = URL_BASE.format(quote_plus(cate), item_page)
                for tr in range(5):
                    try:
                        items_obj = json.loads(url_get(url))
                        break
                    except KeyboardInterrupt:
                        quit()
                    except Exception as e:
                        if tr == 4: raise e
                if len(items_obj['listItem']) == 0: break                        
                for item in items_obj['listItem']:
                    item_obj = dict(
                        _id = int(item['itemNumId']),
                        name = item['name'],
                        price = float(item['price']),
                        query = cate,
                        category = int(item['category']) if item['category'] != '' else 0,
                        nick = item['nick'],
                        area = item['area'])
                    db_item.Put(str(item_obj['_id']).encode('utf-8'),
                                json.dumps(item_obj, ensure_ascii = False).encode('utf-8'))

                print('Get {} items from {}: {}'.format(len(items_obj['listItem']), cate, item_page))

                if 'nav' in items_obj:
                    for na in items_obj['nav']['navCatList']:
                        try:
                            db_cate.Get(na['name'].encode('utf-8'))
                        except:
                            db_cate.Put(na['name'].encode('utf-8'), b'waiting')
            db_cate.Put(cate.encode('utf-8'), b'OK')
            print(cate, 'OK')
        except KeyboardInterrupt:
            break
        except Exception as e:
            print('An {} exception occured'.format(e))

def cate_thread(cate_queue, db_cate):
    while True:
        try:
            for key, value in db_cate.RangeIter():
                if value != b'OK':
                    print('CateThread: put {} into queue'.format(key.decode('utf-8')))
                    cate_queue.put(key.decode('utf-8'))
            time.sleep(10)
        except KeyboardInterrupt:
            break
        except Exception as e:
            print('CateThread: {}'.format(e))

if __name__ == '__main__':
    db_cate = leveldb.LevelDB('./taobao-cate')
    db_item = leveldb.LevelDB('./taobao-item')
    orig_cate = '正裝'
    try:
        db_cate.Get(orig_cate.encode('utf-8'))
    except:
        db_cate.Put(orig_cate.encode('utf-8'), b'waiting')
    cate_queue = Queue(maxsize = 1000)
    cate_th = Thread(target = cate_thread, args = (cate_queue, db_cate))
    cate_th.start()
    item_th = [Thread(target = item_thread, args = (cate_queue, db_cate, db_item)) for _ in range(5)]
    for item_t in item_th:
        item_t.start()
    cate_th.join()

　　

分析

一個只有一百行的代碼，也不用花太多心思就可以看懂了，不過其中一些有意思的心得還是可以分享下。

1. 使用vim打開，在使用了fold功能后，可以清晰的看到代碼由import部分，三個自定義函數和一個main了，所以可以直接從main開始看。
2. main建立（也可以是已經建立的）了兩個數據庫，分別是db_cate和db_item，還定義了開始時抓取的商品種類(category)orig_cate。
3. 先在db_cate中嘗試訪問下orig_cate，如果沒有這個種類，就加入這個種類，屬性設置為waiting，leveldb就是一個key-value數據庫，使用起來非常的方便。
4. 建立一個種類的隊列cate_queue，然后就建立一個種類的線程cate_th，會調用自己定義的一個函數cate_thread，參數是隊列和種類數據庫。
5. 再建立5個線程item_th，調用定義的item_thread函數參數是隊列和兩個數據庫。
6. 最后會等待線程終止后退出。
7. 這時就可以看前面的定義的函數cate_thread,這個函數會重復從種類數據庫cate_db中遍歷取出種類名，然后看這個種類是不是已經抓取過了，如果沒有，就加入到種類隊列cate_queue。
8. 再看函數item_thead，從種類隊列cate_queue中取出一個種類,再從種類數據庫中查看其狀態，如果是ok，就取下一個種類；如果不是ok，就標記為crawling，然后就使用這個類別和一個遍歷的序號就可以獲得一個網址，然后就重復的嘗試獲取這個頁面的數據，再分析，保存到item_db中，再把種類在cate_db中標記為ok，也就是完成，同時，把頁面有的種類信息放到cate_db數據庫中。
9. 這樣這個爬蟲就可以一直工作了。

總結

這個爬蟲的結構很清晰，一個數據庫用來保存種類的狀態信息，一個數據庫保存獲取到的信息，一個隊列作為進程間通信的工具，數據庫使用key-value，網頁抓取使用requests。參考這個結構，很多爬蟲都可以寫出來了。