使用SGMLParser抓取html里標簽內的數據

之前做好抓過好幾次網頁數據，一般都用了以下方法。

1.最簡單的find + split

2.正則表達式,我仍然只會用點findall什么的。

后來咨詢過大牛。大牛回了個

        r = re.compile(r'(?s)<span class="(count|grade)">(?P<data>[^<]+)</span>')
        for m in r.finditer(content):
            v = m.group("data")
            print v.strip().replace(',', '')        

用於抓取如下數據：

<ul class="use-state">
                    <li>
                <span class="label-like">有效評價：</span>
                <span class="count">
                                            2,112 次
                                    </span>
            </li>
                <li><span class="label-like">付費使用：</span><span class="count">1.5萬人</span></li>
                <li><span class="label-like">免費使用：</span><span class="count">132人</span></li>
                <li><span class="label-like">瀏覽數：</span><span class="count">9.0萬次/30天</span></li>
    </ul>

大牛不愧是大牛，還說了可以了解了解 BeautifulSoup什么的

3.后來碰到數據放到<td>data</td>里的

<p>60  元/月</p>                        
                            </td>
                            <td> 2179 </td>
                            <td>18871</td>

最后用SGMLParser 實現了

from sgmllib import SGMLParser

class MySgmlParser(SGMLParser):

    def __init__(self):
        SGMLParser.__init__(self)
        self.label = False
        self.num_list = []

    def start_td(self, attrs):
        self.label = True

    def end_td(self):
        self.label = False

    def handle_data(self, data):
        if self.label:
            data = data.strip()
            if data.isdigit():
                self.num_list.append(int(data))

這期間有兩個小插曲

一是第一次用SGMLParser的時候 失敗了，就是抓到的data沒有包含我要的數據，不知道為什么。隔了幾周后，就行了。

二是中間用過HTMLParser，但是拋異常。

參考：http://hi.baidu.com/jfojfo/item/734283397d682e21b3c0c54d