昨天用python寫了一個天氣預報采集，今天趁着興頭寫個新聞采集的。
目標是，將騰訊新聞主頁上所有新聞爬取下來，獲得每一篇新聞的名稱、時間、來源以及正文。
接下來分解目標，一步一步地做。
步驟1：將主頁上所有鏈接爬取出來，寫到文件里。
根據上一篇文章的方法，可以簡單地獲取到整個主頁的文本內容。
我們都知道html鏈接的標簽是“a”，鏈接的屬性是“href”，也就是要獲得html中所有tag=a，attrs=href 值。
查閱了資料，一開始我打算用HTMLParser，而且也寫出來了。但是它有一個問題，就是遇到中文字符的時候無法處理。
1 class parser(HTMLParser.HTMLParser): 2 def handle_starttag(self, tag, attrs): 3 if tag == 'a': 4 for attr, value in attrs: 5 if attr == 'href': 6 print value
后來使用了SGMLParser，它就沒有這個問題。
1 class URLParser(SGMLParser): 2 def reset(self): 3 SGMLParser.reset(self) 4 self.urls = [] 5 6 def start_a(self,attrs): 7 href = [v for k,v in attrs if k=='href'] 8 if href: 9 self.urls.extend(href)
SGMLParser針對某個標簽都需要重載它的函數，這里是把所有的鏈接放到該類的urls里。
1 lParser = URLParser()#分析器來的 2 socket = urllib.urlopen("http://news.qq.com/")#打開這個網頁 3 4 fout = file('urls.txt', 'w')#要把鏈接寫到這個文件里 5 lParser.feed(socket.read())#分析啦 6 7 reg = 'http://news.qq.com/a/.*'#這個是用來匹配符合條件的鏈接，使用正則表達式匹配 8 pattern = re.compile(reg) 9 10 for url in lParser.urls:#鏈接都存在urls里 11 if pattern.match(url): 12 fout.write(url+'\n') 13 14 fout.close()
這樣子就把所有符合條件的鏈接都保存到urls.txt文件里了。
步驟2：對於每一個鏈接，獲取它的網頁內容。
很簡單，只需要打開urls.txt文件，一行一行地讀出來就可以了。
也許這里會顯得多此一舉，但是基於我對解耦的強烈願望，我還是果斷地寫到文件里了。后面如果采用面向對象編程，重構起來是十分方便的。
獲取網頁內容部分也是相對簡單的，但是需要把網頁的內容都保存到一個文件夾里。
這里有幾個新的用法：
1 os.getcwd()#獲得當前文件夾路徑 2 os.path.sep#當前系統路徑分隔符（是這個叫法嗎？）windows下是“\”，linux下是“/” 3 4 #判斷文件夾是否存在，如果不存在則新建一個文件夾 5 if os.path.exists('newsdir') == False: 6 os.makedirs('newsdir') 7 8 #str()用來將某個數字轉為字符串 9 i = 5 10 str(i)
有了這些方法，將字符串保存到某個文件夾下不同的文件就不再是一件困難的事了。
步驟3：枚舉每一個網頁，根據正則匹配獲得目標數據。
下面的方法是用來遍歷文件夾的。
1 #這個是用來遍歷某個文件夾的 2 for parent, dirnames, filenames in os.walk(dir): 3 for dirname in dirnames 4 print parent, dirname 5 for filename in filenames: 6 print parent, filename
遍歷，讀取，匹配，結果就出來了。
我使用的數據提取的正則表達式是這樣的：
reg = '<div class="hd">.*?<h1>(.*?)</h1>.*?<span class="pubTime">(.*?)</span>.*?<a .*?>(.*?)</a>.*?<div id="Cnt-Main-Article-QQ" .*?>(.*?)</div>'
其實這個並不能匹配到騰訊網的所有新聞，因為上面的新聞有兩種格式，標簽有一點差別，所以只能提取出一種。
另外一點就是通過正則表達式的提取肯定不是主流的提取方法，如果需要采集其他網站，就需要變更正則表達式，這可是一件比較麻煩的事情。
提取之后觀察可知，正文部分總是會參雜一些無關信息，比如“<script>...</script>”“<p></p>”等等。所以我再通過正則表達式將正文切片。
1 def func(str):#誰起的這個名字 2 strs = re.split("<style>.*?</style>|<script.*?>.*?</script>|&#[0-9]+;|<!--\[if !IE\]>.+?<!\[endif\]-->|<.*?>", str)#各種匹配，通過“|”分隔 3 ans = '' 4 #將切分的結果組合起來 5 for each in strs: 6 ans += each 7 return ans
這樣騰訊網上面的正文基本全部能夠提取出來。
到此整個采集也就結束了。
展示一下我提取到的結果（不使用自動換行，右邊隱藏了）：
注意：
1、打開某個網址的時候，如果網址是壞的（打不開），若不處理則會報錯。我簡單地使用處理異常的方式，估計應該有其他方式。
try: socket = urllib.urlopen(url) except: continue
2、Python正則表達式中的“.”號，可以匹配任意字符，但是除了“\n”。
3、如何去除字符串末尾的“\n”？python的處理簡直優雅到死啊！
1 if line[-1] == '\n': 2 line = line[0:-1]