Python實戰項目網絡爬蟲 之 爬取小說吧小說正文

本次實戰項目適合，有一定Python語法知識的小白學員。本人也是根據一些網上的資料，自己摸索編寫的內容。有不明白的童鞋，歡迎提問。

 

目的：爬取百度小說吧中的原創小說《獵奇師》部分小說內容

鏈接：http://tieba.baidu.com/p/4792877734

 

首先，自己定義一個類，方便使用。其實類就像一個“水果籃”，這個“水果籃”里有很多的“水果”，也就是我們類里面定義的變量啊，函數啊等等，各種各樣的。每一種"水果"都有自己的獨特的口味，也即是各個函數實現的功能各不相同。

 

然后，按照這個思路，既然要爬取小說，那么肯定要有目標網頁的地址，也就是上面我給的那個連接。其實就像買水果之前，我們要找到水果店。

 

打開目標貼吧后，會發現里面有很多的貼子，有樓主發的，還有讀者評論的，很多很雜。不過，沒關系。度娘給了我們一個強大的功能，只看樓主。這就是我們的切入點。點擊只看樓主按鈕，哈哈，此時呈現在眼前的就是樓主的主要內容啦。

 

相應的，此時的網頁也有所改變，地址上多了一個只看樓主的標記 http://tieba.baidu.com/p/4792877734?see_lz=1

 

所以，我們在定義類中的初始化函數時，就要有這個標記。

 

接下來，我們開始在選擇不同口味的水果。我們要先獲取網頁的源代碼，就需要有一個getPage的函數。函數里需要有我們的頁碼，注意我們選擇不同也的小說，會發現，我們的地址也是有稍稍變動的，比如：第二頁連接：http://tieba.baidu.com/p/4792877734?see_lz=1&pn=2     多了&pn=2。這個我們要整合一下。

 

（未完>>>>>>>>>明晚繼續）

 

 

下面是我的代碼：

#-*- coding:utf-8 -*-
import urllib
import urllib2
import re

# 百度小說吧  原創小說《獵奇師》
# 連接http://tieba.baidu.com/p/4792877734?see_lz=1
# 第二頁連接：http://tieba.baidu.com/p/4792877734?see_lz=1&pn=2
class LQS:
    def __init__(self,daseUrl,seeLZ):
        self.daseUrl = daseUrl
        self.seeLZ ='?see_lz=' + str(seeLZ)
    # 傳入頁碼，獲取網頁源代碼
    def getPage(self,pageNum):
        try:
            # 拼接，地址 + 樓主參數 + 頁數
            url = self.daseUrl + self.seeLZ + '&pn=' + str(pageNum)
            request = urllib2.Request(url)
            response = urllib2.urlopen(request)
            return response.read()
        except Exception,e:# 處理異常
            print e
    # 獲取標題
    def getTitle(self,pageNum):
        html = self.getPage(pageNum)
        reg = re.compile(r'<title>【原創】恐怖故事 (.*?)_小說吧_百度貼吧</title>')
        items = re.findall(reg,html)
        # 將標題寫入文件
        for item in items:
            f = open('lqshi.txt','w') # 文件名最好是英文，中文識別不了
            f.write('標題' + '\t\t' + item)
            f.close()
        return items
    # 獲取正文
    def getContent(self,pageNum):
        html = self.getPage(pageNum)
        reg = re.compile(r'class="d_post_content j_d_post_content ">          (.*?)</div><br>')
        req = re.findall(reg,html)
        # 將標題寫入文件
        for i in req:
            removeAddr = re.compile('<a.*?</a>')
            i = re.sub(removeAddr,"",i)# 找到並替換
            i = i.replace("<br>","\n  ")
            f = open('lqshi.txt','a')# 此處是寫入正文內容，所以用a
            f.write( '\n\n\n' + i)
            f.close()
        return i

daseURL = 'http://tieba.baidu.com/p/4792877734'
lqShi = LQS(daseURL,1)
print "爬蟲已啟動..."
for i in range(4):
    lqShi.getTitle(i)
    lqShi.getContent(i)
    print "正在抓取第%s頁的內容" % (i+1)