用python爬取小說章節內容

在學爬蟲之前, 最好有一些html基礎, 才能更好的分析網頁. 

主要是五步:

1.  獲取鏈接

2. 正則匹配

3. 獲取內容

4. 處理內容

5. 寫入文件

代碼如下:

#導入相關model
from bs4 import BeautifulSoup
import requests
import re

#獲取目標鏈接地址
url = 'http://www.biquyun.com/0_292/'
reponse = requests.get(url)
reponse.encoding = 'gbk' #設置編碼方式,可在網頁源碼頭部查到
html = reponse.text

#獲取各章節鏈接和標題
#審查元素, 找到小說章節的代碼位置, 找出其對應的標簽, 進行正則匹配
dl = re.findall(r'<dd><a href="(.*?)">(.*?)</a>', html, re.S) #返回list類型
j=0 #計數, 只獲取前30章, 多了結果要很久才出來

#進行章節內容獲取
for chapter in dl:
    if j >= 30:
        break
    #獲取章節鏈接,名字.等價於c_link=chapter[0]; c_title=chapter[1]
    chapter_link, chapter_title = chapter
    #補全鏈接,因為之前獲取的只是鏈接的尾部
    chapter_link = "http://www.biquyun.com%s" % chapter_link

    #仿照之前的再寫一遍
    chapter_reponse = requests.get(chapter_link)
    chapter_reponse.encoding='gbk'
    chtml = chapter_reponse.text
    #找到小說章節正文所在標簽
    chapter_content = re.findall(r'<div id="content">(.*?)</div>', chtml,re.S)
    #將它們轉換為字符串,因為list無法進行replace操作
    t = str(chapter_title)
    s = str(chapter_content)
    #替代好空格,換行, 以及列表的左右中括號
    s = s.replace('&nbsp;','').replace('<br />',"\n").replace('\\r\\n','')
    s = s.replace(']',"\n").replace('[',' ').replace
    #新建txt文件,並將其名字設置為章節名, 寫入
    f = open('E:/temp/zhuxian/%s.txt' % chapter_title, 'w')
    f.write(t)
    f.write('\n')
    f.write(s)
    j = j+1
print('ok')
f.close()
''' s = s.replace('[','')
    s = s.replace('<br />',"\n")
    s = s.replace('\\r\\n','')'''