Python爬取全書網小說，免費看小說

 

什么是網絡爬蟲

網絡爬蟲（又被稱為網頁蜘蛛，網絡機器人，在FOAF社區中間，更經常的稱為網頁追逐者），是一種按照一定的規則，自動地抓取萬維網信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動索引、模擬程序或者蠕蟲。

環境：Python3.6+Windows

開發工具：你喜歡用哪個就用哪個，你開心就好！

模塊：

import urllib.request

import re

主要思路：

• 1 獲取主頁源代碼

• 2 獲取章節超鏈接

• 3 獲取章節超鏈接源碼

• 4 獲取小說內容

• 5 下載,文件操作

Python代碼了解一下

import urllib.request
import re
# 1 獲取主頁源代碼
# 2 獲取章節超鏈接
# 3 獲取章節超鏈接源碼
# 4 獲取小說內容
# 5 下載,文件操作

# 駝峰命名法
# 獲取小說內容
def getNovertContent():
    # <http.client.HTTPResponse object at 0x000001DFD017F400>
    html = urllib.request.urlopen("http://www.quanshuwang.com/book/0/269").read()
    html = html.decode("gbk")
    # 不加括號  不匹配
    # 正則表達式  .*?  匹配所有
    reg = r'<li><a href="(.*?)" title=".*?">(.*?)</a></li>'
    # 增加效率的
    reg = re.compile(reg)
    urls = re.findall(reg,html)
    # print(urls)
    # 列表
    # [(http://www.quanshuwang.com/book/0/269/78850.html,第一章 山邊小村),
    # (http://www.quanshuwang.com/book/0/269/78854.html,第二章 青牛鎮)]
    for url in urls:
        # 章節的URL地址
        novel_url = url[0]
        # 章節標題
        novel_title = url[1]

        chapt = urllib.request.urlopen(novel_url).read()
        chapt_html = chapt.decode("gbk")
        # r 表示原生字符串   \ \\d  r"\d"
        reg = r'</script>&nbsp;&nbsp;&nbsp;&nbsp;(.*?)<script type="text/javascript">'
        # S 代表多行匹配
        reg = re.compile(reg,re.S)
        chapt_content = re.findall(reg,chapt_html)
        # print(chapt_content)
        # 列表["&nbsp;&nbsp;&nbsp;&nbsp二愣子睜大着雙眼，直直望着茅草和爛泥糊成的<br />"]

        # 第一個參數   要替換的字符串   替換后的字符串
        chapt_content = chapt_content[0].replace("&nbsp;&nbsp;&nbsp;&nbsp;","")
        # print(chapt_content)    字符串  二愣子睜大着雙眼，直直望着茅草和爛泥糊成的<br />
        chapt_content = chapt_content.replace("<br />","")

        print("正在保存 %s"%novel_title)
        # w 讀寫模式  wb
        # f = open("{}.txt".format(novel_title),'w')
        # f.write(chapt_content)

        with open("{}.txt".format(novel_title),'w') as f:
            f.write(chapt_content)

        # f.close()

getNovertContent()

 

運行結果：