Python爬蟲爬取目標小說並保存到本地

利用Python爬蟲爬取目標小說並保存到本地

小說地址：http://book.zongheng.com/showchapter/749819.html（目錄地址）

通過小說目錄獲取小說所有章節對應的url地址，然后逐個訪問解析得到每一章節小說的內容，最后保存到本地文件內

文章中的代碼只是第一個版本，可以自行優化

例如:使用IP代理池防止IP地址被封禁

　　使用多線程對小說章節內容進行爬取可以提高爬取效率，降低運行時間

　　構建更加詳細的requests請求頭

代碼還有諸多不足，歡迎指導

import requests
import bs4
from bs4 import BeautifulSoup
import lxml
import urllib


def getMuLu(Html):
    """
    函數getMuLu由主函數傳入小說目錄網址，經解析后返回每一章節的具體網址
    涉及內容：
        requests庫：進行網頁請求
        BeautifulSouping庫：解析請求返回的網頁內容
        時間：2020-05-15
 16         環境：Windows + python3.8
        工具：Pycharm
 21 
    """
    #構建請求頭
    headers = {
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_11_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36'
    }
    #使用requests中的get方法請求網址並轉換為text格式
    demo = requests.get(Html)
    demo1 = demo.text

    #使用BeautifulSoup庫對text格式的網頁內容進行解析
    soup = BeautifulSoup(demo1, 'html.parser')

    #將soup變量的值中的所有ID為list的標簽返回到MuLu在轉換為str類型后再次使用BeautifulSoup庫進行解析
    MuLu = soup.find_all(class_ = 'volume-list')
    soup1 = BeautifulSoup(str(MuLu), 'html.parser')

    #對soup1解析后將所有的a標簽進行取出並賦值href1
    href1 = soup1.find_all('li')
    soup2 = BeautifulSoup(str(href1), 'html.parser')
    href2 = soup2.find_all('a')

    #將所有a標簽取出后，將a標簽中href屬性的值存儲到列表類型的Web3中
    Web3 = []
    for link in href2:
        Web1 = link.get('href')
        Web3.append(Web1)
    return Web3


def getText(TextUrl):

    """
       函數getText由主函數傳入小說目錄網址，經解析后返回小說目錄以及正文
       涉及內容：
           requests庫：進行網頁請求
           BeautifulSouping庫：解析請求返回的網頁內容
           時間：2020-05-15

       """
    i = 0
    Mu = []
    for i in range(len(TextUrl)):
        headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36',
            'Cookie': 'lianjia_uuid=9d3277d3-58e4-440e-bade-5069cb5203a4; '
                      'UM_distinctid=16ba37f7160390-05f17711c11c3e-454c0b2b-100200-16ba37f716618b; _smt_uid=5d176c66.5119839a; sensorsdata2015jssdkcross=%7B%22distinct_id%22%3A%2216ba37f7a942a6-0671dfdde0398a-454c0b2b-1049088-16ba37f7a95409%22%2C%22%24device_id%22%3A%2216ba37f7a942a6-0671dfdde0398a-454c0b2b-1049088-16ba37f7a95409%22%2C%22props%22%3A%7B%22%24latest_traffic_source_type%22%3A%22%E7%9B%B4%E6%8E%A5%E6%B5%81%E9%87%8F%22%2C%22%24latest_referrer%22%3A%22%22%2C%22%24latest_referrer_host%22%3A%22%22%2C%22%24latest_search_keyword%22%3A%22%E6%9C%AA%E5%8F%96%E5%88%B0%E5%80%BC_%E7%9B%B4%E6%8E%A5%E6%89%93%E5%BC%80%22%7D%7D; _ga=GA1.2.1772719071.1561816174; Hm_lvt_9152f8221cb6243a53c83b956842be8a=1561822858; _jzqa=1.2532744094467475000.1561816167.1561822858.1561870561.3; CNZZDATA1253477573=987273979-1561811144-%7C1561865554; CNZZDATA1254525948=879163647-1561815364-%7C1561869382; CNZZDATA1255633284=1986996647-1561812900-%7C1561866923; CNZZDATA1255604082=891570058-1561813905-%7C1561866148; _qzja=1.1577983579.1561816168942.1561822857520.1561870561449.1561870561449.1561870847908.0.0.0.7.3; select_city=110000; lianjia_ssid=4e1fa281-1ebf-e1c1-ac56-32b3ec83f7ca; srcid=eyJ0Ijoie1wiZGF0YVwiOlwiMzQ2MDU5ZTQ0OWY4N2RiOTE4NjQ5YmQ0ZGRlMDAyZmFhODZmNjI1ZDQyNWU0OGQ3MjE3Yzk5NzFiYTY4ODM4ZThiZDNhZjliNGU4ODM4M2M3ODZhNDNiNjM1NzMzNjQ4ODY3MWVhMWFmNzFjMDVmMDY4NWMyMTM3MjIxYjBmYzhkYWE1MzIyNzFlOGMyOWFiYmQwZjBjYjcyNmIwOWEwYTNlMTY2MDI1NjkyOTBkNjQ1ZDkwNGM5ZDhkYTIyODU0ZmQzZjhjODhlNGQ1NGRkZTA0ZTBlZDFiNmIxOTE2YmU1NTIxNzhhMGQ3Yzk0ZjQ4NDBlZWI0YjlhYzFiYmJlZjJlNDQ5MDdlNzcxMzAwMmM1ODBlZDJkNmIwZmY0NDAwYmQxNjNjZDlhNmJkNDk3NGMzOTQxNTdkYjZlMjJkYjAxYjIzNjdmYzhiNzMxZDA1MGJlNjBmNzQxMTZjNDIzNFwiLFwia2V5X2lkXCI6XCIxXCIsXCJzaWduXCI6XCIzMGJlNDJiN1wifSIsInIiOiJodHRwczovL2JqLmxpYW5qaWEuY29tL3p1ZmFuZy9yY28zMS8iLCJvcyI6IndlYiIsInYiOiIwLjEifQ=='
            }

        QingQiu = urllib.request.urlopen(TextUrl[i]).read()
        date = QingQiu.decode('utf-8')

        SoupText = BeautifulSoup(date,'html.parser')
        #通過解析SoupText獲取章節名稱
        MingCheng = SoupText.find_all(class_ = 'title_txtbox')
        MingCheng1 = BeautifulSoup(str(MingCheng),'lxml')
        MingCheng2 = MingCheng1.get_text()
        ls4 = ''.join(MingCheng2)

        #通過解析SoupText獲取章節正文
        BiaoTi = SoupText.find_all(class_ = 'content')     #在全部的html中查找class_ = 'content'的div標簽

        BiaoTi1 = BeautifulSoup(str(BiaoTi), 'lxml')
        BiaoTi2 = BiaoTi1.find_all('p')     #獲取p標簽

        #通過遍歷p標簽獲取正文內容
        qbs = 0
        KongList = []
        for qbs in range(len(BiaoTi2)):
            ZhangJie = BiaoTi2[qbs]
            S = BeautifulSoup(str(ZhangJie), 'html.parser')
            str1 = S.get_text()
            KongList.append(str1)
            qbs += 1

        #將列表轉換為字符串類型
        ls3 = ''.join(KongList)
        #通過組合返回章節名稱以及正文內容

        #將兩個字符串類型數據組合為一個並返回
        NeiRong = ls4 + ls3


        #將所有內容寫入列表Mu並返回
        Mu.append(NeiRong)

    return Mu

def BaoCunText(WenBen):
    """
       函數BaoCunText由主函數傳入小說目錄以及內容，寫入txt文件
       涉及內容：
           文件處理：
                打開，寫入，關閉文件
            for遍歷
        時間：2020-05-16
       """
    #打開文件
    FlieText = open('MiMiShiMing.txt','a',encoding='utf-8')
    #遍歷列表WenBen，並利用索引寫入文件，在每章節后換行
    i = 0
    for i in range(len(WenBen)):
        FlieText.write(str(WenBen[i]))
        FlieText.write('\n')
        print("第{}章寫入成功".format(i))
        i += 1
    print("寫入完成")
    #關閉文件
    FlieText.close()

if __name__ == '__main__':
    """
    主函數：調用其他函數以及向函數傳值
135     時間：2020-5-17
    
    
    """

    url = 'http://book.zongheng.com/showchapter/749819.html'
    MuLuLianjie = getMuLu(url)
    XiaoShuo = getText(MuLuLianjie)
    BaoCunText(XiaoShuo)