Python百度文庫爬蟲之txt文件

說明：
對於文件的所有類型，我都會用一篇文章進行說明，鏈接：

1. Python百度文庫爬蟲之txt文件
2. Python百度文庫爬蟲之doc文件
3. Python百度文庫爬蟲之pdf文件
4. Python百度文庫爬蟲之ppt文件
5. [Python百度文庫爬蟲之xls文件
6. Python百度文件爬蟲終極版

一.網頁分析

txt文件最容易爬取的文件，此文件類型不需要進行文件排版，直接爬取並保存

from IPython.display import Image
Image("./Images/txt_0.png",width="600px",height="400px")

此文件的鏈接(URL)：https://wenku.baidu.com/view/147d495158eef8c75fbfc77da26925c52cc5913d.html?fr=search

二.URL分析

我們查看網頁源代碼發現沒有我們需要的文件數據，我們只能查看其它相關的URL。發現有個鏈接存在我們需要的文件數據：
https://wkretype.bdimg.com/retype/text/147d495158eef8c75fbfc77da26925c52cc5913d?md5sum=aa717cd0960c7940d5f404b32b10d5e5&sign=72df814876&callback=cb&pn=1&rn=6&type=txt&rsign=p_6-r_0-s_f3056&_=1587947981910

Image("./Images/txt_1.png",width="600px",height="400px")

此鏈接所需的參數為：

• md5sum: aa717cd0960c7940d5f404b32b10d5e5
• sign: 72df814876
• callback: cb
• pn: 1
• rn: 6
• type: txt
• rsign: p_6-r_0-s_f3056
• _: 1587947981910

Image("./Images/txt_2.png",width="600px",height="400px")

說明一下：此鏈接還有一個doc_id的文件id的參數，只是我們輸入下載文件鏈接時可以獲取：
doc_id=re.findall(‘view/(.*?).html’,url)[0]
此url是下載文件的鏈接

對於上面所需的參數，我們需要按照時間線查找上面的鏈接，查看是否有數據傳輸接口包含我們需要的數據，通過查看我們找到了一個數據接口：
https://wenku.baidu.com/api/doc/getdocinfo?callback=cb&doc_id=147d495158eef8c75fbfc77da26925c52cc5913d&t=1587947982553&_=1587947981909

Image("./Images/txt_3.png",width="600px",height="400px")

上面鏈接包含我們部分我們需要的鏈接參數：

• md5sum: aa717cd0960c7940d5f404b32b10d5e5
• sign: 72df814876
• type: txt
• rsign: p_6-r_0-s_f3056

沒有獲取的鏈接參數有：

• callback: cb
• pn: 1
• rn: 6
• _: 1587947981910

參數callback為常數參數，pn與文件的頁數(pageNum)相關，主要是_參數，我們猜到這個是類似時間戳的參數，對於這種前后關聯的請求，處理時一般采用Requests的session

import requests

url='https://www.baidu.com'
session=requests.session()
content=session.get(url).content.decode('utf-8')

添加說明一下，我們需要解析我們文件鏈接(URL)的網頁源代碼，由於我們需要的數據非格式數據，不能使用lxml,bs4等數據解析器，只能使用Re正則表達式，關於正則表達式的學習：鏈接

Image("./Images/txt_4.png",width="600px",height="400px")

三.程序調試

1.文件信息獲取

import requests
import json
import re
import os

session=requests.session()

url=input("請輸入下載的文庫URL地址：")

content=session.get(url).content.decode('utf-8')
doc_id=re.findall('view/(.*?).html',url)[0]
types=re.findall(r"docType.*?:.*?'(.*?)'",content)[0]
title=re.findall(r"title.*?:.*?'(.*?)'",content)[0]

請輸入下載的文庫URL地址： https://wenku.baidu.com/view/8edb30e82dc58bd63186bceb19e8b8f67c1cef8e.html?fr=search

content_url='https://wenku.baidu.com/api/doc/getdocinfo?callback=cb&doc_id='+doc_id

content=session.get(content_url).content.decode('gbk')

md5sum=re.findall('"md5sum":"(.*?)",',content)[0]
md5sum

'&md5sum=aa717cd0960c7940d5f404b32b10d5e5&sign=72df814876'

rsign=re.findall('"rsign":"(.*?)"',content)[0]
rsign

'p_6-r_0-s_f3056'

pn=re.findall('"totalPageNum":"(.*?)"',content)[0]
pn

'6'

content_url='https://wkretype.bdimg.com/retype/text/'+doc_id+'?rn='+pn+'&type='+types+md5sum+'&rsign='+rsign

content=json.loads(session.get(content_url).content.decode('gbk'))

result=''

for item in content:
    for i in item['parags']:
        result+=i['c']

filename=title+'.txt'

with open(filename,'w',encoding='utf-8') as f:
    f.write(result)
    
f.close()

Image("./Images/txt_5.png",width="600px",height="400px")

四.函數編程

1.程序改進

當我請求這個文件內容時：https://wenku.baidu.com/view/8edb30e82dc58bd63186bceb19e8b8f67c1cef8e.html?fr=search。這個txt文件的加載過程與其他txt文件不同，它所需的參數都在這個網頁中，不需要數據傳輸接口

Image("./Images/txt_6.png",width="600px",height="400px")

所需要的參數都在源網頁中：

• md5sum: bb3ae60282c367a61adf49c6a72bdbab
• sign: 885b0be3b9
• callback: cb
• pn: 1
• rn: 3
• type: txt
• rsign: p_3-r_0-s_c8b7a
• _: 1587970284175

Image("./Images/txt_7.png",width="600px",height="400px")

參數獲取方式與前面類似：

title=re.findall(r'<title>(.*?). ',content)[0]

md5sum=re.findall('"md5sum":"(.*?)",',content)[0]
rsign=re.findall('"rsign":"(.*?)"',content)[0]
pn=re.findall('"show_page":"(.*?)"',content)[0]

content_url='https://wkretype.bdimg.com/retype/text/'+doc_id+'?rn='+pn+'&type=txt'+md5sum+'&rsign='+rsign
content=json.loads(session.get(content_url).content.decode('utf-8'))

2.完整代碼

import requests
import json
import re
import os

session=requests.session()

path="F:\\桌面\\Files"

if not os.path.exists(path):
    os.mkdir(path)

def parse_txt1(code,doc_id):
    
    content_url='https://wenku.baidu.com/api/doc/getdocinfo?callback=cb&doc_id='+doc_id

    content=session.get(content_url).content.decode(code)
    md5sum=re.findall('"md5sum":"(.*?)",',content)[0]
    rsign=re.findall('"rsign":"(.*?)"',content)[0]
    pn=re.findall('"totalPageNum":"(.*?)"',content)[0]
    
    content_url='https://wkretype.bdimg.com/retype/text/'+doc_id+'?rn='+pn+'&type=txt'+md5sum+'&rsign='+rsign
    content=json.loads(session.get(content_url).content.decode('gbk'))
    
    result=''

    for item in content:
        for i in item['parags']:
            result+=i['c']
            
    return result

def parse_txt2(content,code,doc_id):
    md5sum=re.findall('"md5sum":"(.*?)",',content)[0]
    rsign=re.findall('"rsign":"(.*?)"',content)[0]
    pn=re.findall('"show_page":"(.*?)"',content)[0]
    
    content_url='https://wkretype.bdimg.com/retype/text/'+doc_id+'?rn='+pn+'&type=txt'+md5sum+'&rsign='+rsign
    content=json.loads(session.get(content_url).content.decode('utf-8'))
    
    result=''

    for item in content:
        for i in item['parags']:
            result+=i['c']
            
    return result


def save_file(title,filename,content):
    
    with open(filename,'w',encoding='utf-8') as f:
        f.write(content)
        print("文件"+title+"保存成功")
    f.close()
    

def main():
    
    print("歡迎來到百度文庫文件下載：")
    print("-----------------------\r\n")
     
    
    while True:
        try:
            print("1.doc \n 2.txt \n 3.ppt \n 4.xls\n 5.ppt\n")
            types=input("請輸入需要下載文件的格式(0退出)：")

            if types=="0":
                break

            if types!='txt':
                print("抱歉功能尚未開發")
                continue


            url=input("請輸入下載的文庫URL地址：")

            # 網頁內容
            response=session.get(url)

            code=re.findall('charset=(.*?)"',response.text)[0]

            if code.lower()!='utf-8':
                code='gbk'

            content=response.content.decode(code)

            # 文件id
            doc_id=re.findall('view/(.*?).html',url)[0]
            # 文件類型
            #types=re.findall(r"docType.*?:.*?'(.*?)'",content)[0]
            # 文件主題
            #title=re.findall(r"title.*?:.*?'(.*?)'",content)[0]

            if types=='txt':
                md5sum=re.findall('"md5sum":"(.*?)",',content)
                if md5sum!=[]:
                    result=parse_txt2(content,code,doc_id)
                    title=re.findall(r'<title>(.*?). ',content)[0]
                    #filename=os.getcwd()+"\\Files\\"+title+'.txt'
                    filename=path+"\\"+title+".txt"
                    save_file(title,filename,result)
                else: 
                    result=parse_txt1(code,doc_id)
                    title=re.findall(r"title.*?:.*?'(.*?)'",content)[0]
                    #filename=os.getcwd()+"\\Files\\"+title+'.txt'
                    filename=path+"\\"+title+".txt"
                    save_file(title,filename,result)
        except Exception as e:
            print(e)


if __name__=='__main__':
    main()

歡迎來到百度文庫文件下載：
-----------------------

1.doc 
 2.txt 
 3.ppt 
 4.xls
 5.ppt

1.doc 
 2.txt 
 3.ppt 
 4.xls
 5.ppt



請輸入需要下載文件的格式(0退出)：
 txt
請輸入下載的文庫URL地址： https://wenku.baidu.com/view/147d495158eef8c75fbfc77da26925c52cc5913d.html?fr=search


文件最新IT書籍列表保存成功
1.doc 
 2.txt 
 3.ppt 
 4.xls
 5.ppt



請輸入需要下載文件的格式(0退出)：
 txt
請輸入下載的文庫URL地址： https://wenku.baidu.com/view/9a41886f26d3240c844769eae009581b6bd9bd6e.html?fr=search


文件一個循環網絡爬蟲保存成功
1.doc 
 2.txt 
 3.ppt 
 4.xls
 5.ppt



請輸入需要下載文件的格式(0退出)：
 txt
請輸入下載的文庫URL地址： https://wenku.baidu.com/view/8edb30e82dc58bd63186bceb19e8b8f67c1cef8e.html?fr=search


文件Twitter爬蟲核心技術：全自動抓取世界上的熱門主題以及轉推,引用,回復的用戶的最新微博保存成功
1.doc 
 2.txt 
 3.ppt 
 4.xls
 5.ppt



請輸入需要下載文件的格式(0退出)：
 txt
請輸入下載的文庫URL地址： https://wenku.baidu.com/view/df7ffa19b7360b4c2e3f6495.html?fr=search


文件爬蟲技術介紹保存成功
1.doc 
 2.txt 
 3.ppt 
 4.xls
 5.ppt



請輸入需要下載文件的格式(0退出)：
 0

Image("./Images/txt_8.png",width="600px",height="400px")

3.使用pyinstaller打包

pyinstaller parse_txt.py

from IPython.display import Image
Image("./Images/txt_9.png",width="600px",height="400px")

4.運行效果

文件存儲路徑：F:\桌面\Files

Image("./Images/parse_txt.gif",width="600px",height="400px")

Image("./Images/txt_10.png",width="600px",height="400px")

5.完整代碼

Github鏈接：https://github.com/LQ6H/Python_spider

百度網盤鏈接：
鏈接：[https://pan.baidu.com/s/1kdtu0oVIJprocl5FwPatOw]
提取碼：szxi