python批量爬取文檔

　　最近項目需要將批量鏈接中的pdf文檔爬下來處理，根據以下步驟完成了任務：

1. 將批量下載鏈接copy到text中，每行1個鏈接；
2. 再讀txt文檔構造url_list列表，利用readlines返回以行為單位的列表；
3. 利用str的rstrip方法，刪除 string 字符串末尾的指定字符（默認為空格）；
4. 調用getFile函數：
   1. 通過指定分隔符‘/’對字符串進行切片，取list的最后一列即鏈接文檔名作為下載文件名。
   2. 調用urlopen,調用read、write方法完成下載

　　參考資料：

• https://blog.csdn.net/zhrq95/article/details/79300411
• https://blog.csdn.net/yllifesong/article/details/81044619

import urllib.request
import os

def getFile(url):
    file_name = url.split('/')[-1]
    u = urllib.request.urlopen(url)
    f = open(file_name, 'wb')
    block_sz = 8192
    while True:
        buffer = u.read(block_sz)
        if not buffer:
            break
        f.write(buffer)
    f.close()
    print("Sucessful to download" + " " + file_name)

os.chdir(os.path.join(os.getcwd(), 'pdf_download'))

f=open('E:/VGID_Text/url_list.txt')
url_list=f.readlines()
url_lst=[]
for line in url_list:
    line=line.rstrip("\n")
    getFile(line)