爬蟲（GET）——爬取多頁的html

工具：python3

目標：將編寫的代碼封裝，不同函數完成不同功能，爬取任意頁數的html

新學語法：with open as  

        除了有更優雅的語法，with還可以很好的處理上下文環境產生的異常。

# coding:utf-8

import urllib.request

def loadPage(fullurl,filename):
    """作用：根據url發送請求，獲取服務器響應請求"""
    ua_headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36"}
    print("正在下載" + filename)

    request = urllib.request.Request(fullurl, headers=ua_headers )
    response = urllib.request.urlopen(request)
    return response.read()


def writePage(html, filename):
    """
    作用：將html內容寫入到本地
    html：服務器相應文件內容
    """
    print("正在寫入" + filename)
       # 新建文件，存儲html信息
    with open(filename, "wb") as f:
        f.write(html)


def tiebaSpider(url, beginpage, endpage):
    """
    作用：貼吧爬蟲調度器，負責組合處理每個頁面的url
    url:貼吧url的前部分
    beginPage： 起始頁
    endPage： 結束頁
    :return:
    """
       # 構造每頁的url和文件名
    for page in range(beginpage, endpage+1):
        pn = (page-1)*50
        fullurl = url + "&" + "pn=" + str(pn)
        filename = "第" + str(page) + "頁.html"

        html = loadPage(fullurl, filename)
        writePage(html, filename)
    print("完成！")


if __name__ == "__main__":
    kw = input("請輸入要爬取的貼吧名： ")
    beginPage = int(input("請輸入起始頁： "))
    endPage = int(input("請輸入結束頁： "))

    url = "http://tieba.baidu.com/f?"
    kw = urllib.parse.urlencode({"kw": kw})

    url = url + kw

    tiebaSpider(url, beginPage, endPage)