爬蟲（GET）——傳遞要查詢的關鍵字

工具：python3

目標：傳遞關鍵字，爬取任意關鍵字的頁面

import urllib.request 
# 定義User-Agent，要爬取的url，以及要查詢的關鍵字 headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/66.0.3359.181 Safari/537.36"} url = "http://www.baidu.com/s" kd = input("請輸入要查詢的關鍵字：") 
# 將關鍵字進行url編碼，傳遞到urlencode（）中的字符類型為字典 wd = {"wd": kd} wd = urllib.parse.urlencode(wd)

# 構造完整的url fullurl = url + "?" + wd print(fullurl)

# 構造服務器請求信息 request = urllib.request.Request(fullurl, headers=headers) print(request)

# 向服務器發送請求 response = urllib.request.urlopen(request) 
# 將爬取到的內容存入文件baidu.txt
content = response.read() f = open("baidu.txt", "w") f.write(str(content)) f.close()