python爬蟲添加請求頭和請求主體

添加頭部信息有兩種方法

1.通過添加urllib.request.Request中的headers參數

#先把要用到的信息放到一個字典中
headers = {}
headers['User-Agent'] = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) .......'
headers['......'] = '........'

#提交的主體信息，可以使用windows的瀏覽器找出來，以字典的形式寫出來
data = {}
data['eng'] = '0'  #1：英->漢  0:漢->英
data['validate'] = ''
data['ignore_trans'] = '0'

#將攜帶的數據轉換成請求方法的對應類型
reqdata = urllib.parse.urlencode(data).encode('utf-8')

#生成一個請求報文，這里的url和data需要提前給定 
req = urllib.request.Request(url,reqdata,headers) 

#使用這個報文去請求網頁，這時請求的報文中就帶有瀏覽器標識了
html = urllib.request.urlopen(req).read()

2.通過urllib.request.Request的add_header方法添加

#生成請求報文，這里先不加入header參數
req = urllib.request.Request(url,reqdata)

#通過返回的請求對象添加header頭，這里是個元祖，不是字典
req.add_header('User-Agent','Mozilla/5.0 (Windows NT 6.1; Win64; x64)')

#這時再去請求就是帶有瀏覽器標識的報文了
html = urllib.request.urlopen(req).read()

 

360翻譯示例代碼：　

import urllib.request
import chardet
import urllib.parse
import json

#請求url路徑，這個是360翻譯
url = 'https://fanyi.so.com/index/search?eng=0&validate=&ignore_trans=0&query=%E5%8E%86%E5%8F%B2%0A'
#這里只寫了個瀏覽器標識
headers = {}
headers['User-Agent'] = 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36'
#提交的請求主體信息
data = {}
data['eng'] = '0'  #1：英->漢  0:漢->英
data['validate'] = ''
data['ignore_trans'] = '0'
while True:
    str = input("請輸出要翻譯的中文（輸入q退出）:") #要查詢的內容
    if str == 'q':
        break
    else:
        data['query'] = str


    #將攜帶的數據轉換成請求方法的對應類型
    reqdata = urllib.parse.urlencode(data).encode('utf-8')
    #把url、data、header封裝成一個請求
    req = urllib.request.Request(url,reqdata,headers)
    #提交請求
    response = urllib.request.urlopen(req)
    #獲取返回頁面內容
    html = response.read()
    #將返回的頁面進行解碼，可以使用chardet.detect(html)查看頁面編碼
    # print(type(html)) 可以這樣打印，判斷出頁面的類型是什么，好進行下一步的轉碼
    # print(isinstance(html,bytes))
    html = html.decode('ascii')
    #html為json格式，轉換成字典類型
    html = json.loads(html)
    #提取出翻譯的字段
    translation = html['data']['fanyi']

    print(translation)