requests-post請求

一、requests的post請求

requests請求方法除了get請求方法外，還有其他方法，比如常用的post方法

什么場景下需要用到post方法呢？

1. 網頁需要登錄的情況下；

2.需要給網頁傳輸內容的情況下。

其實用法大都數和get請求一樣，只是需要加上data參數

 

response = requests.post("http://www.baidu.com/", data = data,headers=headers)

 

我們以網易雲翻譯為例

url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule'

    query = input('請輸入你需要翻譯的內容:')

    headers = {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36',
        'referer': 'https://fanyi.baidu.com/',
        'cookie': 'BAIDUID=EC86E3FB7D99BBA639F92DF7E479E4ED:FG=1; BIDUPSID=EC86E3FB7D99BBA639F92DF7E479E4ED; PSTM=1593858400; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598; Hm_lvt_64ecd82404c51e03dc91cb9e8c025574=1596875815; REALTIME_TRANS_SWITCH=1; FANYI_WORD_SWITCH=1; HISTORY_SWITCH=1; SOUND_SPD_SWITCH=1; SOUND_PREFER_SWITCH=1; Hm_lpvt_64ecd82404c51e03dc91cb9e8c025574=1596877593; __yjsv5_shitong=1.0_7_72b36bad244076f7a07c191f9c99b5ab5ffb_300_1596877595579_117.136.21.184_7c38597c; yjs_js_security_passport=d8d4b3445e3b69e84612f574f19cc7ce97e3de5d_1596877615_js'

    }

    data = {
        'i': query,
        'from': 'AUTO',
        'to': 'AUTO',
        'smartresult': 'dict',
        'client': 'fanyideskweb',
        'doctype': 'json',
        'version': '2.1',
        'keyfrom': 'fanyi.web',
        'action': 'FY_BY_REALTlME',
    }

    response = requests.post(url, data=data, headers=headers).content.decode()

瀏覽器訪問抓包結果

 

 

這樣我們還可以通過這個制作一個小小的翻譯機器

flag = True
while flag:
    url = 'http://fanyi.youdao.com/translate?smartresult=dict&smartresult=rule'

    query = input('請輸入你需要翻譯的內容:')

    headers = {
        'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36',
        'referer': 'https://fanyi.baidu.com/',
        'cookie': 'BAIDUID=EC86E3FB7D99BBA639F92DF7E479E4ED:FG=1; BIDUPSID=EC86E3FB7D99BBA639F92DF7E479E4ED; PSTM=1593858400; BDORZ=B490B5EBF6F3CD402E515D22BCDA1598; Hm_lvt_64ecd82404c51e03dc91cb9e8c025574=1596875815; REALTIME_TRANS_SWITCH=1; FANYI_WORD_SWITCH=1; HISTORY_SWITCH=1; SOUND_SPD_SWITCH=1; SOUND_PREFER_SWITCH=1; Hm_lpvt_64ecd82404c51e03dc91cb9e8c025574=1596877593; __yjsv5_shitong=1.0_7_72b36bad244076f7a07c191f9c99b5ab5ffb_300_1596877595579_117.136.21.184_7c38597c; yjs_js_security_passport=d8d4b3445e3b69e84612f574f19cc7ce97e3de5d_1596877615_js'

    }

    data = {
        'i': query,
        'from': 'AUTO',
        'to': 'AUTO',
        'smartresult': 'dict',
        'client': 'fanyideskweb',
        'doctype': 'json',
        'version': '2.1',
        'keyfrom': 'fanyi.web',
        'action': 'FY_BY_REALTlME',
    }

    response = requests.post(url, data=data, headers=headers).content.decode()
    print('翻譯的結果是:{}'.format(eval(response)['translateResult'][0][0]['tgt']))

    # 添加判斷，做繼續與退出
    f = input('退出輸入[y/n]:')
    if f == 'y' or f == 'n':
        flag = False

 調試結果：

 

 

二、代理

1.代理的作用

代理的作用：

 

1. 讓服務器以為不是同一個客戶端在請求

2. 防止我們的真實地址被泄露，防止被追究

 

總之代理就是隱藏客戶端的一個工具

2.代理的分類

根據代理ip的匿名程度，代理IP可以分為下面四類：

• 透明代理(Transparent Proxy)：透明代理雖然可以直接“隱藏”你的IP地址，但是還是可以查到你是誰。

• 匿名代理(Anonymous Proxy)：使用匿名代理，別人只能知道你用了代理，無法知道你是誰。

• 高匿代理(Elite proxy或High Anonymity Proxy)：高匿代理讓別人根本無法發現你是在用代理，所以是最好的選擇。

在使用的使用，毫無疑問使用高匿代理效果最好

從請求使用的協議可以分為：

• http代理
• https代理
• socket代理等

不同分類的代理，在使用的時候需要根據抓取網站的協議來選擇

2.2代理作用過程圖

2.3 理解正向代理和反向代理的區別

通過上圖可以看出：

• 正向代理：對於瀏覽器知道服務器的真實地址，例如VPN
• 反向代理：瀏覽器不知道服務器的真實地址，例如nginx

3.代理用法

代理的用法也是通過字典傳參的方式

  proxies = { 
      "http": "http://125.314.526.39:9527", 
      "https": "https://122.314.56.729:9527", 
      }

requests.get("http://www.baidu.com",  proxies = proxies)

代理是一種反反爬方式的方法

• 反反爬

  使用代理ip是非常必要的一種反反爬的方式

  但是即使使用了代理ip，對方服務器任然會有很多的方式來檢測我們是否是一個爬蟲，比如：

  • 一段時間內，檢測IP訪問的頻率，訪問太多頻繁會屏蔽

  • 檢查Cookie，User-Agent，Referer等header參數，若沒有則屏蔽

  • 服務方購買所有代理提供商，加入到反爬蟲數據庫里，若檢測是代理則屏蔽

    所以更好的方式在使用代理ip的時候使用隨機的方式進行選擇使用，不要每次都用一個代理ip

• 代理ip池的更新

  購買的代理ip很多時候大部分(超過60%)可能都沒辦法使用，這個時候就需要通過程序去檢測哪些可用，把不能用的刪除掉。