在requests模塊中使用代理發送請求

 

1. 代理概述

• 玩爬蟲為什么我們不能使用一個固定IP發送請求

  • 你使用一個固定IP發送每秒向對方服務器發送10幾個請求,對方認為這樣操作不是人干的, 就把你IP給封了
  • 服務器端的人可以根據你IP很快鎖定你, 要求你對這種竊取行為賠償.

• 代理

  • 

• 正向代理與反向代理

  • 
  • 

• 正向代理與反向代理的區別

  • 反向代理:
    • 服務器端知道代理的存在,反向代理是為了保護服務器或負責負載均衡
    • 但是客戶端不知道代理的存在的
  • 正向代理:
    • 客戶端知道代理的存在,正向代理是為保護客戶端,防止追究責任.
    • 但是服務端不知道真實的客戶端

2. 如何在requests模塊中使用代理

• 在requests模塊中使用代理格式(重點)

     proxies = {
        "http":"http://ip:端口號" "https":"https://ip:端口號" } request.get(url, proxies=proxies) 

• 使用需要賬號和密碼的代理

     proxies = {
        "http":"http://username:password@ip:端口號" "https": "https://username:password@ip:端口號" } request.get(url, proxies=proxies) 

• 代碼

        import requests # 使用代理獲取百度首頁 headers = { "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.181 Safari/537.36" } # 定義代理的字典 proxies = { # "http":"http://14.118.252.64:6666" # "https":"https://114.99.30.126:18118" "http": "http://121.228.8.93:8118" } # 使用代理給服務器發送請求 response = requests.get("https://www.baidu.com", proxies=proxies, headers=headers) # 獲取狀態 print(response.status_code) print(response.content.decode()) 

3. 代理IP的分類

根據代理ip的匿名程度，代理IP可以分為下面四類：

• 透明代理(Transparent Proxy)：透明代理雖然可以直接“隱藏”你的IP地址，但是還是可以查到你是誰。

• 匿名代理(Anonymous Proxy)：使用匿名代理，別人只能知道你用了代理，無法知道你是誰。

• 高匿代理(Elite proxy或High Anonymity Proxy)：高匿代理讓別人根本無法發現你是在用代理，所以是最好的選擇。

在使用的使用，毫無疑問使用高匿代理效果最好

從請求使用的協議可以分為：

• http代理
• https代理
• socket代理等

不同分類的代理，在使用的時候需要根據抓取網站的協議來選擇

4. 代理IP使用的注意點

• 反反爬

  使用代理ip是非常必要的一種反反爬的方式

  但是即使使用了代理ip，對方服務器任然會有很多的方式來檢測我們是否是一個爬蟲，比如：

  • 一段時間內，檢測IP訪問的頻率，訪問太多頻繁會屏蔽

  • 檢查Cookie，User-Agent，Referer等header參數，若沒有則屏蔽

  • 服務方購買所有代理提供商，加入到反爬蟲數據庫里，若檢測是代理則屏蔽

    所以更好的方式在使用代理ip的時候使用隨機的方式進行選擇使用，不要每次都用一個代理ip

• 代理ip池的更新

  購買的代理ip很多時候大部分(超過60%)可能都沒辦法使用，這個時候就需要通過程序去檢測哪些可用，把不能用的刪除掉。

• 小結

• 使用代理的好處:
  • 讓目標服務器以為不是同一個客戶端在請求，防止因為同一個ip發送請求過多而被反爬
  • 防止我們的真實地址被泄露，防止被追究,保護自己
• 如何在requests中使用代理
  • request.get(url, proxies=proxies)