【Python爬蟲】：使用動態IP代理進行反反爬蟲

一.為什么要動態IP代理？

當我們有時使用爬蟲的時候，如果頻繁對某一個界面請求過太多的次數，那么有些網站就會因為反爬蟲的措施發現同一個IP地址對它請求了太多的次數，因此對我們的爬蟲進行了禁止，你必須要登錄這個網站才能夠繼續進行爬蟲。這個時候呢，如果我們能夠直接在請求網頁的時候不斷更換自己的IP地址，就不會被系統檢查出來。因此，這也是我們需要使用動態IP代理的緣故。

二.常用的動態IP代理網站

一般常見的有;

1.快代理

2.西祠代理

3.www.goubanjia.com

 

代理IP的類型：

http:應用到http協議的url當中
https:應用到https協議的url當中

 

代理IP的匿名度：
-透明：服務器知道該次請求使用了代理，也知道本次請求的真實IP

-匿名：知道使用了代理，但是不知道真實的IP

-高匿：服務器不知道使用了代理，也不知道使用了假的IP

三.如何使用動態IP代理？

假設我們對百度進行請求，就能夠知道自己當前請求的IP地址是多少了，如下所示：

import requests

url='https://www.baidu.com/s?wd=ip'
headers={
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/85.0.4183.83 Safari/537.36'
}

#使用post請求得到響應的數據
response=requests.get(url=url,headers=headers,proxies={'https':'https://61.145.48.46:9999'}).text
#獲取json響應數據

with open('proxy_ip.html','w',encoding='utf-8') as fp:
    fp.write(response)
print(response)