python爬蟲requests使用代理ip

一、總結

一句話總結：

a、請求時，先將請求發給代理服務器，代理服務器請求目標服務器，然后目標服務器將數據傳給代理服務器，代理服務器再將數據給爬蟲。

b、代理服務器是經常變化的，使用代理服務器時傳一個參數：proxy，是一個字典的形式。

import requests
proxy={
    'http':'58.87.98.150:1080'
}
response=requests.get("http://httpbin.org/ip",proxies=proxy)
print(response.text)

 

 

二、python爬蟲requests使用代理ip

轉自或參考：python爬蟲（十） requests使用代理ip - 方木Fengl - 博客園
https://www.cnblogs.com/zhaoxinhui/p/12383760.html

 

請求時，先將請求發給代理服務器，代理服務器請求目標服務器，然后目標服務器將數據傳給代理服務器，代理服務器再將數據給爬蟲。

代理服務器是經常變化的

使用代理服務器時傳一個參數：proxy。是一個字典的形式。

通過網址：httpbin.org/ip可以看到當前請求得ip地址：

 

 再快代理官網，點擊開放代理可以找到一個代理：

 

 在選第一個ip時，報錯超時，說明這個ip已經不能用了，再選第二個

import requests

proxy={
    'http':'58.87.98.150:1080'
}

response=requests.get("http://httpbin.org/ip",proxies=proxy)

print(response.text)

 

 

 此時得結果就是代理ip