請求時,先將請求發給代理服務器,代理服務器請求目標服務器,然后目標服務器將數據傳給代理服務器,代理服務器再將數據給爬蟲。
代理服務器是經常變化的
使用代理服務器時傳一個參數:proxy。是一個字典的形式。
通過網址:httpbin.org/ip可以看到當前請求得ip地址:
再快代理官網,點擊開放代理可以找到一個代理:
在選第一個ip時,報錯超時,說明這個ip已經不能用了,再選第二個
import requests proxy={ 'http':'58.87.98.150:1080' } response=requests.get("http://httpbin.org/ip",proxies=proxy) print(response.text)
此時得結果就是代理ip