代理(Proxy),也稱網絡代理,是一種特殊的網絡服務,允許一個網絡終端(一般為客戶端)通過這個服務與另一個網絡終端(一般為服務器)進行非直接的連接。
代理服務器位於客戶端和訪問互聯網之間,服務器接收客戶端的請求,然后代替客戶端向目標網站發出請求,所有的流量路由均來自代理服務器的IP地址,從而獲取到一些不能直接獲取的資源。
大規模頻繁請求(如性能測試)服務器可能會開啟驗證,甚至直接把IP給封禁掉。為防止這種情況發生,我們需要將設置代理來解決這個問題,在Requests中需要用到proxies這個參數,在爬蟲中會常用到代理。
import requests base_url = "http://httpbin.org" proxie = {"http":"http://222.95.144.122:3000"} r = requests.get(base_url+'/get',proxies=proxie) print(r.text)