代理(Proxy),也称网络代理,是一种特殊的网络服务,允许一个网络终端(一般为客户端)通过这个服务与另一个网络终端(一般为服务器)进行非直接的连接。
代理服务器位于客户端和访问互联网之间,服务器接收客户端的请求,然后代替客户端向目标网站发出请求,所有的流量路由均来自代理服务器的IP地址,从而获取到一些不能直接获取的资源。
大规模频繁请求(如性能测试)服务器可能会开启验证,甚至直接把IP给封禁掉。为防止这种情况发生,我们需要将设置代理来解决这个问题,在Requests中需要用到proxies这个参数,在爬虫中会常用到代理。
import requests base_url = "http://httpbin.org" proxie = {"http":"http://222.95.144.122:3000"} r = requests.get(base_url+'/get',proxies=proxie) print(r.text)