在python中,requests
使用代理要比urllib
好用太多,urllib還是有些交互性差。
代理
如果需要使用代理,你可以通過為任意請求方法提供 proxies
參數來配置單個請求:
import requests proxies = { "http": "http://10.10.1.10:3128", "https": "http://10.10.1.10:1080", } requests.get("http://example.org", proxies=proxies)
你也可以通過環境變量 HTTP_PROXY
和 HTTPS_PROXY
來配置代理。
$ export HTTP_PROXY="http://10.10.1.10:3128" $ export HTTPS_PROXY="http://10.10.1.10:1080" $ python >>> import requests >>> requests.get("http://example.org")
若你的代理需要使用HTTP Basic Auth,可以使用 http://user:password@host/
語法:
proxies = {
"http": "http://user:pass@10.10.1.10:3128/",
}
要為某個特定的連接方式或者主機設置代理,使用 scheme://hostname
作為 key, 它會針對指定的主機和連接方式進行匹配。
proxies = {'http://10.20.1.128': 'http://10.10.1.10:5323'}
注意,代理 URL 必須包含連接方式。
參考: http://docs.python-requests.org/zh_CN/latest/user/advanced.html
作者:_小老虎_
鏈接:https://www.jianshu.com/p/c8f896d668d6
來源:簡書
著作權歸作者所有。商業轉載請聯系作者獲得授權,非商業轉載請注明出處。