使用requests庫請求url,會出現這個錯誤,原因是:
服務器負載過重,無法建立更多的鏈接,4種可能:
- http連接太多沒有關閉導致的。
- 機器的內存不夠了。
- 還有一種可能就是:由於請求頻率過快,被目標網站封IP了
- 請求的 url 地址錯誤
解決辦法:
1. 增加重試連接次數
requests.adapters.DEFAULT_RETRIES = 5
2. 關閉多余的連接
requests使用了urllib3庫,默認的http connection是keep-alive的,requests設置False關閉。
操作方法:
s = requests.session()
s.keep_alive = False
