1.ip被封。
2.http的連接數超過最大限制。headers的Connection參數默認為keep-alive,導致之前所有的鏈接都一直存在,占用了后續的鏈接請求。
3.網站服務器太差,爬取請求的速度太快。(我的就是這樣)
解決方案:
1.換ip,更換headers或者使用代理ip。
2.將Connection參數的值改為close。或者在requests.get前一行添加requests.adapters.DEFAULT_RETRIES = 5,意思是連接失敗時重連五次。
3.將爬取操作放在while語句中