python爬蟲中Response [503]問題


503

最近我在爬取某圖片網站,在爬取35頁后就直接跳過去了一直到程序結束也沒有報錯,但是內容沒有抓取下來。Debug調試后發現循環35頁后爆出Response【503】

應該是ip被封禁了 過一段時間就可以了
可以使用代理ip
也有可能是別的原因請自行判斷,可以手動訪問試一下

狀態碼503 表示服務器由於在維護或已經超載而無法響應。例如,如果某些線程或數據庫連接池已經沒有空閑則servlet會返回這個頭信息。服務器可提供一個Retry-After頭信息告訴客戶端什么時候可以在試一次。
該錯誤是發生在接受響應的 HTTP 數據流。
該數據流包括狀態編碼, 其值取決於 HTTP 協議 。 解析 該數據流得到 狀態編碼 和其他有用信息。

返回 503有以下可能

1.表示服務器由於在維護或已經超載而無法響應
2.請求速度過快服務器判斷是爬蟲拉黑(有一點時間)
3.請求投header錯誤

可以從以下幾方面入手

1.等待一段時間后再次請求
2.定時更換代理ip
3.檢查請求頭
4或者更換一個新的請求頭


免責聲明!

本站轉載的文章為個人學習借鑒使用,本站對版權不負任何法律責任。如果侵犯了您的隱私權益,請聯系本站郵箱yoyou2525@163.com刪除。



 
粵ICP備18138465號   © 2018-2025 CODEPRJ.COM