當爬蟲的status_code顯示404的時候，
1、請打開自己的瀏覽器，在沒有其他網頁的情況下重新打開一次你要爬取的網站地址
2、如1無問題，則對照瀏覽器的request header，排查你爬蟲里的headers是否缺少了哪個要素，將其去掉再試一遍
3、如1、2無問題，則對照瀏覽器的request header，排查你爬蟲里的headers是否多了哪個要素，將其去掉再試一遍
4、如1、2、3無問題，則冷靜一下，休息5分鍾
5、嘗試用多個瀏覽器訪問你要爬取的網站地址
6、如上面各項均無問題，那么請再百度或谷歌看看有沒有其他好方案，並希望您能夠給本博文留言，方便我去嘗試更多的解決方法。
本篇將會不斷更新更多的檢查方案。