爬蟲遇到的坑——發現你是爬蟲拋出假數據

在爬取國外的某個網站的時候，剛開始他們是封ip，優化好ip池，准備大展身手的時候，數據順利的爬取完畢后，發現數據有重復的。然后研究了一下，

最后的原因是他們的后台發現是爬蟲以后，直接給拋出假的數據。上證據：

 

 

 

 

 

 

 

 

 

解決辦法：

每個ip的訪問次數盡量的少，盡量用多的ip抓取，抓取速度盡量的慢一些。