最近網站被這兩個IP段頻繁爬取，壓力巨大。網上查詢一番，這里簡單談談。
1、首先是nslookup反查，什么也查不到，按理說這應該不是什么正規蜘蛛。
2、考慮到有不少匿名蜘蛛，像百度站長工具的robots檢測，抓取xml地圖的都時臨時工蜘蛛，對比下測試的IP段也大概率不是匿名蜘蛛。
3、網上唯一找到的zhangu網上的信息說是匿名蜘蛛，不過抓取很奇怪，沒有入口的URL也抓的到，夠牛逼的。
最后的結論：全部屏蔽掉了。觀察了幾天，貌似對搜索引擎的抓取並無影響，並未有明顯的抓取量，索引量等變化。
免責聲明！
本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。