在觀察網站的訪問者ua信息的時候
看到有很多AhrefsBot
Mozilla/5.0 (compatible; AhrefsBot/7.0; +http://ahrefs.com/robot/)
官方網站的介紹總結就是一個對於我們國內用戶無用的蜘蛛
什么是AhrefsBot？
AhrefsBot 是一個 Web 爬蟲，為 Ahrefs 在線營銷工具集的 12 萬億鏈接數據庫提供支持。它不斷抓取網絡以使用新鏈接填充我們的數據庫並檢查以前找到的數據的狀態，以便為我們的用戶提供最全面和最新的數據。
來自網絡的 Ahrefs Bot 收集的鏈接數據被全球數千名數字營銷人員用於規划，執行和監控他們的在線營銷活動。 這些數據對 SEO 社區具有巨大價值，因為它可以幫助營銷專業人員更好地理解世界上最大的搜索引擎的基本算法，以便他們可以相應地優化網站。我們的爬蟲每隔 24 小時訪問超過 60 億個網頁，並每 15-30 分鍾更新一次 Ahrefs 的索引。 根據最近一項關於“好機器人”的第三方研究，AhrefsBot 是僅次於 Googlebot 的第二大活躍爬蟲。
AhrefsBot 在您的網站上做什么？
AhrefsBot 正在抓取您的網站，記錄出站鏈接並將其添加到我們的數據庫中。它會定期重新抓取您的網站以檢查以前找到的鏈接的當前狀態。
我們的抓取工具不會收集或存儲有關您網站的任何其他信息。它不會在您的網站上觸發廣告（如果有），也不會為您的 Google Analytics（分析）流量增加數字。
它是否尊重 robots.txt 文件？
是的。絕對地。
我們嚴格尊重 robots.txt，禁止和允許規則。
如何控制您網站上的 AhrefsBot？
如上所述，AhrefsBot 嚴格遵循您網站上的 robots.txt 文件。因此，您可以根據需要在您的網站上完全控制它。
要更改 AhrefsBot 訪問您網站的頻率，您可以在您的 robots.txt 文件中指定來自我們的機器人的兩個連續請求之間的最小可接受延遲：
User-agent: AhrefsBot
Crawl-Delay: [value]
其中 Crawl-Delay 值是以秒為單位的時間。
如果出於某種原因您想阻止 AhrefsBot 訪問您的站點，請將以下兩行放入您服務器上的 robots.txt 文件中：
User-agent: AhrefsBot
Disallow: /
請注意，AhrefsBot 可能需要一些時間來選擇您的 robots.txt 文件中的更改。這將在每次下一次預定爬網之前進行。