設置robots.txt不讓搜索引擎抓取

本文轉載自查看原文 2020-10-19 16:28 450 SEO相關

禁止所有搜索引擎訪問網站的任何部分

User-agent: *
Disallow: /

在網站根目錄下http://根目錄域名/robots.txt txt中的內容為以上，。

單獨屏蔽百度的

User-agent: baiduspider
Disallow: /

本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。

猜您在找 如何設置網站的robots.txt 搜索引擎如何抓取網頁和如何索引網頁？ nginx下禁止訪問robots.txt的設置方法如何使用robots禁止各大搜索引擎爬蟲爬取網站搜索引擎1 搜索引擎3 fofa搜索引擎 SVN搜索引擎 es搜索引擎搜索引擎概述