禁止所有搜索爬蟲訪問網站指定目錄
文件放置不讓爬取的網站文件夾目錄里
robots.txt
User-agent: *
Disallow: /
User-Agent值可改為：
| 搜索引擎 | User-Agent值 |
|---|---|
| googlebot | |
| 百度 | baiduspider |
| 雅虎 | slurp |
| MSN | msnbot |
| Alexa | is_archiver |
禁止所有搜索爬蟲訪問網站指定目錄robots.txt
免責聲明！
本站轉載的文章為個人學習借鑒使用，本站對版權不負任何法律責任。如果侵犯了您的隱私權益，請聯系本站郵箱yoyou2525@163.com刪除。