禁止所有搜索爬虫访问网站指定目录
文件放置不让爬取的网站文件夹目录里
robots.txt
User-agent: *
Disallow: /
User-Agent值可改为：
| 搜索引擎 | User-Agent值 |
|---|---|
| googlebot | |
| 百度 | baiduspider |
| 雅虎 | slurp |
| MSN | msnbot |
| Alexa | is_archiver |
禁止所有搜索爬虫访问网站指定目录robots.txt
免责声明！
本站转载的文章为个人学习借鉴使用，本站对版权不负任何法律责任。如果侵犯了您的隐私权益，请联系本站邮箱yoyou2525@163.com删除。