robots.txt写法全解析：从基础语法到实用示例
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /2f5ff7462a05.html
📄
robots.txt 是网站与搜索引擎爬虫沟通的重要文件，正确掌握 robots.txt 写法，可以有效控制爬虫抓取范围，保护敏感页面并优化网站索引效率。本文将从基础语法到实用示例，系统讲解 robots.txt 的编写方法。
一、robots.txt 基础语法
robots.txt 是一个纯文本文件，必须放置在网站根目录下，文件名为小写。其核心指令包括：
- User-agent：指定规则适用的爬虫名称，如 Googlebot、Baiduspider，使用 * 表示所有爬虫。
- Disallow：禁止爬虫抓取的路径，留空表示允许所有。
- Allow：允许爬虫抓取的路径，通常与 Disallow 配合使用以设置例外。
- Sitemap：声明网站地图地址，帮助爬虫发现页面。
每条指令后跟冒号和空格，再写具体值。规则按爬虫分组，组间用空行分隔。
二、常见写法示例
1. 允许所有爬虫抓取
最简单的写法是允许所有内容：
User-agent: *
Disallow:
注意 Disallow 后不要写斜杠，留空即表示允许全部。
2. 禁止所有爬虫抓取
在测试环境或未上线时，可禁止所有抓取：
User-agent: *
Disallow: /
3. 禁止特定目录
若需禁止后台和临时目录：
User-agent: *
Disallow: /admin/
Disallow: /tmp/
4. 使用 Allow 设置例外
禁止整个目录但允许其中某个文件：
User-agent: *
Disallow: /private/
Allow: /private/public.html
注意 Allow 与 Disallow 的优先级：路径越具体，优先级越高。
5. 针对特定爬虫设置规则
可以为不同爬虫设置不同规则：
User-agent: Googlebot
Disallow: /no-google/
User-agent: Baiduspider
Disallow: /no-baidu/
User-agent: *
Disallow:
三、编写注意事项
- robots.txt 必须放在域名根目录，不能放在子目录。
- 文件名必须为小写 robots.txt，且区分大小写。
- 路径匹配区分大小写，建议使用绝对路径。
- 不要使用通配符（如 * 和 $）除非爬虫明确支持，Googlebot 支持部分通配符。
- robots.txt 是公开文件，不要在其中泄露敏感信息。
- 使用 Sitemap 指令时，需写完整的 URL。
四、测试与验证
编写完成后，可通过搜索引擎的站长工具测试 robots.txt 是否生效。例如 Google Search Console 提供 robots.txt 测试工具，百度搜索资源平台也有类似功能。定期检查文件内容，避免误屏蔽重要页面。
掌握 robots.txt 写法，不仅能提升网站 SEO 效果，还能减少服务器无效抓取压力。建议根据网站实际结构，制定合理的抓取规则。
