robots.txt写法详解：从基础规则到高级配置指南

📍 WDQWDWQD987AAAAA:144.76.32.239
📱 Mozilla/5.0 (compatible; SERankingBacklinksBot/1.0; +https://seranking.com/backlinks-crawler)
🔗 /a269ff598e66.html
📄

robots.txt是网站与搜索引擎爬虫沟通的重要文件，正确的写法能有效引导爬虫抓取，保护敏感内容。本文详细介绍robots.txt的写法，帮助您掌握从基础到高级的配置技巧。

一、robots.txt基础语法

robots.txt文件位于网站根目录，采用纯文本格式。每条规则由字段和值组成，常见字段包括：

• User-agent：指定规则适用的爬虫名称，如Googlebot；使用*表示所有爬虫。
• Disallow：禁止爬虫访问的路径，如/admin/。
• Allow：允许爬虫访问的路径，常用于覆盖Disallow规则。
• Sitemap：声明网站地图地址，便于爬虫发现。

示例：
User-agent: *
Disallow: /private/
Allow: /private/public/
Sitemap: https://www.example.com/sitemap.xml

二、常见写法与注意事项

1. 规则匹配：Disallow和Allow支持通配符*和$，但需注意爬虫支持程度。2. 优先级：当多条规则冲突时，爬虫通常选择最具体的匹配。3. 文件位置：必须放在根目录，文件名小写。4. 大小写敏感：路径区分大小写。5. 注释：以#开头的行为注释。

三、高级配置技巧

针对多爬虫配置时，可分组编写规则。例如：
User-agent: Googlebot
Disallow: /no-google/
User-agent: Bingbot
Disallow: /no-bing/

此外，使用Crawl-delay可控制抓取频率，但并非所有爬虫支持。对于敏感目录，建议结合密码保护而非仅依赖robots.txt。

四、测试与验证

编写完成后，使用搜索引擎站长工具测试robots.txt是否生效。确保没有语法错误，并定期检查更新。正确的robots.txt写法能提升SEO效果，避免爬虫浪费资源。