学习精选 · 谷歌搜索优化
技术与算法更新

robots.txt 实操指南:搜索爬虫和 AI 爬虫各该怎么管

Search Engine Journal2026-11-18约 4 分钟读完AI 整理查看原文

robots.txt 是控制爬虫访问的基础工具,但规则优先级和写法细节容易踩坑。本文结合 Google 官方口径,讲清规则匹配逻辑,并给出屏蔽站内搜索、筛选参数、PDF 等具体写法,帮助电商等大站省下抓取预算。

今天就能做

  • 今天检查一遍 robots.txt:确认站内搜索参数(如 ?s=)和加购/收藏类 action URL 是否已屏蔽,用 /*?s= 和 /*?*&s= 这对写法覆盖参数在首位和中间两种情况。
  • 对照 Google 的 faceted navigation 指南,区分哪些筛选页是 SEO 落地页要保留可抓取,哪些是重复内容该屏蔽,逐个参数写规则并测试。
  • 记住屏蔽抓取不等于删除收录:需要从搜索结果消失的页面改用 noindex 并放开抓取。

先搞懂规则优先级,别被自己的规则坑了

  • 为某个爬虫单独写了规则组(如 User-agent: Googlebot),它就只遵守这组规则,不再看 User-agent: * 下的兜底规则。想对 Googlebot 也屏蔽某目录,必须在其规则组里再写一条 Disallow。
  • 同一组内规则冲突时,Google 取匹配字符更多的那条(更具体者优先),例如 Allow: /downloads/free/ 会覆盖 Disallow: /downloads/。
  • 多条规则同样具体时,取限制最少的那条,即默认放行。
  • 路径匹配区分大小写:filter= 和 Filter= 是两个东西;通配符只有 * 和 $ 两个,不支持完整正则。

哪些 URL 值得屏蔽

  • 站内搜索结果页:WordPress 通常是 ?s= 参数,Gary Illyes 多次提醒这类 action URL 会让 Googlebot 无限抓取各种参数组合,甚至不存在的 URL。
  • 筛选/排序产生的 faceted navigation URL:除非筛选页是 SEO 策略的一部分(如 Zalando 针对灰色 T 恤做的颜色落地页),否则大量重复内容页面应限制抓取。
  • 加购、收藏等 action URL:Google 2024 年专门提醒过这类链接浪费爬虫和服务器资源。
  • 无需搜索可见的账户区域、与内容渲染无关的 JS 脚本,以及你想限制的 AI 训练爬虫。注意隐私保护要靠登录验证,robots.txt 挡不住乱来的爬虫。

可直接套用的写法

  • 屏蔽站内搜索:Disallow: /*?s= 匹配 s 作为第一个参数,Disallow: /*?*&s= 匹配它跟在其他参数后面。参数名大小写敏感,/?S= 不会被匹配,上线前先核对自己站点的实际参数写法。
  • 屏蔽筛选参数:对 sortby、color、price 等每个参数各写一对 /*?参数= 和 /*?*&参数= 规则,只加你确定要限制的参数。
  • 屏蔽 PDF:Disallow: /*.pdf$ 一行即可挡住所有 PDF 文档的抓取。
  • Sitemap 指令可以帮搜索引擎发现你的 XML 站点地图,建议一并写上。

两个常见误区

  • robots.txt 不等于从搜索结果删除。被屏蔽的页面仍可能因为外链被 Google 收录(只显示 URL)。想真正移除,应该用 noindex 并允许抓取该页面。
  • UTM 参数是外部链接的追踪用途,和站内生成的筛选、搜索 URL 是两回事。John Mueller 在 Reddit 上也强调过:不能仅凭 URL 带查询字符串就决定屏蔽,要看这个参数在你站上实际做什么。
  • 屏蔽抓取不会自动把抓取预算转移给其他页面——Google 明确说只有当站点已达到抓取上限时才谈得上预算重新分配。

原文:Robots.txt Guide – Best Practices For Search & AI Crawlers

来源:Search Engine Journal · 2026-11-18

查看原文

本文由 AI 阅读原文后整理,未经人工逐字核对,内容以原文为准。

登录后可以点赞、查看和发表评论