Brave 把搜索索引卖给 AI 公司，你的网站可能也在里面

《纽约时报》起诉 Brave 未经许可抓取超过 300 亿网页并卖给 Cohere、Mistral、Perplexity 等 AI 公司。由于 Brave 的爬虫不使用独立 user-agent，网站无法在 robots.txt 里单独屏蔽它，想退出索引只能连 Google 一起放弃。作者实测自己的网站确实在 Brave 索引中，并给出 30 秒自查方法。

诉讼核心：抓取 300 亿网页卖给 AI

• 11 月 2 日《纽约时报》起诉 Brave，称其抓取超过 300 亿网页，既不表明身份，也不给网站主屏蔽手段，再把内容卖给 AI 公司
• Brave 通过 Search API 向 AI 公司出售索引访问权，官方页面列出的客户包括 Cohere、Mistral、Perplexity 和 You.com
• 起诉书点名 Brave 供应的五家 AI 公司：Anthropic、Perplexity、Mistral、xAI 和 Cohere，但被起诉的只有 Brave
• Claude 是否仍在用 Brave 尚无法确认：2025 年 3 月 Anthropic 把 Brave 加入子处理者名单，开发者 Simon Willison 曾发现 Claude 的搜索结果与 Brave 完全一致

为什么 robots.txt 拦不住 Brave

• robots.txt 靠爬虫名字生效，OpenAI 和 Anthropic 都公开了自己爬虫的名字，可以分别放行或屏蔽
• Brave 官方帮助页承认其爬虫不使用独立的 user-agent，理由是很多网站只放行 Google，带名字的爬虫会被拒之门外
• Brave 的做法是跟随 Googlebot 的规则：Google 能读的它就读，Google 不能读的它不读
• 结果是网站主无法只放行 Google 而挡住 Brave，想退出 Brave 索引只能用 noindex，但那会连 Google 收录一起丢掉

作者实测：自己的网站就在索引里

• 作者用 site:nohacks.co 在 Brave 搜索，首页结果就有 16 个页面，其中 13 篇是文章
• 结果里显示的首页描述是当天早些时候刚替换掉的旧版，说明 Brave 提供的是存储副本而非实时抓取
• 他的 robots.txt 已列出 13 个 AI 爬虫并屏蔽了 Meta 和 ByteDance 的，但没有一行能写 Brave 的名字
• 自查只需 30 秒：打开 search.brave.com，输入 site: 加自己的域名，出现的结果都在被出售的索引里

搜索引擎与被卖索引的区别

• 传统搜索是流量交换：用户搜索、看到页面、点击回到网站
• Brave 的 LLM Context 产品直接交付已切好的页面片段和元数据，AI 公司无需再抓取就能据此生成答案
• 答案是否给网站带回访问，由 AI 公司决定，网站主既无法控制，Brave 也不为此付费
• 作者认为这正是问题所在：索引被卖掉后，网站与流量之间的联系被切断了

后续走向

• 《纽约时报》主张版权侵权和绕过付费墙，Daily News、Chicago Tribune、Orlando Sentinel 同日另案起诉
• 此前 News Corp 发律师函后 Brave 反诉，称索引网页是所有搜索引擎的生存前提；2026 年 7 月 News Corp 又反诉 Brave 隐藏爬虫身份
• 判决不会自动覆盖其他网站，但会影响索引中每一个网站的处境
• 截至发稿 Brave 尚未回应任何一起诉讼

网站主现在能做什么

• 先查清自己是否在 Brave 索引中，用 site: 搜索即可
• 权衡 noindex 的代价：退出 Brave 索引意味着同时退出 Google
• 关注诉讼进展，判决结果可能改变 AI 公司获取网站内容的方式