网站迁移到 CDN 后 Googlebot 突然狂抓？Google 官方解释原因和应对方法

Google 的 Non-Canonical Cabinet 系列视频和配套帮助文档解释了为什么迁移 CDN 后抓取量会激增：响应变快让 Googlebot 自动提速，而空缓存的 CDN 会把大量首次请求直接打回源站。文章给出了预热缓存、放行验证过的爬虫、选择性拦截恶意 bot 等具体做法。

为什么迁移 CDN 后抓取量会突然暴涨

• Googlebot 会持续监测网站响应速度，CDN 让响应明显变快后，Googlebot 会判断网站能承受更高抓取频率，自动加大抓取量
• 很多开发者看到抓取激增，误以为遭到恶意 bot 攻击

空缓存的 CDN 保护不了你的源站

• CDN 刚部署时缓存是空的，没有任何页面副本
• 假设 Googlebot 抓 10 万个独立 URL，这些页面都没缓存时，CDN 必须逐个回源站取内容
• CDN 的防护效果取决于已缓存内容的多少，上线初期源站反而可能承受巨大流量峰值

一刀切封 bot 是更大的坑

• 开发者常在抓取激增后开启 CDN 的激进 bot 防护
• 这类防护容易误伤 Googlebot 等合法搜索引擎爬虫
• 被封禁爬虫造成的 SEO 损失，比抓取量增加本身严重得多

CDN 上线日的正确操作

• 提前准备并预热 CDN 缓存，让常用页面先进入缓存
• 放行经过验证的搜索引擎爬虫
• 只选择性地拦截恶意 bot，不要全封
• 用 rate limiting 控制过量流量
• 持续监控服务器健康状态和抓取活动

官方资料来源

• 内容主要来自 Google 帮助文档：Moving to a CDN without overwhelming your origin (or blocking Googlebot)
• 相关文档还包括 Reduce the Google crawl rate 和 Optimize your crawl budget
• 视频由 Gary Illyes 和 Chery Prommawin 主讲，时长不到 10 分钟