开发者必跑的技术 SEO 清单：从抓取到 Core Web Vitals

这篇文章把 SEO 当成工程问题而不是营销问题，指出多数排名问题源自代码：重定向链、臃肿的 JS、缺失的 meta、阻塞渲染的脚本。作者按抓取索引、URL 规范化、Core Web Vitals、结构化数据、移动渲染、常见事故、监控七块给出可执行检查项，并附上客户审计中反复出现的真实故障。

抓取与索引：先确认搜索引擎进得来

• 用 Search Console 的 robots.txt 测试工具实测，别只肉眼读文件；确认没有误封 /css/、/js/ 或整站，测试环境全封、生产环境放行
• XML sitemap 只放 canonical 且可索引的 URL，不含重定向、noindex、404；单文件不超过 5 万条，大站拆多个 sitemap 并在 robots.txt 中引用
• 用 Screaming Frog 或 Sitebulb 跑全站爬取，找出零内链的孤岛页面；只靠 sitemap 被发现的页面信号很弱

URL 与规范化：消灭重复内容

• URL 统一小写、连字符分隔，如 /web-design-services，避免驼峰和下划线
• 域名只保留一个版本（https 与 www 或非 www 二选一），其余全部 301 到最终地址
• 每页加自引用 canonical；带 ?sort=price、?utm_source= 等参数的 URL 统一 canonical 到干净地址
• 检查结尾斜杠一致性，/about 和 /about/ 不应同时作为独立页面被索引

Core Web Vitals：开发者最能直接控制的部分

• LCP 目标 2.5 秒内：用 link rel=preload 预加载首屏图和关键字体，图片转 WebP 或 AVIF 并按容器尺寸输出，静态资源走 CDN
• INP：拆分超过 50ms 的长任务，第三方脚本（客服、统计、广告像素）加 async 或 defer，scroll 和 resize 监听做防抖节流
• CLS：图片和视频嵌入写死宽高，广告和嵌入位提前预留空间，不要在页面加载后从顶部插入横幅或 cookie 提示
• 用 PageSpeed Insights 和 Lighthouse 测真实 URL，商品页、博客页、分类页的表现往往和首页差别很大

结构化数据与移动端渲染

• 首页放 Organization，内页放 BreadcrumbList，博客放带 datePublished 和 author 的 Article，电商放含价格、库存、评价的 Product，有实体门店的放 LocalBusiness
• 上线前用 Rich Results Test 验证；无效 schema 比没有 schema 更糟，可能触发人工审查标记
• 移动端用 DevTools 模拟加真机双重验证，点击目标至少 48x48px，viewport meta 设置正确
• React、Vue、Angular 等客户端渲染站点，用 Search Console 的 Inspect URL 确认 Googlebot 看到的是完整渲染后的 HTML 而非空壳；关键内容依赖纯客户端 JS 时考虑 SSR 或静态生成（Next.js、Nuxt、Astro）

客户审计里反复出现的六类事故

• 迁移上线时模板里残留 noindex，两周内流量归零
• 重定向链 A→B→C，每跳增加延迟并稀释链接权重，应直接跳到终点
• 模板变量出错导致大量页面标题缺失或重复，电商站尤其常见
• 服务器响应就要 1.5 秒的 TTFB，前端优化救不回来，先查主机和数据库查询
• HTTPS 页面里混着 HTTP 的图片或脚本，触发浏览器警告并浪费抓取预算

监控：把检查变成流程

• 每月看 Search Console 的 Coverage 和 Core Web Vitals 报告
• 在部署流水线里接入 Lighthouse CI，性能回退在上线前就被拦下
• 定期分析服务器日志，看 Googlebot 实际怎么爬，而不是凭假设
• 作者团队把这些检查项直接写进构建流程，开发阶段做对比上线后补救便宜得多

今天就能做

• 今天就用 Search Console 的 robots.txt 测试工具和 Inspect URL 各跑一次，确认生产环境没被封、Googlebot 能看到渲染后的内容
• 用 Screaming Frog 免费版爬一遍站，先修零内链的孤岛页和重定向链
• 在部署流程里加一条 Lighthouse CI 检查，把 LCP 2.5 秒、CLS、INP 变成上线门槛