Anthropic 发布 AI Agent 评测九步法：上线前先回答这四个问题

Anthropic 在工程博客发布《Demystifying evals for AI agents》，把 Agent 评测拆成 Step 0 到 Step 8 的九步路线图，覆盖编码、对话、研究和 computer-use 类 Agent。核心观点是：评测不是上线前的最后一道检查，而是从收集真实任务开始、贯穿产品全生命周期的工程纪律。

框架的九个步骤

• Step 0：系统还没建完就开始收集有代表性的真实任务
• 先做人工测试，摸清 Agent 在哪些场景成功、哪些失败
• 把任务写得无歧义，避免差结果其实是模糊指令造成的
• 构建均衡的题目集，覆盖 Agent 实际会遇到的请求类型和边界情况
• 设计可重复运行的 evaluation harness 和可靠的 grader，并检查 transcript、监控评测饱和、长期维护测试集

为什么任务清晰度和题目均衡性是前提

• 任务有多种合理解读时，评分测到的可能是任务设计的分歧，而不是 Agent 的能力
• 只测简单或熟悉的例子会让 Agent 看起来很可靠，掩盖日常运营中才暴露的缺口
• 目标不是刷出好看的 benchmark 分数，而是判断系统对特定用例是否够可靠

自动化评测不是全部：三层组合

• 自动化 evals：可重复、可规模化，适合开发期持续跑
• 生产监控：观察部署后的真实使用行为，发现测试环境遇不到的问题
• 选择性人工评审：在自动打分难以覆盖的质量和安全问题上补充判断
• 三层各有局限，组合使用才能避免得出脆弱的结论

评测饱和与 transcript 审查

• 评测饱和指测试集已无法区分有意义的性能提升，需要持续更新评测内容
• 只看最终结果可能漏掉问题：Agent 可能走了低效路径、用错工具或违反关键约束
• 审查 transcript 能看到 outcome-only 评分发现不了的行为细节

对企业落地的实际建议

• 把评测纳入「AI-native SDLC」，在规划阶段就安排，而不是 Agent 接上工具后再补
• 起步不需要大平台：一批真实任务 + 明确的成败标准 + 少量人工评审即可
• 附录列出了 Harbor、Braintrust、LangSmith、Langfuse、Arize 等框架，可按自己的技术栈选型
• 先在窄任务上拿到可靠证据，再扩展到更大的工作流，避免常见的过早铺开错误