Claude 与 Skill
差点发错一个数字:用一组 AI Agent 互相制衡,守住实验的诚实
作者让多个 AI Agent 分工跑一次浏览器视口与 token 消耗的对比实验,并专门设了一个“怀疑型审稿”角色来挑刺。审稿 Agent 拒绝接受一个看起来很漂亮的 0.82x 结论,逼出重测后发现那只是 Chrome 自动填充弹窗造成的假象。本文讲的是这套多 Agent 流程如何让数据经得起推敲。
今天就能做
- 让 AI Agent 跑重要测量时,先指定一个“怀疑型审稿”角色,要求预注册假设和停止规则,再开始花钱
- 跑数前先做小规模试点,评分规则和测试环境的问题(比如弹窗、窗口尺寸)几乎都能在试点里暴露
- 给多个 Agent 设一个统一收件人,所有批准和提问走同一条线,避免重复打扰和口径混乱
五个角色,一条指挥线
- Writer/Coordinator 负责把想法写成 brief、转达作者原话批准、汇总各 Agent 的产出,是唯一的收件箱
- Builder 负责设计测试框架、跑校准和正式实验,拿到书面批准和 API key 之前不动工
- Infra Agent 在本地零成本搭环境:TodoMVC 和 Bootstrap 结账表单跑在 localhost,Chrome 用 kiosk 模式跑在虚拟显示屏上
- Skeptical Reviewer 像审论文一样审方案,Editor 对照原始数据和公开文档校对初稿
- 作者本人只管预算和最终拍板,硬性花费上限设在 60 美元
先锁计划,再看数据
- 分析计划在正式跑数之前就提交锁定,包括三条假设和停止规则
- 试点后要改评分规则,必须书面记录并提交,不许事后悄悄改
- 预先注册的结论只有一条:滚动页的大小屏 token 比值应低于无滚动页的 2.19x
- 后来出现的低于 1 的比值只能标注为“观察到的”,不能算预注册结论
审稿 Agent 挑出的三个问题
- kiosk 模式下 Chrome 实际窗口比设定少一个像素,右侧和底部有黑边,Builder 在试运行中发现并修正
- 原评分规则把“最终消息没以 DONE 开头”判为拒绝,试点中一次成功完成任务、只是换行写了 DONE 的运行被误标,规则改为只有页面检查失败且模型拒绝工作时才算拒绝
- 结账表单上 Chrome 支付自动填充弹窗在小屏上多出一步操作,导致 0.82x 的假结论;关掉弹窗重测后,比值变为 1.16x token、约 1.12x 成本
样本量和测量方式都较真
- 原计划每种尺寸跑 3 次,审稿人要求加到 10 次交错运行,取中位数和离散度
- 1280x800 对 1024x768 的比值是 1.091,但置信区间跨过 1——有两次运行只用了 4 次 API 调用,3 次样本很容易误判为真实差异
- 截图尺寸用 API 自己的 usage 字段校准,不靠估算公式
- 零成本验证确认新框架发出的请求体与原来逐字节一致
数字被编辑 Agent 再抓一次错
- 初稿把 2.19x 和 1.16x 的 token 比值当成美元比值,实际是 2.1x 和 1.12x
- 中位数被误写成平均值,发布前都已修正
- 实验总花费 21.70 美元,远低于 60 美元上限,全程一天完成
作者愿意复用的做法
- 继续拆分角色:锁计划、预注册结论、设花费上限、让非 Builder 的角色去翻原始文件
- 每个 Agent 的提问统一走 Coordinator,避免同一问题从多个方向打扰作者
- 作者不声称这证明多 Agent 架构普遍可靠——只是一天、两个简单页面、一个模型、一个浏览器,流程抓住了这次实验里的错误,仅此而已
原文:Trust, but Verify: How a Team of AI Bots Kept My Experiment Honest
来源:DEV Community · 2026-11-17
查看原文本文由 AI 阅读原文后整理,未经人工逐字核对,内容以原文为准。
登录后可以点赞、查看和发表评论