Codex
别再凭感觉选 AI 编程代理:用同一任务打分制实测 Claude Code 和 Codex
作者厌倦了「我换了 XX,感觉更好」式的评测,设计了一套同任务对战法:两个代理拿完全相同的提示词和输入,对照事先写好的标准答案,用 100 分制机械打分。文中给出四条公平规则、完整评分表和两场真实对战结果,结论是「哪个代理更好」是伪命题,「哪个代理更擅长这类任务」才是能指导分工的问题。
今天就能做
- 给 Claude Code 和 Codex 出同一道题、同一份提示词,用 40+20+15+15+10 的评分表打一次分,看看你的任务类型到底适合谁
- 写标准答案要在跑测试之前完成,避免评分时无意识地偏向先出结果的那个
- 把人工返工当成扣分项计入总分,而不是事后备注,这样才能反映真实使用成本
四条公平规则
- 同一提示词:两个代理收到逐字相同的指令,不为某个模型单独调优
- 先写标准答案:在代理运行之前就定好理想输出或检查清单,事后写答案会不自觉偏向先跑的那个
- 机械打分:用 100 分制评分表,凡是无法机械化评分的维度直接从表里删掉
- 返工计入成本:输出需要人工修正就扣分,「最后还是做出来了」也是一种代价,要算进结果
100 分评分表怎么打
- 准确性 40 分:对照标准答案核对事实、数字和必填项
- 返工 20 分:人工每做一次修正就扣一次
- 速度 15 分:按实际耗时打分,以较快的代理为基准相对计分
- 质量 15 分:结构、可读性、是否按要求的格式排版
- 指令遵循 10 分:是否严格按提示词执行,不多做也不少做
一个示例任务:会议纪要转决策摘要
- 任务要求只输出决策、负责人、截止日期,标准答案包含三项决策、两位负责人和一个截止日期
- 代理 A 输出干净、日期正确,但擅自加了一段没人要的「风险」章节,指令遵循被扣 4 分
- 代理 B 格式完全合规,却把截止日期 3 月 3 日写成 3 月 13 日,日期错误直接扣 10 分
- 最终比分可能是 96 比 89,关键是每个扣分点都能说清原因,评分表本身就是裁决依据
两场真实对战的结果
- 第一场会议纪要整理(写作类任务):Claude Code 99 分,Codex 92 分,差距主要来自返工
- 第二场 CSV 转月度汇总(实现类任务):Codex 96 分反超 Claude Code 的 93 分
- 目前战绩 1 比 1,两场下来得出的诚实结论是:任务类型比品牌忠诚度更能决定胜负
这套方法真正的价值
- 把「哪个代理更好」换成「哪个代理在什么任务类型、什么评分标准下更好」,后者才有可操作的答案
- 可以直接用评分结果来路由工作:写作类交给一个,实现类交给另一个
- 作者把共享提示词模板、评分表和标准答案制作方法打包成了付费工具包,读者也可以照文中规则自己跑一场
动手跑一场你自己的对战
- 选一个你团队里真实存在的重复任务,而不是玩具题
- 先写标准答案和检查清单,再让两个代理用同一提示词各跑一遍
- 按五项维度打分,把返工次数和时间都记下来,一场对战比一个月的「感觉」更能说明问题
原文:We Made Claude Code and Codex Fight Over the Same Task — With a Score Sheet
来源:DEV Community · 2026-11-21
查看原文本文由 AI 阅读原文后整理,未经人工逐字核对,内容以原文为准。
登录后可以点赞、查看和发表评论