学习精选 · AI 工具
Codex

别再凭感觉选 AI 编程代理:用同一任务打分制实测 Claude Code 和 Codex

DEV Community2026-11-21约 3 分钟读完AI 整理查看原文

作者厌倦了「我换了 XX,感觉更好」式的评测,设计了一套同任务对战法:两个代理拿完全相同的提示词和输入,对照事先写好的标准答案,用 100 分制机械打分。文中给出四条公平规则、完整评分表和两场真实对战结果,结论是「哪个代理更好」是伪命题,「哪个代理更擅长这类任务」才是能指导分工的问题。

今天就能做

  • 给 Claude Code 和 Codex 出同一道题、同一份提示词,用 40+20+15+15+10 的评分表打一次分,看看你的任务类型到底适合谁
  • 写标准答案要在跑测试之前完成,避免评分时无意识地偏向先出结果的那个
  • 把人工返工当成扣分项计入总分,而不是事后备注,这样才能反映真实使用成本

四条公平规则

  • 同一提示词:两个代理收到逐字相同的指令,不为某个模型单独调优
  • 先写标准答案:在代理运行之前就定好理想输出或检查清单,事后写答案会不自觉偏向先跑的那个
  • 机械打分:用 100 分制评分表,凡是无法机械化评分的维度直接从表里删掉
  • 返工计入成本:输出需要人工修正就扣分,「最后还是做出来了」也是一种代价,要算进结果

100 分评分表怎么打

  • 准确性 40 分:对照标准答案核对事实、数字和必填项
  • 返工 20 分:人工每做一次修正就扣一次
  • 速度 15 分:按实际耗时打分,以较快的代理为基准相对计分
  • 质量 15 分:结构、可读性、是否按要求的格式排版
  • 指令遵循 10 分:是否严格按提示词执行,不多做也不少做

一个示例任务:会议纪要转决策摘要

  • 任务要求只输出决策、负责人、截止日期,标准答案包含三项决策、两位负责人和一个截止日期
  • 代理 A 输出干净、日期正确,但擅自加了一段没人要的「风险」章节,指令遵循被扣 4 分
  • 代理 B 格式完全合规,却把截止日期 3 月 3 日写成 3 月 13 日,日期错误直接扣 10 分
  • 最终比分可能是 96 比 89,关键是每个扣分点都能说清原因,评分表本身就是裁决依据

两场真实对战的结果

  • 第一场会议纪要整理(写作类任务):Claude Code 99 分,Codex 92 分,差距主要来自返工
  • 第二场 CSV 转月度汇总(实现类任务):Codex 96 分反超 Claude Code 的 93 分
  • 目前战绩 1 比 1,两场下来得出的诚实结论是:任务类型比品牌忠诚度更能决定胜负

这套方法真正的价值

  • 把「哪个代理更好」换成「哪个代理在什么任务类型、什么评分标准下更好」,后者才有可操作的答案
  • 可以直接用评分结果来路由工作:写作类交给一个,实现类交给另一个
  • 作者把共享提示词模板、评分表和标准答案制作方法打包成了付费工具包,读者也可以照文中规则自己跑一场

动手跑一场你自己的对战

  • 选一个你团队里真实存在的重复任务,而不是玩具题
  • 先写标准答案和检查清单,再让两个代理用同一提示词各跑一遍
  • 按五项维度打分,把返工次数和时间都记下来,一场对战比一个月的「感觉」更能说明问题

原文:We Made Claude Code and Codex Fight Over the Same Task — With a Score Sheet

来源:DEV Community · 2026-11-21

查看原文

本文由 AI 阅读原文后整理,未经人工逐字核对,内容以原文为准。

登录后可以点赞、查看和发表评论