100 次实测：Claude Code 的 effort 调到 medium 以上，质量没提升，账单却翻倍

作者团队用 100 次可自动判分的 headless 运行测试 Claude Code 的 effort 档位，发现 medium 以上只涨成本不涨通过率；按任务难度路由模型和档位，成本降 73%–98%，通过率不变。他们把这套方法做成了开源 skill rightsize。

实验怎么做的

• 100 次有效 headless 运行，环境是 Claude Code 2.1.308，覆盖 Haiku、Sonnet、Opus 5.5，每个组合跑 3 次。
• 4 个任务都用隐藏测试或 oracle 判分，最难的是写一个正则引擎，要在 3000 个随机 pattern 上与 Python 的 re 结果一致。
• 对照组是「所有任务都用 Opus + high」，这是很多人日常的默认设置。

effort 档位：medium 以上白花钱

• 从 low 往上，每个有效运行都通过了，三个模型都是如此。
• Haiku 在 low 档就写出了正则引擎，3000 个用例全对，3 次全过，成本 0.02 美元。
• 以 high 为 1 倍基准：Sonnet 5.5 的 xhigh 是 1.4–1.9 倍、max 是 5.0–8.1 倍；Opus 5.5 的 xhigh 是 1.5–2.2 倍、max 是 3.7–9.3 倍，而且慢 4–7 倍。
• 结论是质量由检查兜底，不是由档位兜底。

路由：同样的通过率，成本砍掉大半

• 在仓库里找一个值（带干扰项）：Opus/high 要 0.118 美元，Haiku/low 只要 0.002 美元，降 98%，2/2 对 2/2。
• 跨文件重命名并补类型标注：0.104 美元降到 0.004 美元，降 96%。
• 按隐藏测试修 parser：0.130 美元降到 0.035 美元（Sonnet/medium），降 73%。
• 测试范围也有影响：全量测试 11.4 秒，只跑单模块改动涉及的测试只要 0.7 秒。

作者自己划的边界

• 这些任务规格明确、可验证，正好是低 effort 最安全的场景。
• 架构设计、模糊 bug 这类开放式工作没有被测到，样本量也小。
• 正确读法是「让检查来保证质量」，而不是「永远用最便宜的模型」。

rightsize 的规则

• 先按 scope、risk、ambiguity、depth 给任务打分，再据此选模型和档位。
• 有确定性工具就用工具（formatter、compiler）；查找和机械改动用 Haiku；常规逻辑用 Sonnet；未知根因、迁移、安全用 Opus + high。
• 有检查的步骤从低一档起步，检查失败才升档；没有检查能判分的工作（设计、review、开放式任务）保持高 effort。
• 只测改动影响到的部分，收尾时再跑全量。
• 升级要有证据：同一个检查连续失败两次、出现矛盾、报告置信度低。
• 附带按工作类型分的 playbook：bug、feature、refactor、research、review、migration、performance、docs，把难想的活一次性放在强模型上做完。

怎么装上用

• 在 Claude Code 里通过 plugin marketplace 添加 spar-x-fr/spar-x-skills 再安装，或把 skills/rightsize/ 复制到 ~/.claude/skills/。
• MIT 协议，方法和原始数据都在仓库里。
• 作者希望有人在自己的 workload 上报路由失败的案例，失败样本对他们最有价值。