Claude 与 Skill
Claude Fable 5.1 实测:推理档位从 low 到 max,一只骑自行车的鹈鹕差价 33 倍
Simon Willison 用经典的「鹈鹕骑自行车 SVG」测试 Claude Fable 5.1 的五个推理档位。low 和 medium 几乎不推理,max 档花了 13 分 54 秒、65927 个输出 token、3.30 美元,产出了他见过 Anthropic 模型里最好的一只鹈鹕,随后又花 1.37 美元把它做成了动画。
今天就能做
- 用 llm-anthropic 插件跑同一提示词对比不同 reasoning effort 档位的输出质量和成本
- 简单生成任务先试 low 档,确认推理是否真的被触发再决定是否升档
- 对满意的输出做增量修改时,用管道把结果喂回较低档位,省下重跑 max 的 3 美元
5.1 发布亮点:科学基准翻倍
- Anthropic 称 Fable 5.1 在编码、知识工作和长时任务上树立新标准
- 新基准 Terminal-Bench-Science 0.1 上得分 52.6%,Fable 5 只有 24.7%,Opus 5 为 29.0%,GPT-5.6 Sol 为 22.4%
- 其他基准只有小幅提升,科学基准的提升最突出
五个推理档位,价格差距悬殊
- Fable 5.1 提供 low、medium、high、xhigh、max 五档,无法完全关闭推理
- low:1998 输出 token,23.8 秒,10.017 美分,没有推理痕迹
- medium:1977 token,23 秒,9.912 美分,同样没推理——这个提示词下两档都跳过了思考
- high:2612 token,29.6 秒,13.087 美分,只有少量规划性推理
xhigh 和 max:钱花在哪了
- xhigh:36767 输出 token,7 分 51 秒,1.83 美元,推理痕迹明显变长
- max:65927 token,13 分 54 秒,3.30 美元,是作者见过 Anthropic 模型最好的鹈鹕:腿在车架两侧、脚踩踏板、翅膀扶车把,还有蓝帽子和装鱼的篮子
- 推理记录显示模型在反复权衡细节:头盔和喙的碰撞、羽毛用扇贝形曲线、前叉控制点方向等,还会主动砍掉铃铛这类多余装饰
追加动画:一条管道命令搞定
- Hacker News 网友提议做动画版,作者用 llm logs -cx | llm -m claude-fable-5.1 -s 'animate this' 把 max 鹈鹕喂回 high 档
- 成本 1.37 美元(6121 输入 / 26201 输出 token),成功生成动画 SVG
- 导出 MP4 后车轮转向看起来反了,但原 SVG 里方向是对的,应是转码造成
作者的两点观察
- 鹈鹕基准如今最大的价值是同家族模型内部、以及同一提示词不同推理档位之间的对比
- 论视觉上的「灵气」仍不如 Gemini 3.7 Flash,但要求是 SVG 就给 SVG,结果准确
实用启示
- 简单任务用 low/medium 档可能几乎不触发推理,成本极低
- 复杂视觉或规划任务,max 档的长推理确实换来质的提升,但代价是时间和费用暴涨 30 倍以上
- 迭代优化时不必重跑高价档位,可以把已有输出接回较低档位继续加工
原文:Claude Fable 5.1 made me a really nice animated pelican
来源:Simon Willison
查看原文本文由 AI 阅读原文后整理,未经人工逐字核对,内容以原文为准。
登录后可以点赞、查看和发表评论