学习精选 · AI 工具
Claude 与 Skill

ClaudeArena 上线一周:答题数据暴露了哪些薄弱点,我改了什么

DEV Community2026-11-04约 5 分钟读完AI 整理查看原文

作者为 Anthropic 的 Claude Certified Architect 考试(CCAR-F/CCAR-P)做了一个免费练习站,上线一周后根据 67 次匿名会话和答题正确率数据做了复盘。文章给出了各考试目标的最低正确率、移动端体验的具体问题,以及“考纲版本 vs 当前工具版本”对照页的重建思路。

今天就能做

  • 如果你在准备 CCAR 考试,优先补“结构化输出截断修复、tool_choice、并行工具调用、会话恢复、agent 循环边界”这几块,而不是背概念。
  • 做练习或刷题类产品时,答错页面一定要显示用户自己的选项,并统计错误选项分布,这是最便宜的改进。
  • 涉及快速迭代平台的认证,建立一张“考纲版本 vs 当前版本”对照表,答题按考纲、实操按现状。

一周数据:薄弱点集中在“约束与编排”

  • 首周 67 次免登录会话、14 个新用户名,有人一天用完 120 道免费题。
  • 按考试目标统计正确率,最低的几项是:修复被截断的结构化输出 62%、tool_use/tool_choice 做结构化输出 65%、单轮并行工具调用 66%、会话恢复与分叉 66%、Agent 循环控制与安全边界 68%、迭代式精修流程 68%。
  • 作者判断规律:低分项几乎都是“怎么约束和排序一个 agent”,而不是背事实;这与真实考试的反馈一致。
  • 反过来,正确率超过 90% 的目标,作者认为多半是错误选项太容易排除,已列入下一轮重做。

答错时告诉你“你选了 B”

  • 原来只显示正确答案和解析,不显示用户自己的选择,而踩过的坑恰恰最需要复盘。
  • 现在纠错区在正确答案上方标出“You chose B”,结果页同时展示两者。
  • 站点还匿名统计每个错误选项被选中的次数,攒够一个月数据后计划发布“大家在哪儿卡住”页面。

移动端优先:手机上才是主要学习场景

  • 按手机宽度检查时发现,页头和菜单占了约 40% 屏幕,开始按钮在 3000 像素长的设置页底部。
  • 改动包括:答题时的专注模式(页头收成一条细栏,只留进度、计时和退出)、考试选择下方的 10 题快速练习按钮、记住上次设置、手机端单行菜单和更短的介绍文案。

排行榜规则修正

  • 原规则是“登录后完成整套考试即可上榜”,结果 60 题只答 5 题、正确率 0% 的人排到第一、第二。
  • 现在只有达到 72% 练习目标的完整考试才进排行榜;低于目标的成绩仍计入个人进度、XP 和目标正确率,只是不占名次。
  • 统一原则:排行榜展示你通过了什么,而不是你出现过。

考纲版本 vs 当前工具版本

  • CCAR-F 考纲是 2026 年 7 月的 1.0 版,之后 Claude Code、Agent SDK 和 API 仍在更新,照今天的文档学可能和考试判分不一致。
  • 重建后的对照页分三列:主题、考纲(2026 年 7 月)、今天;每条变更都标注 Anthropic 官方 release notes 的日期,考纲发布前的变更单独标出。
  • 只保留考纲真正教的主题,Foundations 压缩到 16 行;考纲没覆盖的内容移到学习页的“Beyond the exam guide”备注。
  • 具体例子:考纲说 tool_choice 用 "any" 或指定工具可强制调用,但 Opus 5.5(9 月 22 日起)和 Sonnet 5.5(9 月 28 日起)会返回 400,需改用 auto 配 strict tool use 或结构化输出;子代理工具从 Task 改名为 Agent(Claude Code 2.1.69,2026 年 3 月);子代理默认最多 3 层(2.1.219,7 月 24 日);多个 Task 调用默认后台运行(2.1.198,7 月 1 日)。
  • 原则:答题按考纲,干活按今天;练习题始终跟随考纲,有差异时解析补一句“Today, ...”说明现状。

学习路径与考试事务

  • 学习流程:读一个领域 → 立刻练 → 专攻最弱目标 → 限时模考直到稳定;提供 Foundations 的 2 周和 4 周日计划。
  • 难度标签改为 Normal / Hard / Expert,登录后账号页列出最近会话。
  • 改期或取消考试的窗口是 48 小时(Pearson VUE 页面口径,考纲写 24 小时),逾期作废不退费。
  • Anthropic 11 月 17 日发布新版考纲,Professional 考试 12 月 7 日变更,作者会在新版发布当天更新 Professional 题目和学习页。

原文:ClaudeArena, one week after my first post: what the data showed, and what I changed

来源:DEV Community · 2026-11-04

查看原文

本文由 AI 阅读原文后整理,未经人工逐字核对,内容以原文为准。

登录后可以点赞、查看和发表评论