GitHub 开源代码评审基准 ReviewBench：219 个 PR、19 种语言，怎么评 AI reviewer

GitHub 发布 ReviewBench，一个公开的 AI 代码评审离线基准：从 1.039 亿个真实 PR 的分布中抽取 219 个 PR，用人工、前沿模型和静态分析多源构建 golden set，并给出 grounded 与 augmented 两套指标。文章讲清了构建方法、评分口径和专家复核结果，适合正在选型或自建代码评审 Agent 的团队参考。

为什么需要一个专门的评审基准

• 现有 AI reviewer 各有取舍：有的报得多、有的噪声少，有的擅长抓严重问题、有的只提小改进，单看演示很难判断谁更适合自己的流程。
• 好的基准要覆盖真实 PR 的多样性，能按严重程度和类别切片，还要能作为离线信号，提前预判线上实验的方向。
• GitHub 的动机很直接：让 Copilot code review（CCR）的离线评测更能预测生产实验的结果。

语料怎么选：对齐真实分布

• 先分析 1.039 亿个 GitHub PR，统计语言、仓库规模和改动形态的分布。
• 最终语料是 187 个公开开源仓库的 219 个 PR，覆盖 19 种语言，语言和仓库规模分布贴近 GitHub 整体。
• 有一处刻意调整：PR 规模向“可评审的中间段和长尾”加权，压低单文件小改动的占比，保留更多多文件的实质改动。

golden set 怎么建：多源收集加统一口径

• 候选 finding 来自四类来源：真实人类 reviewer、作者后续 commit 中暴露的问题、确定性静态分析工具、多个不同模型家族的前沿 LLM。
• 语义去重，把指向同一底层问题的 finding 合并，避免多个来源互相印证反而把 golden set 撑大，也避免依赖单一来源的盲区。
• 判定不看来源，只看是否真实、相关、非琐碎；用 Claude Sonnet 5 作为 LLM grader，评分 rubric 和 judge 都公开，便于复现。

六个指标：已知问题和新发现分开算

• Grounded precision / recall / F1 只对照 golden set 已有标签，是严格的同口径横向比较。
• Augmented precision / recall / F1 会把没匹配上 golden set 的 finding 交给 judge 单独判真假，reviewer 发现了别人没发现的有效问题也能得分。
• 因为 augmented recall 的分母会随各系统发现的内容变化，跨系统对比以 grounded recall 为主指标，augmented 作为单系统的补充诊断。
• 支持按 severity（Critical / Medium / Low）和 category（Correctness、Security、Reliability、Maintainability、Testing 等）切片，Fβ 里的 β 可调，偏 precision 还是偏 recall 由使用者决定，排行榜随之重排。

可信度：专家盲审 96.6% 一致

• 发布前请未参与构建的资深工程师从零重新标注每一条 ground-truth finding，真假阳性判断与 ReviewBench 的一致率为 96.6%。
• 基准带版本管理，评分 rubric 统一适用于所有来源，整条链路可审计。
• 离线基准的变动会与线上实验对照：基准上涨通常线上也涨，基准回退通常线上也回退。