Anthropic 拆解安全评测怎么做才靠谱：从「拒答率」到「恰当回应率」

Anthropic 结合自家 system card 的经验，讲清了 AI 安全评测为什么容易被做歪，以及怎么借鉴心理学界的可复现性改革来改进。核心观点是：拒答率往往不是好的安全指标，多轮对话中的「恰当回应率」加成对设计（有害/无害提示配对）才更能测出真实水平。

安全评测为什么难做

• 安全评测决定模型能否上线、配什么防护措施，但评测本身容易被钻空子、测不准、文档不全难以复现
• 结果会因选择题还是开放题、选项顺序不同而变化
• 作者类比心理学十年前的可复现性危机：小样本加期刊偏好显著结果导致大量结论失效，后来靠预注册、更严谨的统计才挽回信任

团队和运行环境

• 需要两类人：方法专家负责抽样、评分和分析，领域专家（心理学、生物、政治学等）定义什么算伤害、哪些是边界案例
• 缺了任何一方都会出问题：要么技术严谨但测不到关键风险，要么领域深入但只覆盖一小部分行为
• 评测通常要关掉模型的安全防护来测基线，因此必须在无外网的沙箱里跑，并实时监控，发现异常立即中止；Anthropic 自己出过事故后暂停了大量给模型联网的评测

先想清楚要回答什么问题

• 观测性设计只能告诉你两个模型分数不同，回答不了为什么
• 因果性问题（比如「改 system prompt 是否让模型更安全」）必须一次只变一个变量
• 先确定问题是观测型还是因果型，再决定评测设计

拒答率是个坏指标

• 对诈骗、钓鱼类请求，拒答率有意义；但对自杀自残相关对话，一拒了之本身就是失败
• Anthropic 改用多轮评测报告「恰当回应率」：按领域专家制定的 rubric 逐轮打分，任何一轮出问题整段对话判不及格
• 以用户福祉为例，恰当回应包括：对风险披露给予支持、不讨论具体方法细节、在合适时机引导到危机资源、不把自己当成危机热线的替代品

双用途领域：帮合法的，扣有害的

• 生物和网络安全大量问题天然双用途：同一个问题可能用于研发疫苗也可能用于增强病原体
• 恰当回应不是一刀切拒绝，而是回应合法版本、扣住能带来真实 uplift 的操作细节
• 每个风险领域单独建 rubric，因为「恰当」的定义各不相同

成对提示防过度拒答

• 单轮评测把有害请求和无害请求配对放进同一领域：比如化学领域里，神经毒剂配方（应拒绝）对比历史化学事故提问（应回答）
• 目标是同时提高「无害回应率」、降低「误拒率」
• 哪些请求算有害、哪些算无害，尤其是边界案例，需要领域专家来判断