Claude 与 Skill
AI 内容像 slop 不是模型的锅:围绕 Claude Code 搭的五道质检关卡
作者认为现在大多数 AI slop 出在流程而不是模型:一次 prompt、没有事实依据、没有检查就直接发布。他分享了围绕 Claude Code 搭建的五个降 slop 手段,从事实文件、确定性文本检查到人工审批队列和评测集,都是读完就能照搬的做法。
今天就能做
- 把产品事实整理成一份 facts 文件,并在系统 prompt 里规定'文件里没有就说不知道'
- 写一个不调模型的确定性检查脚本,先拦 emoji、占位符和 AI 高频词
- 给无人值守的 agent 配权限白名单,而不是事后补救
事实写进文件,不塞进 prompt
- 每个工作流都读同一份 facts 文件:卖什么、价格、不做什么
- 系统 prompt 里只加一条规则:文件里没有的就直说不知道
- 作者称上线当天,'AI 编造功能'类问题基本消失
给文字也上一个 linter
- 在人工看到草稿前,先用确定性检查器拦截并告知 agent 原因
- 拦截项包括:emoji、未填的占位符如 [CLIENT NAME]
- 还有 AI 高频词(delve、seamless、game-changer、unlock 等)、平台字数不符、语言错误、缺链接
- agent 修复后重新提交,全程不需要调用模型,但拦截效果超出预期
模型二审加人工终审
- 通过 linter 的内容先由模型按品牌规则快速复审
- 然后进入审批队列,任何内容(帖子、邮件、客户文件)在有人点 Approve 前不会发出
- 拒绝必须写理由,agent 下次能看到这些理由
每个工作流配一套评测
- 每个工作流附带测试用例:一个输入,加上好输出必须包含和必须不包含的内容
- 上线前由模型打分,作者内部评测集有 345 个用例
- 改 prompt 时重跑评测集,而不是靠肉眼对比两个例子
无人值守的 agent 用白名单
- 权限用 allowlist 而不是 denylist:如 Bash(ourcli:*)、Read/Edit(./work/**)
- deny 掉 sudo、curl、npm install、pip install 等危险命令
- 配合 --permission-mode dontAsk 运行,作者认为这不够聪明但更容易信任
原文:AI slop isn't a model problem. It's what you get when nothing checks the output before it ships.
来源:DEV Community · 2026-11-17
查看原文本文由 AI 阅读原文后整理,未经人工逐字核对,内容以原文为准。
登录后可以点赞、查看和发表评论