学习精选 · AI 工具
Claude 与 Skill

AI 内容像 slop 不是模型的锅:围绕 Claude Code 搭的五道质检关卡

DEV Community2026-11-17约 2 分钟读完AI 整理查看原文

作者认为现在大多数 AI slop 出在流程而不是模型:一次 prompt、没有事实依据、没有检查就直接发布。他分享了围绕 Claude Code 搭建的五个降 slop 手段,从事实文件、确定性文本检查到人工审批队列和评测集,都是读完就能照搬的做法。

今天就能做

  • 把产品事实整理成一份 facts 文件,并在系统 prompt 里规定'文件里没有就说不知道'
  • 写一个不调模型的确定性检查脚本,先拦 emoji、占位符和 AI 高频词
  • 给无人值守的 agent 配权限白名单,而不是事后补救

事实写进文件,不塞进 prompt

  • 每个工作流都读同一份 facts 文件:卖什么、价格、不做什么
  • 系统 prompt 里只加一条规则:文件里没有的就直说不知道
  • 作者称上线当天,'AI 编造功能'类问题基本消失

给文字也上一个 linter

  • 在人工看到草稿前,先用确定性检查器拦截并告知 agent 原因
  • 拦截项包括:emoji、未填的占位符如 [CLIENT NAME]
  • 还有 AI 高频词(delve、seamless、game-changer、unlock 等)、平台字数不符、语言错误、缺链接
  • agent 修复后重新提交,全程不需要调用模型,但拦截效果超出预期

模型二审加人工终审

  • 通过 linter 的内容先由模型按品牌规则快速复审
  • 然后进入审批队列,任何内容(帖子、邮件、客户文件)在有人点 Approve 前不会发出
  • 拒绝必须写理由,agent 下次能看到这些理由

每个工作流配一套评测

  • 每个工作流附带测试用例:一个输入,加上好输出必须包含和必须不包含的内容
  • 上线前由模型打分,作者内部评测集有 345 个用例
  • 改 prompt 时重跑评测集,而不是靠肉眼对比两个例子

无人值守的 agent 用白名单

  • 权限用 allowlist 而不是 denylist:如 Bash(ourcli:*)、Read/Edit(./work/**)
  • deny 掉 sudo、curl、npm install、pip install 等危险命令
  • 配合 --permission-mode dontAsk 运行,作者认为这不够聪明但更容易信任

原文:AI slop isn't a model problem. It's what you get when nothing checks the output before it ships.

来源:DEV Community · 2026-11-17

查看原文

本文由 AI 阅读原文后整理,未经人工逐字核对,内容以原文为准。

登录后可以点赞、查看和发表评论