Claude 与 Skill
给 Claude Code 加记忆到底有没有用?63 次实测给出答案
作者为自己的开源记忆工具 Mnemolith 做了一组对照实验:同一个代码库、7 个任务、各跑 3 次,分别用无记忆、CLAUDE.md 和 Mnemolith 三种配置。结果差距明显:无记忆只对 9/21,CLAUDE.md 18/21,Mnemolith 全对,而单任务成本几乎一样。
今天就能做
- 如果你的 Claude Code 项目里藏着只有老成员才知道的规则和决策,把事实写进 CLAUDE.md 是零成本的第一步,实测就能把正确率从 9/21 提到 18/21
- 跨会话才用得到的信息(比如早前聊过的配置地址)靠 CLAUDE.md 容易漏,考虑用能自动保存和召回的记忆工具
- 小仓库里不用纠结记忆过期标记,Claude 自己能发现代码变化;大仓库才需要关注这个机制
实验怎么设计的
- 在同一个示例代码库里挑 7 个任务,每个任务在三种配置下各跑 3 次,共 63 次运行,用 Claude Opus 5.5 执行
- 任务都依赖只有队友才知道的信息:历史决策、代码归属、对合作方的承诺、业务规则,其中两个需要用到更早会话里提过的事实
- 每次运行由自动检查打分,避免主观判断
三种配置的差距
- 无记忆:21 次只对 9 次,每次都会改别的团队的代码、动被冻结的合作方 API、跳过退款审批流程
- CLAUDE.md 写入同样的事实后提升到 18/21,但漏掉了一个只在早前会话里提过的数据库地址
- Mnemolith 21/21 全对,因为它自己保存了跨会话的事实并在下次自动用上
- 三种配置的单任务平均成本几乎相同(约 $0.121–0.125),说明记忆带来的提升不靠多花钱
一个反直觉的发现
- Mnemolith 的核心设计是把记忆绑定到依赖的文件,文件变了就标记为可能过期
- 但在小仓库里这个标记没改变任何结果:Claude 自己读代码就能发现变化
- 作者推测这个机制在大仓库才真正有价值,但还没验证,这是下一轮评估的目标
团队共享记忆的初步尝试
- 新功能把记忆以纯 Markdown 文件存在仓库里,走 PR 评审流程
- GitHub Action 会在 PR 让某条记忆过期时自动留言提醒
- 小团队测试中团队记忆 4/4 全对,共享 CLAUDE.md 只对 3 个,但每个任务只跑了一次,只能算方向性信号
怎么自己验证
- 工具完全本地运行,不需要账号或 API key,MIT 协议开源
- 可以用自己的 Claude Code 订阅重跑整套评估,复现结果
原文:I tested whether memory actually helps Claude Code. Here's what happened.
来源:DEV Community · 2026-11-20
查看原文本文由 AI 阅读原文后整理,未经人工逐字核对,内容以原文为准。
登录后可以点赞、查看和发表评论