笔记本上的 Qwen 3.8 27B 也能读懂模型权重：一次可复现的实测

Simon Willison 用论文《Sparks of Weight-Space Programming》里的公开 prompt，在本地 LM Studio 跑 Qwen 3.8 27B，只给浮点权重、不给任何工具，让它猜网络训练的是哪款游戏。Pac-Man、Pong、Breakout 三题答对，Freeway 答错，单题耗时 46 分钟到 1 小时。

论文在说什么

• 论文提出 Weight-Space Programming：让 LLM 直接阅读和修改神经网络的原始权重（一串浮点数），不写训练循环、不做梯度更新。
• 作者称 GPT-6 Astra 仅凭权重就能判断网络训练目标，还能从零写出小游戏网络，击败用 PPO 训练 1 亿步的网络。
• 另一个例子是 Astra 直接改动 Qwen3.5-0.8B 约 0.016% 的权重，修掉导致推理循环的问题，MATH-500 从 7.9% 升到 48.1%，IFEval 提升 3 倍。
• spaCy 作者 Matthew Honnibal 批评论文把“无工具读权重”和“有代码辅助改模型”两件事混为一谈；Sean Goedecke 也拆解了那个改权重案例，认为步骤与人类研究员一致。

可复现的测试方法

• 论文配套仓库 RikiyaT/lm_understand-logs 的 exp1_which_game 目录下，有 Breakout、Pong、Pac-Man、Freeway 四个 prompt.txt，除权重外内容完全相同。
• prompt 要求模型只凭权重判断游戏，明确禁止代码执行、计算器或任何工具，且只允许一次回答。
• 作者用 llm 命令行工具的 -f 参数直接拉取 GitHub 上的 prompt 文件作为输入，配合 llm-openrouter 或 llm-lmstudio 插件调用模型。
• 本地跑 Qwen 3.8 27B 需要把 LM Studio 的上下文窗口调大，默认 8192 会报错；还要用 LMSTUDIO_TIMEOUT 环境变量把超时拉长。

本地实测结果

• Qwen 3.8 27B 约 17GB，在笔记本上跑 Pac-Man 题用了 46 分 12 秒、43,506 个推理 token，给出 72% 置信度的正确答案。
• Pong 题耗时 1 小时 4 分 54 秒，置信度 75%；Breakout 题 52 分 25 秒，置信度 88%，都答对了。
• Freeway（1981 年 Atari 2600 游戏）答错，模型把它误判成 Pac-Man 类网格游戏，作者认为这款游戏本身太冷门。
• 作为对比，Kimi K3.1 Pro 通过 OpenRouter 答对 Breakout 用了 9 分 41 秒、19,493 个推理 token。
• 推理过程几乎不可读，是大量“第几行第几通道数值多大”的自我对话，作者认为有经验的真人拿纸笔慢慢推也能做到。

该怎么看这件事

• 作者把论文拆成两个问题：模型不借助工具能读懂权重到什么程度，以及模型带代码后能多好地改模型，后者更接近常规的 AutoML 工作流。
• 本地 27B 模型能完成这类任务，说明“读权重”不是只有前沿闭源模型才有的能力，但耗时以小时计，实用性有限。
• 作者不认同“源码时代结束、未来是机器自己改自己权重”的夸张解读，认为现有证据撑不起这个结论。