BlackHalo logo
Published on

“Astra 读写权重改进 Qwen”为何有误导性

Authors
  • Name
    syllogism
    honnibal.dev
人工神经网络权重与代码实验的概念示意图
头图来源: 来源页面

核心争议:把不同技术包装成同一种能力

文章开头用魔术师作类比:同一场表演里,魔术师可能每次换一种手法,观众却以为只有一种技术,于是每次表演都像是在推翻上一次的猜测。作者认为,Astra 的相关实验也有类似效果。原帖摘要给人的印象是:GPT-6 Astra 仅看原始权重就能判断网络训练目标,能从零写出小游戏网络,还能在无梯度条件下修改 Qwen3.5-0.8B 的 0.016% 权重,把 MATH-500 从 7.9% 提升到 48.1%,并让 IFEval 提升 3 倍。这些结果被放在同一叙事下,容易让读者以为存在一种统一的“直接读写权重”能力。

实验拆解:哪些真的只读原始权重

作者按实验规模、是否读取原始权重、是否写入权重、是否使用 Python、是否运行网络逐项拆解。真正符合“原始浮点数放进上下文、无工具、不运行网络”的,只有实验 1、2、4,网络规模在 1.7 万到 17.2 万权重之间。实验 1 判断 PPO 训练的 MLP 玩的是哪个游戏,4/4 正确;实验 2 判断扩散 MLP 生成的形状,3/3 正确;实验 4 修复卡住的 Kinetix 汽车策略,读取并写入权重,还给定一段失败记录,一次尝试改动 3.5% 的权重,成功率从 0% 到 100%。这些结果都发生在小网络上,不能直接外推到 8 亿参数的语言模型。

Qwen 结果:Python、运行模型与练习数据

涉及真实语言模型的实验都使用了 Python。实验 3 判断字符 transformer 的语言与复制头,规模 7.2M,不读原始权重但写 Python;实验 5 从零写 MinAtar 游戏 MLP,权重从零开始,没有可读内容;实验 6 写 9×9 Go 网络,写 Python 并运行网络 0 到 50 轮;实验 7a 识别 Gemma 3 270M 的谄媚行为失败,7b 改为看注意力模式后 3/3 正确;实验 8 修 Qwen3.5 数学,800M 参数,不读原始权重,写 Python,并运行模型最多 50 批练习;8b 在 Gemma 3 270M 上用同样方法失败。Qwen 的 0.016% 权重修改和 MATH-500 提升是真实结果,但它不是“只看原始权重”完成的,而是模型被提示去设计并执行人类机器学习工程师可做的任务:写代码分析权重、修改权重、跑模型、看反馈。

为什么这种包装会误导

作者并不否认能力进步。能设计并执行这些任务并不简单,一两年前的 AI 模型很可能全部失败。但把“直接读权重”和“用 Python 改权重”混在同一篇里,会暗示存在一种统一技术,既能从零写出小游戏权重,又能理解并改进大网络。实际上并不是单一技术。若真有一种方法同时做到这两件事,才意味着更深层的能力。现在读者看到的是“格式塔”错觉:不同实验各自成功,却被叙述成同一种能力。作者建议,Qwen 等使用 Python 的实验应与直接读权重的实验分开呈现。

评价与启示

对读者而言,看到 AI 能力声明时,要区分输入模态、工具使用、是否运行模型、是否获得反馈以及模型规模。对研究者而言,基准应明确“原始权重访问”“代码执行”“环境交互”“训练数据”等边界。对传播而言,标题和摘要不应把不同实验合并成单一突破。文章不是否定 Astra 的全部结果,而是反对误导性归因。Qwen 数学提升值得关注,但更准确的表述是“模型能编写并执行权重分析与修改程序,并在练习反馈中迭代”,而不是“仅凭原始权重读写”。这也提醒我们,评估大模型能力时,实验协议和叙事边界与分数同样重要。

原标题:The 'Astra can read and write weights to improve Qwen' post is misleading。 HN 原始发布时间:2026年11月3日星期二。当前记录为 933 分、196 条评论。

阅读原文 · 查看 HN 讨论