MIT 团队让 GPT-6 Astra 直接改写小模型权重
事件综述根据 6 篇报道整理,11月4日更新
MIT CSAIL 博士生 Rikiya Takehi 及团队提出“权重空间编程”:让 GPT-6 Astra 在可读写模型权重的 Python 环境中直接修改 Qwen3.5-0.8B 的权重,不计算梯度、不重新训练。据其博客,实验仅调整约 0.016%(131072 个)参数,在允许 50 轮前向推理的条件下,MATH-500 从 7.9% 升至 48.1%,GSM8K 从 13.8% 升至 67.1%,IFEval 从 21.0% 升至 62.3%。 团队据此称,权重空间编程能消除模型已有能力发挥的障碍,但不一定能凭空创造原本不具备的能力;IT之家也指出实验并非完全没有计算过程。The Decoder 报道补充,在很少陷入推理循环的 Gemma 3 270M 上,Astra 未能带来可测量的提升,团队承认能力仍有限;实验日志已发布在 GitHub,修改后的 Qwen 模型在 Hugging Face 上。 上述数字均来自团队博客及 alphaXiv 转述,尚无独立复现或对比数据公开。
综述由模型根据报道生成,细节以各篇原文为准。
进展时间线
北京时间,最早在上The DecoderGPT-6 Astra直接编辑小模型权重提升数学能力
阅读这篇报道
全部报道
6 篇,点开看摘要GPT-6 Astra 通过权重直接改写其他 AI 模型
研究人员让 GPT-6 Astra 直接读取和生成神经网络的原始权重,并把这一做法称为 Weight-Space Programming。
阅读这篇报道LLM 可直接读写神经网络权重,Weight-Space Programming 提出免梯度训练路径
Takehi 等人提出 Weight-Space Programming,让前沿 LLM 从自然语言目标出发直接检查和编辑神经网络权重张量,不依赖梯度下降或训练循环。
阅读这篇报道MIT CSAIL 提出权重空间编程:GPT-6 Astra 改 Qwen3.5-0.8B 约 0.016% 权重,MATH-500 成绩升至 6 倍
MIT CSAIL 研究者提出「权重空间编程」,让 OpenAI 的 GPT-6 Astra 直接读取并修改 Qwen3.5-0.8B 的神经网络权重,仅调整约 0.016%(131072 个)参数,就使该模型在 MATH-500 上的成绩从 7.9% 提升至 48.1%,GSM8K 从 13.8% 提升至 67.1%,IFEval 从 21.0% 提升至 62.3%。
阅读这篇报道MIT CSAIL 团队提出权重空间编程,GPT-6 Astra 直接改写 Qwen3.5-0.8B 权重提升数学能力
MIT CSAIL 博士生 Rikiya Takehi 及团队提出“权重空间编程”,让 GPT-6 Astra 直接读写神经网络权重,不训练也不算梯度。据其博客介绍,实验只改动 Qwen3.5-0.8B 约 0.016% 的权重,MATH-500 从 7.9 升到 48.1,GSM8K 从 13.8 升到 67.1,并称修复了该模型的推理循环、指令遵循提升 3 倍。
阅读这篇报道MIT 博客:GPT-6 Astra 直接编辑 Qwen3.5-0.8B 权重,MATH-500 从 7.9% 升至 48.1%
alphaXiv 转述 MIT 的一篇博客,称 GPT-6 Astra 能在不计算梯度、不重新训练的情况下直接读取并编辑 Qwen3.5-0.8B 的权重,使其 MATH-500 成绩从 7.9% 提升到 48.1%。
阅读这篇报道GPT-6 Astra 直接改写模型权重
Astra 不断让我惊叹 🤯
阅读这篇报道