事件追踪已归档
Base Labs 质疑在线自蒸馏研究价值
首次报道 最新进展 2 篇报道，2 个来源
事件综述根据 2 篇报道整理，11月7日更新
Baseten 旗下 Base Labs 在 11 月 6 日的研究更新中称，在线自蒸馏（OPSD）在部分场景仍有用，但不值得继续投入研究。 其理由是：带提示的教师模型已知答案，无需回溯或保留余地，这种稠密监督主要引入偏差，相当于用干净但有偏的信号替换噪声大但方向正确的奖励。该结论来自 Base Labs 的研究分析，并非实验复现结果。 Base Labs 同时引用文献称，OPSD 在 Qwen3-8B 数学任务上 100 次更新后可追平并超过 GRPO，但在留出编程问题上 SDPO 于 Qwen3-8B 下降 2.5 分、Olmo-3-7B-Instruct 下降 9.9 分。
综述由模型根据报道生成，细节以各篇原文为准。
进展时间线
北京时间，最早在上Baseten 工程博客分析在线自蒸馏的教师偏差
阅读这篇报道
全部报道
2 篇，点开看摘要为何 on-policy 自蒸馏不是持续学习的万能解
Base Labs 在 11 月 6 日的研究更新中论证，on-policy 自蒸馏（OPSD）虽在部分场景仍有用，但不值得继续投入研究。作者指出，带提示的教师模型已知答案、无需回溯或保留余地，这种稠密监督主要引入偏差，等于用干净但有偏的信号换掉噪声大但方向正确的奖励。
阅读这篇报道在策略自蒸馏（OPSD）的偏差问题
在策略自蒸馏（OPSD）用带额外上下文（如标准答案）的同一模型作教师，理论上可提供逐 token 的稠密监督，但该监督主要引入偏差而非有效信息。文献显示，OPSD 在 Qwen3-8B 数学任务上 100 次更新后可追平并超过 GRPO，但在留出编程问题上 SDPO 于 Qwen3-8B 下降 2.5 分、Olmo-3-7B-Instruct 下降 9.9 分。
阅读这篇报道