TraceForge 以学生模型风格生成推理轨迹做蒸馏

事件综述根据 1 篇报道整理，10月22日更新

TraceForge 作者提出一种蒸馏数据生成方法：不依赖教师模型返回的隐藏推理，而是以题目上下文和教师答案为输入，按学生模型自身家族的风格生成推理轨迹，训练分监督与对抗两阶段。作者称在五个基准上固定其他条件测试，用同样的 5,000 道题和同样的教师答案，最终检查点 HumanEval+ 提升 3.7 分、MBPP+ 提升 7.1 分，且 MBPP+ 的领先在每个检查点都保持。 独立评审给出的真实性得分为：生成轨迹平均 0.68、真实轨迹 0.66、评审从四个候选中选出的轨迹 0.82。作者说明这些是真实性得分，不是正确率。

综述由模型根据报道生成，细节以各篇原文为准。