alphaXiv 介绍 BLD 训练法改善混合架构检索

事件综述根据 1 篇报道整理，10月31日更新

alphaXiv 在 X 上介绍了一篇论文提出的 Better Layer Division（BLD）训练方法：在混合架构中，循环层比注意力层更快学会检索，从而抑制了注意力层掌握同一能力；BLD 在训练早期暂时冻结循环层，迫使注意力层先学会检索，再让两部分共同训练。 据 alphaXiv 介绍，在 180M–1B 参数模型上，BLD 一致提升检索表现，750M 模型的 RULER 准确率从 26.53% 升至 32.82%，长上下文困惑度从 12.68 降至 8.08。上述结果来自该论文，alphaXiv 的帖子未说明其证据阶段。 BLD 针对的是混合架构中两类层学习检索的分工问题，目前公开信息仅覆盖 180M–1B 参数规模的模型测试。

综述由模型根据报道生成，细节以各篇原文为准。