字节Seed提出Recycler隐状态回收架构

事件综述根据 1 篇报道整理，10月25日更新

字节跳动Seed提出Recycler架构：把上一token的顶层隐藏状态经轻量适配器与当前token嵌入相加后送入下一步，在保留离散token路径的同时增加一条连续反馈通路。字节Seed称，其自回归解码开销与标准Transformer大致相同，但训练成本是标准模型的2倍，预填充计算量也翻倍。 字节Seed还称，另有一种改进方案只增加3.3%训练成本，就完全解决了Recycler的外推问题。上述结果来自字节Seed自己的论文，尚未见独立复现。

综述由模型根据报道生成，细节以各篇原文为准。