事件追踪已归档

Meta提出循环MoE缩放定律

首次报道 10-28最新进展 10-281 篇报道，1 个来源

事件综述根据 1 篇报道整理，10月28日更新

Meta研究者提出Loop Scaling Laws，用于在给定算力和内存预算下预测循环Transformer的最优循环次数与专家数量。在万亿token规模上，1.3B循环MoE以相近训练算力达到2.9B非循环MoE的推理性能，参数效率约提升2倍。该结果由研究者自行报告，尚未见独立复现。

综述由模型根据报道生成，细节以各篇原文为准。

北京时间，最早在上

1 篇，点开看摘要

10-28 19:33Meta 提出循环 MoE 扩展定律，1.3B 媲美 2.9BalphaXiv预印本未入选

Meta 研究者提出 Loop Scaling Laws，可在给定算力和内存预算下预测循环 Transformer 的最优循环次数与专家数量。在万亿 token 规模上，1.3B 循环 MoE 以相近训练算力达到 2.9B 非循环 MoE 的推理性能，参数效率约提升 2 倍。