Ai2 在 COLM 2026:从 Olmo Hybrid 到科研智能体 Asta 的开放研究
Ai2 在 COLM 2026 展示了 Olmo Hybrid 研究,该架构将注意力与线性循环层结合,在 MMLU 上以少 49% 训练 token 达到 Olmo 3 7B 的同等准确率,并已用于正在预训练的新一代 Olmo 混合专家模型。
按时间排列的全部内容。默认只显示通过双重评分的入选条目;切换到“全部收录”可以检索所有抓到的资料。
65 条收录动态,更新于 03:33
全部收录包含没有通过评分的资料,标题以常规字体显示并标为“未入选”,只供检索,不写入选理由。
Ai2 在 COLM 2026 展示了 Olmo Hybrid 研究,该架构将注意力与线性循环层结合,在 MMLU 上以少 49% 训练 token 达到 Olmo 3 7B 的同等准确率,并已用于正在预训练的新一代 Olmo 混合专家模型。
Ai2 宣布其 Bolmo 字节级语言模型研究已发表于 Nature,并在 Hugging Face 发布新检查点,把 byteifying 方法从 Olmo 扩展到其他模型家族。
入选理由Ai2 公开了把子词模型转换为字节级模型的 byteifying 流程与检查点,研究者可据此评估字节级路线能否替代固定词表方案。
Ai2 开源 AstaBrief 8B,一个把研究问题和检索到的文献片段转成带引用报告的模型,已在 Asta 的 Generate a report 功能中作为 Fast mode 上线,与 Claude 驱动的 Thinking mode 并列。
入选理由Ai2 公开了报告生成模型的权重、训练数据与本地部署工作流,研究者可据此评估自建文献综述流程的可行性。
Ai2 发布 Olmo-core 3,这是其大语言模型开发框架的一次重大升级,重新设计了开放的混合专家(MoE)训练系统,目标是把 MoE 训练扩展到万亿参数规模并保持计算效率。
入选理由Ai2 开放了面向万亿参数 MoE 的训练框架,学术研究者和小型实验室可据此评估自建大模型训练的门槛。
美国东北大学硕士生 Soham Padia 基于 Ai2 的 Olmo 3-32B 开发了 Steering Arena,把衡量文本引导模型亲社会行为的评测变成众包游戏,玩家提交短文本前缀争夺排行榜。