Ai2 的 Bolmo 字节级语言模型研究发表于 Nature,并开源新检查点
Ai2 宣布其 Bolmo 字节级语言模型研究已发表于 Nature,并在 Hugging Face 发布新检查点,把 byteifying 方法从 Olmo 扩展到其他模型家族。
入选理由Ai2 公开了把子词模型转换为字节级模型的 byteifying 流程与检查点,研究者可据此评估字节级路线能否替代固定词表方案。
按时间排列的全部内容。默认只显示通过双重评分的入选条目;切换到“全部收录”可以检索所有抓到的资料。
64 条收录动态,更新于 23:08
全部收录包含没有通过评分的资料,标题以常规字体显示并标为“未入选”,只供检索,不写入选理由。
Ai2 宣布其 Bolmo 字节级语言模型研究已发表于 Nature,并在 Hugging Face 发布新检查点,把 byteifying 方法从 Olmo 扩展到其他模型家族。
入选理由Ai2 公开了把子词模型转换为字节级模型的 byteifying 流程与检查点,研究者可据此评估字节级路线能否替代固定词表方案。
Ai2 开源 AstaBrief 8B,一个把研究问题和检索到的文献片段转成带引用报告的模型,已在 Asta 的 Generate a report 功能中作为 Fast mode 上线,与 Claude 驱动的 Thinking mode 并列。
入选理由Ai2 公开了报告生成模型的权重、训练数据与本地部署工作流,研究者可据此评估自建文献综述流程的可行性。
Ai2 发布 Olmo-core 3,这是其大语言模型开发框架的一次重大升级,重新设计了开放的混合专家(MoE)训练系统,目标是把 MoE 训练扩展到万亿参数规模并保持计算效率。
入选理由Ai2 开放了面向万亿参数 MoE 的训练框架,学术研究者和小型实验室可据此评估自建大模型训练的门槛。
美国东北大学硕士生 Soham Padia 基于 Ai2 的 Olmo 3-32B 开发了 Steering Arena,把衡量文本引导模型亲社会行为的评测变成众包游戏,玩家提交短文本前缀争夺排行榜。