Gated DeltaNet 长序列泛化能力获证明
在 StateBench 最难级别上,灵活的 Gated DeltaNet 处理的序列长度约为训练中所见序列的 10 倍。 我们的新证明表明,即使特征值非负的 Gated DeltaNet,也能在带舍入的固定精度算术下解决某些周期性任务。
按时间排列的全部内容。默认只显示通过双重评分的入选条目;切换到“全部收录”可以检索所有抓到的资料。
65 条收录动态,更新于 03:33
全部收录包含没有通过评分的资料,标题以常规字体显示并标为“未入选”,只供检索,不写入选理由。
在 StateBench 最难级别上,灵活的 Gated DeltaNet 处理的序列长度约为训练中所见序列的 10 倍。 我们的新证明表明,即使特征值非负的 Gated DeltaNet,也能在带舍入的固定精度算术下解决某些周期性任务。
Ai2 发布 StateBench,供研究者测试新模型、扩展其工作并构建更好的状态追踪数据。数据集已在 Hugging Face 开放下载,详情见 Ai2 博客。
得克萨斯农工大学等机构的研究者提出 UnderSpec-DR 框架,系统评估用户查询欠明确如何影响深度研究代理的最终答案质量与中间检索行为。
Ai2 发布 olmOCR 2,可将文档图像转换为可检索文本,并开放模型权重与代码,研究者可在本地运行或针对自有馆藏做适配。推文提到两个历史与考古研究项目,用来说明这一能力可以支持哪些工作。
Ai2 介绍研究者如何基于开源模型 olmOCR 2 处理历史与考古档案。历史学家 Maurice Casey 在本地运行 olmOCR 2,构建 ArtificeOCR 并接入 Tropy,使自 2019 年以来积累的档案照片可关键词检索,同时避免把档案材料上传第三方;他也报告模型在训练数据覆盖较少的语言手写体上会出现错误。
入选理由两个团队分别把 olmOCR 2 用于历史手稿与考古陶器记录,给出了可复现的本地部署与微调路径,适合处理受限档案的研究者参考。
Ai2 发布一项评测,考察大语言模型判断 AI 生成科研想法是否新颖的能力,发现即便是前沿模型,对相似想法也会因被要求评估的方式不同而得出不同结论。相关代码已在 GitHub 的 allenai/novelty-eval 仓库公开。
Ai2 发布 Old Ideas, Novel Problems 研究,测试大语言模型能否可靠评估科研构思的新颖性,并同步公开基准、数据、代码和可复用的评测集构建流程。
同一新闻,精选展示《Ai2 研究:大语言模型能否可靠判断科研想法的新颖性》
Ai2 发布研究 Old Ideas, Novel Problems,测试大语言模型作为新颖性评判者(novelty judge)是否可靠,并公开基准、数据和代码及可自动构建评测集的流水线。
入选理由Ai2 用 ICLR 2026 审稿意见构建新颖性评测集,显示同一批想法在提示词微调下判定大幅翻转,为使用 AI 评估科研构思的团队提供了可复用的测试工具。
一项预注册研究测量了四份公开训练数据集是否包含官方更正:在 EurlexResources 中,2,082 条可检验的欧盟法案单语更正里有 1,989 条(95.5%,94.6–96.3)仍以错误形式存在,随机抽取的 100 条中 46 条改变了含义、数字、交叉引用、主管机构或适用范围。
SciSpace 发布 Semantic Scholar API 指南,覆盖 Python 调用、API Key 申请与 Graph 端点用法。文档显示入门配额为每秒 1 次请求,匿名访问共享每秒 1000 次请求池;指南强调这是文档核对的操作示例,未做延迟或成功率基准测试。
Nathan Lambert 在哈佛 CS 2881R「AI 安全」的客座讲座视频发布,他判断开源模型落后闭源前沿约 3 到 5 个月且差距在缩小,中国开源模型在性能、下载量、论文引用上全面领先,美国开源模型又比中国落后 3 到 4 个月。他认为蒸馏被高估、不是关键问题,美国真正持久的优势是算力,前五家实验室总算力平均是中国前五家的 16 倍。
Nathan Lambert 哈佛讲座:开源模型现状全景,中国开源全面领先,但美国有 10 倍以上的算力优势;蒸馏不是关键问题 @natolambert 在哈佛大学 CS 2881R「AI 安全」的客座讲座,他认为:开源模型落后闭源前沿大约 3 到 5 个月,差距还在缩小。性能、下载量、论文引用这三方面,中国开源模型全面领先,美国开源模型又比中国落后 3 到 4 个月。核心判断有三点:把"蒸馏"当成核心问题是高估了;美国真正持久的优势是算力;禁止开源只会损害经济活动,挡不住坏人。 https://natolambert.com/slides/2026/harvard/lecture.html 什么是开源模型,许可证是关键 · 开源是一个光谱:从只开放权重(Llama、Qwen、DeepSeek、Kimi、GLM),到连数据和代码都开放的完全开源(OLMo、Pythia、SmolLM、Marin),Nemotron 处在中间。 · 宽松许可证:MIT(DeepSeek、GLM-5.2、MiMo),Apache 2.0(Qwen、gpt-oss、Gemma 4)。 · 自定义许可证带附加条件,并不算开源:营收门槛(Kimi K3、Muse Spark Open、MiniMax M3 的年营收门槛是 2000 万美元,GLM-5.3 超过 100 亿美元要做安全审查)、品牌露出要求、使用限制。这些条款大多还没有在法庭上检验过。 为什么要开源 支持开源的力量来自几个方向:资本(把互补品变成廉价商品)、科研和教育、防止权力集中、自由。按 Bill Gurley 的说法,开源也是"第二名的自然选择",用来抢市场和分发渠道、获得软实力。中国实验室集体走向开源,是为了在西方 AI 圈获得存在感;DeepSeek R1 之后,小米、美团、蚂蚁等也纷纷入场。企业用开源模型来"拥有自己的模型",例如 Harvey 在 Kimi K3 上做法律方向的后训练,全部通过率接近翻倍,成本基本不变。 竞争力 · 2026 年,1T 参数以下就算"小模型"了。新近的强模型:小米 MiMo-V2.6-Pro(总参数 1T、激活 42B,Artificial Analysis 指数 46)、DeepSeek V4.1 Flash(763B,45)、MiniMax M3.1 Flash(42,第三方测评低于官方宣传)。 · 关于"刷榜":中国模型确实更看重公开榜单,长尾能力也不如美国模型全面。但他花了半年时间,也没找到能证明头部开源模型(Kimi、GLM、DeepSeek)有明显缺陷的分析。 · 开源模型依然锚定着性价比的最优区间,不过闭源厂商现在也开始在这个区间竞争。 蒸馏之争(全篇最有观点的部分) · 训练分三个阶段:预训练、中期训练和 SFT、强化学习。蒸馏主要发生在 SFT 阶段,而现在强化学习消耗的算力已经超过预训练。 · 现在说的"蒸馏"其实是对抗性蒸馏:想办法从 API 里套取被隐藏的推理过程。中国不少实验室有专门的团队做这件事。 · 他认为不值得把它当成焦点:公开研究并没有显示用推理过程做 SFT 能带来巨大提升;没有好的政策手段可以只针对中国而不伤害全球开源生态;中国实验室本身就很强,"快速跟进"本来就比开拓前沿省算力。小米公开直播了 MiMo-V2.6 的强化学习训练(约 150 万次 rollout,花费 347 万美元),就是不只依赖蒸馏的证据。 · 真正持久的优势是算力:美国前五家实验室的总算力平均是中国前五家的 16 倍;到 2026 年底,Anthropic 和 OpenAI 各有 5 GW 以上的算力,而中国头部实验室最多只有 100 到 200 MW。 使用情况 开源模型的推理量快速增长,本地模型下载在加速;Hugging Face 日均独立用户约 60 万。性能相近时,美国模型的采用量是中国模型的 2 到 5 倍,说明市场对美国开源模型有需求。他扫描了 37 万篇 arXiv 论文,Qwen 被提到的次数已经接近 OpenAI 的 GPT。总结是:性能、下载、科研三方面中国都领先,推理和后训练市场也主要是中国模型。 风险与治理 · AI 驱动的网络攻击已经真实发生,而目前公开的案例主要是闭源模型(Claude Code、Codex)被滥用。 · 想禁止开源模型,在现实中做不到(美国不可能建起有效的"防火墙"),而且十多家实验室都能在前沿一年左右的水平上训练模型,结果只会抑制经济活动。不少关于开源风险的说法被夸大了(比如虚假信息),但深度伪造这类风险确实被加速了。 · 建议:发布方按每个模型评估它带来的"额外风险",并由国家统一风险标准,而不是让各家公司自己判断。开源模型对网络防御非常关键,因为公司的受信任访问项目没法覆盖整个经济。
我们在 #EMNLP2026,会议期间有多篇论文和报告。欢迎来打招呼,了解我们的最新研究!
Ai2 与宾夕法尼亚大学合作发布 LitPivot,该系统用 Asta Paper Finder 检索的论文,把研究提案拆成问题、贡献和评估方案三部分,围绕正在编辑的部分组织文献、给出带原文摘录的批评和可接受或拒绝的修改建议。
入选理由Ai2 把文献检索与科研构思的修订过程绑定,研究者可据此判断这类工具能否介入早期选题。
提出一个好的研究想法,意味着要了解已有工作确立了哪些结论、哪些空白仍然存在,以及你的贡献如何回应这些问题。 隆重介绍 LitPivot,它能在早期想法逐步演进的过程中呈现相关文献,帮助完善这些想法。 https://arxiv.org/abs/2604.02600
Ai2 与宾夕法尼亚大学合作推出 LitPivot,把研究提案拆成问题、贡献和评估方案三部分,围绕正在编辑的部分组织经 Asta Paper Finder 检索到的论文,给出附文献摘录的批评和可接受、编辑或拒绝的修订建议。
Ai2 发布地球观测基础模型家族 OlmoEarth v1.3,为全球每 10 米像素预计算嵌入,并新增可在浏览器中探索和自定义地图的工具。原文称这些嵌入为当前最优(state-of-the-art),完整说明见其后续推文串。
Ai2 发布 PLANTEUR,将作物类型制图基准 PASTIS 扩展到留尼汪、瓜德罗普、马提尼克、法属圭亚那、马约特和圣马丁六个热带地区,数据来自法国土地地块识别系统。
Ai2 发布 OlmoEarth v1.3 卫星嵌入模型,读取一年 Sentinel-1 雷达与 Sentinel-2、Landsat 多光谱时序,为全球每个 10 米像元生成 128 维向量,前 64 维可单独使用。
入选理由Ai2 公开了全球卫星嵌入、权重与预计算数据,地球观测研究者无需 GPU 即可用少量标注做地表分类与变化分析。
Ai2 发布 FairStress 基准,用于测量大语言模型在涉及人的决策中,除最终选择之外的群体公平性,并已开放下载、接入其评测工作台 Olmo-eval。该基准包含 29 个领域的 300 个双候选人决策场景,通过替换人口身份表述并施加对抗性前缀,扩展出超过 1300 万个测试用例,另提供基于项目反应理论筛选的 5 万条子集 FairStress-Core。
AI 初创公司 Goodfire 研究员 Nick Cammarata 在一篇 2.6 万字博客中提出,大语言模型内部机制可能远比此前认为的更容易理解,从而更易监控与控制。他称自己每天花约 10 小时观察神经元,重新分析 Inception v1 后认为此前对"叠加"现象的解读有误。斯坦福大学 Chris Potts 等研究者则认为这目前只是猜想,并未让问题变简单。
Ai2 发布 HiRO-ACEv2 系统,可在 3 公里分辨率下模拟全球极端天气,成本约为原来的三百分之一,同时其统计特征与 X-SHiELD 的偏差在 3% 以内,即使对百万分之一量级的稀有事件也是如此。模型已在 Hugging Face 开放(https://huggingface.co/allenai/HiRO-ACEv2)。
Ai2 发布 HiRO-ACE 系统的新版本 HiRO-ACEv2,其降尺度模型 HiROv2 可同时预测多种高分辨率变量,不再只限于降雨,并提升了对极端事件的预测能力。
入选理由Ai2 公布气候模拟系统更新,研究者可据此判断能否用低成本方式生成极端天气的高分辨率数据。
Ai2 发布 HiRO-ACE 系统的新版本 HiRO-ACEv2,其降尺度模型 HiROv2 可同时预测多种高分辨率变量,在给定粗化的 X-SHiELD 数据时,对极端降雨、风速和气压的高分辨率统计量误差在 3% 以内,并能估算热带气旋总能量。
Kai Van Brunt 将 Molmo 2——我们用于视频理解的开源模型——适配到了一个远超其训练数据的领域:鲑鱼的声呐视频。 认识 Molmo2Fish,这是一个可追踪鱼类、并能通过自然语言引导纠正部分错误的原型。🧵 https://allenai.org/blog/molmo2fish
很自豪能与 @UWProteinDesign 以及华盛顿大学的同事们一起支持蛋白质设计与药物发现领域的 AI 研究。
✨Introducing Prompteina: all-atom protein design directly from natural language✨ - Control diverse protein properties through a single text prompt - Higher predicted binding confidence than baselines - First experimentally validated de novo binders reported for GM2A 🧵
Ai2 开放发布视觉语言模型 Molmo 2,公开模型、代码与训练数据,MIT 毕业生 Kai Van Brunt 据此构建了适配声呐鲑鱼视频的 Molmo2Fish。微调后的 Molmo2Fish 在未接受纠正时表现与专用鱼类追踪系统大致相当,且能按自然语言指令自动修正部分追踪错误,但改善自身最强预测仍较困难。该模型仍是研究项目,尚未部署。
我们在 TutorMoments 上测试了包括 Astra 和 Opus 5.5 在内的前沿模型,该评测用于判断大语言模型是帮助学生自己解决问题,还是替他们做得太多。 总体而言,模型在详细提示下得分更高,而仅被告知“好好辅导”时得分较低。 https://tutormoments.allen.ai/
Aaron Tay 在测试一款 AI 学术检索系统时,通过 Chrome DevTools 记录浏览器网络流量,发现系统在语义检索环节并非直接嵌入用户原始查询,而是把原始查询与一段 LLM 生成的、类似相关文档的文本拼接后再生成嵌入。
#COLM2026 圆满落幕!感谢所有来到我们展位、参加我们的晚间聚会、与我们畅谈开放研究的朋友们。 回顾本周的论文、访谈与亮点。👇 https://allenai.org/blog/colm-2026-recap
Ai2 用包含 GPU 时间预算、分层公平份额分配和时间切片契约的系统替换了原有基于优先级的调度器,把各研究项目该分多少 GPU 时间的争论从逐案运维事务转为透明的行政预算流程。Ai2 管理着数千块 NVIDIA H100、B200 和 B300 GPU,集群规模从 88 到 1024 块不等,服务约 150 名内部研究者,提交的工作负载对 GPU 的需求常年是可用量的 2-3 倍。