Ai2发布LLM新颖性评审基准与评测结果
事件综述根据 3 篇报道整理，10月28日更新
Ai2 发布研究《Old Ideas, Novel Problems》，考察大语言模型能否可靠评判科研想法的新颖性，并公开基准、数据、代码及一条可自动构建新评测集的流水线。Ai2 称，评测显示即便是前沿模型，对相似想法也会因被要求评估的方式不同而得出不同结论。 基准的“高新颖性”池含 154 条人工撰写想法，取自 ICLR 各领域评分前 10% 的录用论文，评审明确肯定其新颖性且无人异议；“较低新颖性”池含 145 条想法，按相反标准取自评分后 10% 的拒稿论文。Ai2 称生成想法的新颖性被假定低于人工撰写想法，这些只是弱标签，并非逐条核实。 相关代码已在 GitHub 的 allenai/novelty-eval 仓库公开。
综述由模型根据报道生成，细节以各篇原文为准。
进展时间线
北京时间，最早在上Hugging Face BlogAi2发布新颖性评审基准研究
阅读这篇报道
全部报道
3 篇，点开看摘要Ai2 评测：大语言模型判断科研想法新颖性会随提问方式改变结论
Ai2 发布一项评测，考察大语言模型判断 AI 生成科研想法是否新颖的能力，发现即便是前沿模型，对相似想法也会因被要求评估的方式不同而得出不同结论。相关代码已在 GitHub 的 allenai/novelty-eval 仓库公开。
阅读这篇报道Ai2 研究：大语言模型能否可靠判断科研想法的新颖性
Ai2 发布研究 Old Ideas, Novel Problems，测试大语言模型作为新颖性评判者（novelty judge）是否可靠，并公开基准、数据和代码及可自动构建评测集的流水线。
入选理由Ai2 用 ICLR 2026 审稿意见构建新颖性评测集，显示同一批想法在提示词微调下判定大幅翻转，为使用 AI 评估科研构思的团队提供了可复用的测试工具。
阅读这篇报道Ai2 发布 Old Ideas, Novel Problems 研究：LLM 判断科研构思新颖性是否可靠
Ai2 发布 Old Ideas, Novel Problems 研究，测试大语言模型能否可靠评估科研构思的新颖性，并同步公开基准、数据、代码和可复用的评测集构建流程。
入选理由Ai2 用 ICLR 2026 审稿意见构建基准，量化了 LLM 判断科研构思新颖性时对提示词和模型选择的敏感程度。
阅读这篇报道