FLAWS基准：713组论文错误评测大模型

事件综述根据 1 篇报道整理，10月23日更新

威斯康星大学麦迪逊分校与卡内基梅隆大学等机构的研究者提出 FLAWS 基准，包含 713 组论文与错误配对，用于评测大模型能否识别并定位论文中会推翻核心结论的错误。基准从 2025 年 ICML 录用论文出发，用 Gemini 2.5 Pro 和 GPT 5 插入错误并经多步过滤，再让模型在编译后的 PDF 中按重要性排序输出至多 10 段候选错误文本。 研究者称，在参与评测的五个前沿模型中，GPT 5 表现最好：当 k=10（即模型输出排名前 10 的候选错误文本）时，识别准确率为 39.1%。目前该数据集只覆盖 ICML 2025 的论文，主要集中于人工智能与机器学习领域。代码和数据集已公开。

综述由模型根据报道生成，细节以各篇原文为准。