AI科研智能体无依据数字多为错配而非编造

事件综述根据 2 篇报道整理，11月3日更新

Mosab Alfaqeeh等作者重新分析了AI科研智能体基准Into the Unknown的全部540条评审判断（覆盖9个智能体、15个开放研究问题），并人工标注18份投稿中的256条数字主张。结果显示，53条无依据主张中有47条属于错配——数字取自智能体自己的结果文件，但对应了错误的实验、指标或运行；仅6条在可用文件中找不到来源，加权后错配占比约81%。作者据此认为，这类问题主要是溯源错配，而非凭空编造。 作者同时发布了一个确定性溯源检查器，其运行规则在标注任何主张之前就已固定。对照盲审人工标注，该检查器认证的主张精度超过90%：85条被认证主张中78条可溯源，其中留出投稿为29条中27条，Cohen's κ=0.89；但它只覆盖一部分主张。作者称，多数未被其验证的主张仍被人工标注者判为可溯源，因此“未能验证”不应被视为造假的证据。 作者还比较了大语言模型验证器：在相同证据下，它能找回更多可溯源主张，但接受的错配主张约为前者的三倍，因此建议两者配合使用。全部代码、标注和衍生数据已公开。该研究为预印本，尚未见同行评审或独立复现。

综述由模型根据报道生成，细节以各篇原文为准。