Tampered ML 基准评估大模型识别研究缺陷

事件综述根据 1 篇报道整理，10月26日更新

Soroush Ebadian 等作者提出名为 Tampered ML 的基准，用于评估大语言模型能否判断机器学习研究方案中的方法学缺陷。该基准包含 1,858 个条目对，每对由两部分组成：一部分是从已发表机器学习论文重构的实验方案，另一部分是引入特定方法缺陷的最小改动反事实版本；模型需要在两种呈现顺序下判断哪个方案在方法上更可靠。 该基准以 arXiv 预印本形式发布，目前尚无已发表或复现的评估结果，因此大模型在该任务上的实际表现尚不清楚。

综述由模型根据报道生成，细节以各篇原文为准。