SciΠvot科研判断基准发布

事件综述根据 1 篇报道整理，10月16日更新

马里兰大学等机构研究者发布 SciΠvot，一个基于人类纠偏的 248 例科学判断基准，取材于资深研究者六个月内对 26 个项目、覆盖六个科学领域的 LLM 智能体研究判断进行干预纠正的记录。 在带项目记录、中等推理强度下，模型系统性地偏好 LLM 原始方案而非人类修正方案；五个前沿模型中有四个在所选案例上低于随机水平。项目条件下最高准确率为 63.5%，而新研究者为 73.4%；中等强度下每个模型带项目记录的准确率都低于不带记录时，重新考虑也不能稳定提升整体准确率。 完整 248 例题目、两个选项原文和参考答案已在 SciΠvot 仓库发布，采用允许研究和训练使用的开放许可，提供 JSON 和纯文本格式；单模型响应日志不在本次发布中，冻结的项目记录因过大将后续在同一仓库发布。

综述由模型根据报道生成，细节以各篇原文为准。