跳到正文
事件追踪已归档

预注册研究:训练数据多未收录官方更正

首次报道 最新进展 1 篇报道,1 个来源

事件综述根据 1 篇报道整理,10月27日更新

Sébastien Gracia(Loxyn)发布一项自筹资金的预注册研究,测量欧盟法律更正、RFC 勘误和撤稿论文是否出现在四个公开训练数据集中,以及五个模型如何回答被更正段落的问题。在 EurlexResources 中,2,082 条可检验的欧盟法案单语更正里有 1,989 条(95.5%,94.6–96.3)仍以错误形式存在;随机抽取的 100 条中,46 条的错误改变了含义、数字、交叉引用、主管机构或适用范围。 作者是 Loxyn 联合创始人,该公司开发了本研究使用的测量工具,并已提交专利申请。除上述 100 条外,其余案例未经人工复核;Retraction Watch 文件未再分发,其 SHA-256 记录在撤稿步骤的封存中。

综述由模型根据报道生成,细节以各篇原文为准。

进展时间线

北京时间,最早在上
  1. arXiv cs.DL 数字图书馆预注册测量训练数据中官方更正缺失

    阅读这篇报道

全部报道

1 篇,点开看摘要
预注册测量:欧盟法律更正、RFC 勘误与撤稿论文在 AI 训练数据中仍以错误形式存在arXiv cs.DL 数字图书馆厂商自述未入选

一项预注册研究测量了四份公开训练数据集是否包含官方更正:在 EurlexResources 中,2,082 条可检验的欧盟法案单语更正里有 1,989 条(95.5%,94.6–96.3)仍以错误形式存在,随机抽取的 100 条中 46 条改变了含义、数字、交叉引用、主管机构或适用范围。

阅读这篇报道