MIT 研究：26000 篇论文全文语义相似度在 2021 年后升至 3 倍

Ilan Doron-Arad 所属机构： 麻省理工学院数学系，美国马萨诸塞州剑桥市^*通讯作者：ilanda@mit.edu    Elchanan Mossel 所属机构： 麻省理工学院数学系，美国马萨诸塞州剑桥市^*通讯作者：ilanda@mit.edu

摘要

科学产出正在快速增长，¹ 但尚不清楚不断扩张的文献是否仍保持原创性，还是日益重复自身。原创性具有多个维度。 其中一个维度如今可以直接测量：一篇论文与先前工作在文本上的差异程度。我们使用语义语言模型，筛查了 CORE 数据库（2015—2025 年）中八个领域超过 26,000 篇全文论文，寻找与近期文献相似的段落。我们将每篇论文与一个固定规模的早期工作样本进行比较，因此相似度的上升并非文献增长的副产品。我们发现，论文文本中与近期工作相似的比例在 2021 年之前保持稳定，随后急剧上升，到 2025 年增长了两倍多。这一增长并非来自少数论文的更多借用，而是来自相似性在文献中的扩散：如今更多论文包含呼应近期工作的段落，而且这一增长几乎无法用被引工作来解释。我们还发现，表达相同科学思想的段落也出现了类似的增长。 这一模式在多项稳健性检验中均成立，并在第二个独立数据库中得到了复现。在原创性这一可测量的维度上，科学写作与先前工作的区分度已经降低。

科学通过增添新内容而进步。然而，科学文献正在快速扩张：出版产出每年增长约 4%，大约每 17 年翻一番。¹ 原创性是否跟得上并不显而易见。更大的文献可能意味着更广阔的思想前沿；同样，也可能意味着更多重复：更多论文日益呼应已发表的工作。不断增长的记录是保持原创还是更加重复，是关于科学共同体表现的一个基本问题。

原创性难以测量，它有许多维度，也没有单一公认的衡量标准。然而，其中一个维度如今可以大规模测量。现代语言模型可以将一段文字的含义表示为数值向量，并检测两段文字是否表达密切相关的内容，即使它们共有的词语很少。^{2, 3} 这使得测量一篇论文的文本独特性成为可能：其文本中有多少在语义上与近期文献相似。文本独特性并不等同于概念新颖性：原则上，一项真正新的发现可以通过组合现有文献中的段落来写成。反过来，不寻常的措辞也不一定意味着新思想。然而，文本独特性是原创性的一个具体且可测量的方面，其下降可能预示着原创性的更广泛下降。

已有研究表明，科学正围绕既有成果趋于集中。例如，电子获取使注意力收窄至更小范围的既有论文，大型领域可能聚焦于熟悉的研究方向，而引用模式表明论文随时间推移正变得不那么具有颠覆性。^{4, 5, 6} 后一种解读受到质疑，因为颠覆性指数可能对引用膨胀敏感。⁷ 更广泛地说，先前工作通过引用关联分析、语义表示以及新科学概念的引入与传播来研究新颖性。^{8, 9, 10, 11, 12, 13, 14, 15, 16} 近期针对科学新颖性的语义方法通常在论文层面运作，往往使用标题和摘要，而非识别完整科学文本中相匹配的段落。^{11, 12, 17, 14, 18, 15, 19, 20} 此外，其他工作研究了直接的文本复用，以及更近期地，LLM 对科学写作日益增长的影响。^{21, 22, 23, 24, 25, 26, 27, 28, 29, 30} 然而，据我们所知，尚无研究在固定用于比较的先前论文数量的情况下，确定完整科学论文是否随时间推移在语义上日益与近期工作相似。鉴于文献数量的巨大增长，这一区分至关重要。¹

我们使用来自 CORE 数据库（全球最大的开放获取研究集合）八个领域的超过 26,000 篇全文论文来探讨这一问题。³¹ 对于每篇论文，我们衡量其文本在语义上与近期文献的相似程度，将 2015-2025 年的每篇论文与来自前五年的固定规模工作样本进行比较。 保持该样本固定至关重要。随着比较池不断扩大，相似度可能上升，因为每个段落有更多机会在先前工作中找到相似段落。通过保持池规模恒定，上升更不可能反映文献增长，而更可能反映论文写作方式的真实变化。

我们发现，在 2021 年之前的年份，论文文本与近期工作相似的比例大致稳定，随后急剧上升，到 2025 年增长了两倍多（图 1；流程见图 2）。这一增长并非来自少数论文与先前工作相似度更高，而是来自相似性在整个文献中的扩散：如今包含呼应近期工作段落的论文多得多，且这一增长几乎无法用被引工作来解释。我们还发现，表达相同科学思想的段落出现了类似增长。该模式经受住了大量稳健性检验，并在第二个独立数据库（Europe PMC）中得到复现。³² 因此，在可衡量的原创性维度之一上，科学写作在文本上与近期工作的区分度已降低。

相似度扩散到更多论文

对于每个领域和年份，我们将 300 篇目标论文与之前五年的 3,000 篇论文进行比较。八个领域由 CORE 查询定义：天体物理学、生物信息学、化学、气候变化、机器学习、医学、心理学和量子计算。 我们的主要结果是语义相似度覆盖率：目标文本中与至少一个来源段落匹配的比例。

等字段平均相似度覆盖率在 2015–2020 年大致稳定在 0.432%，随后从 2021 年起上升，到 2025 年达到 1.343%，是 2015–2020 年均值的 3.11 倍（95% bootstrap CI，2.73–3.52；图 1a）。在相同的固定筛选条件下，包含相似段落的论文占比也急剧上升，2025 年达到 25.2%（图 1b）。 在所有八个领域中，2025 年的覆盖率均超过 2015–2020 年均值，尽管幅度和逐年轨迹在各领域之间差异很大（八条轨迹见扩展数据图 4和 5）。在匹配论文中，覆盖率变化相对较小，表明增加主要来自相似度扩散到更多论文（图 1c）。精确单侧置换检验支持这一时间模式，确定 2021 年为持续增长的最佳拟合起点（P 值 1.80×10−5；见方法）。

大多数匹配未被引用。

仅在5.3%的唯一匹配论文对中检测到引用关联。尽管匹配对总数增长超过四倍，从2015年的290对增至2025年的1,310对，但检测到引用关联的匹配对数量仅从27对增至36对（图 3a）。因此，几乎全部增长都发生在未检测到引用关联的匹配对中。对176对匹配论文进行人工审查（每个领域和年份各抽取两对），估计引用率为6.7%（95%分层自助法置信区间，2.8–10.6%），排除两对未解决匹配对，与自动化估计的5.3%一致。

思想相似性也在上升。

到目前为止，我们从语义相似性的角度刻画了文献趋同现象。接下来我们追问这一趋势是否延伸至科学思想层面。我们对检测到的匹配进行了事后分析，采用保守的LLM分类方法，旨在优先保证精确率而非召回率（见方法）。该分析识别出614对表达基本相同科学命题的匹配对。2015–2020年间有155对，2021–2025年间有459对，对应年数量增长3.55倍。仅2025年就检测到139对相同思想匹配对，是2015–2020年基线年均值的5.38倍（图 3b）。该分析捕捉的是段落中所表达的具体科学命题层面的相似性，而非论文整体贡献的新颖性。

该模式在第二个数据库上得到复现

我们在Europe PMC这一独立全文科学数据库上重复了实验，使用三个查询词：machine learning、climate change和psychology。³²复现实验使用相同的年份、设计和检测器。 等查询平均语义相似性覆盖率大致稳定 在2015–2020年为1.556%，随后上升，2025年达到2.972%， 为2015–2020年均值的1.91倍 （95%自助法置信区间，1.65–2.19； 图 3c）。 三个查询的总相似性均上升。 在引用状态已解决的匹配对中，仅8.9%检测到引用，而2.6%的匹配对引用状态仍未解决。CORE和Europe PMC样本在目标论文或来源论文上重叠极少，表明该复现结果不能由在两个数据库中分析相同论文来解释（见方法）。

验证与阴性对照。

我们使用了三种互补的诊断方法来检验这一趋势是否是实验造成的假象。前两项对照中的语义筛选使用了更宽泛的匹配规则（见方法）。首先，我们将检测器与直接的措辞重叠进行比较，后者仍显著低于语义相似度，这表明该信号并非仅仅是复制或重复短语和术语的增加（扩展数据图 10a）。其次，作为阴性对照，我们将论文与来自不同主题的不相关旧论文进行比较。相似度接近于零，而与同一主题旧论文的比较则产生了显著更高的相似度（扩展数据图 10b）。第三，我们在一个合成基准上测试了检测器，其中同一段落的改动版本被视为匹配，不相关段落被视为不匹配。在固定阈值下，它达到了99.6%的精确率、81.1%的召回率和89.4%的F1值，并正确分类了设计为恰好高于或低于阈值的额外示例。因此，在该基准中，检测器产生的假阳性极少，但漏掉了一些真匹配（扩展数据图 6a,b）。

趋势的稳健性。

在考虑了CORE样本组成的时间变化（包括论文长度、检索位置、期刊和出版商构成以及标题相似度的差异）之后，这一增长依然存在（扩展数据图 9a,b；见方法）。该模式在不同的源池大小和筛选的语义相似度阈值下也保持不变（扩展数据图 10c和 7）。这一增长对分析中使用的最大段落块长度也是稳健的（扩展数据图 10d）。另一项控制源段落和目标段落数量的敏感性分析得出，从2015–2020年到2025年，预期覆盖率增加了2.92倍（0.377%至1.101%；95% bootstrap置信区间，2.56–3.32）。

为进行一项常见的稳健性对比，我们将2015–2020年与2021–2025年进行了比较。平均相似度覆盖率从0.432%增加到0.976%，增加了2.26倍（95% bootstrap置信区间，2.08–2.48）。在CORE检索顺序十分位数中，在依次省略每个领域或年份后，以及在抽样的CORE结果中排名较高和较低的两半中分别来看，这一增长均保持为正（扩展数据图 8）。将匹配限制为在目标年份与源年份之间每个确切差值（从一年到五年）上发表的来源，也保持了这一增长（图 1d）。当来源被限制为从未作为目标分析过的论文、在排除技术方法段落后，以及在移除频繁匹配的源论文或段落后，这一趋势进一步持续存在。我们对机器学习进行了一项额外的敏感性分析，在有和没有移除被识别为通用ML内容的段落的过滤器的情况下检查这一趋势。在该分析中，2025年覆盖率与2015至2020年基线的比值在使用过滤器时为2.78倍，不使用过滤器时为3.41倍，表明该过滤器减少而非解释了这一增长。

为了检验这一趋势是否反映了语义嵌入空间拥挤程度的增加，我们考察了生物信息学中论文间段落的相似性。随机抽样的论文间段落对中，余弦相似度超过0.84的比例始终很低，且在各年份间大致保持稳定，并未出现与相似性覆盖率上升相平行的持续增长。因此，观察到的趋势不太可能仅仅是因为后来的段落在匹配阈值附近变得更加密集（扩展数据图 11）。

作为一项补充分析，我们还考察了来自cs.CL、cs.LG和cs.AI交叉领域的arXiv论文。与CORE分析不同，每个目标样本都与前五年所有可获得的论文进行了比较，因此来源池会随时间增长。平均语义相似性覆盖率从2015–2020年的约0.12%上升到2025年的约0.34%，增幅约为2.8倍。因此，当相似性是与不断扩大的近期文献而非固定规模的来源池进行比较时，也观察到了相同的定性趋势。由于可获得的arXiv来源池在此期间大幅增长，我们将该分析视为一项定性稳健性检验，而非可直接与主要固定池分析相比较的估计。

更多同类情况

我们的结果揭示了抽样科学记录中的一项广泛变化：随着文献的扩张，越来越多的论文包含与近期工作语义相似的段落。 在主要分析中，2025年的覆盖率在所有八个所研究的CORE查询中都超过了2015–2020年的均值。总体增长在各项稳健性检验中持续存在，并扩展到被归类为表达相同科学思想的段落，还在使用Europe PMC数据库的一项独立分析中得到了重现。 这一增长主要由更多论文表现出相似性所驱动，而非由至少存在一个匹配的论文之间更强的相似性所驱动。此外，这一增长几乎完全发生在未检测到引用关联的论文对之间，表明包含引用的复用并不能解释这一趋势。尽管如此，仅凭语义相似性并不意味学术不端。

这一上升并不只是文献增长的结果。每篇论文都是与固定规模的参考样本进行比较，因此可用于匹配的工作池并未随时间扩大。因此，这一增长不太可能反映已发表工作空间仅仅变得更加密集，而是指向论文本身发生了变化。 arXiv分析提供了一个互补视角：当目标论文与完整且不断扩大的近期工作池进行比较时，相似性同样上升。然而，与固定规模的CORE来源池不同，该分析并未将论文本身的变化与找到匹配机会的增加区分开来。

最大幅度的增长恰逢 LLM 辅助科学写作的快速普及。^{24, 25, 26} LLM 的使用是一个可能的促成因素，因为它可能大规模传播常规的科学措辞，尤其是考虑到语义相似性已扩散到更多论文。然而，我们的研究并未确立这一趋势的主要原因。向共享学科语言的更广泛趋同也可能部分解释所观察到的模式。 更广泛地说，我们将这一趋势视为科学写作与表述方式更广泛趋同的一个可见迹象。也就是说，有几种力量可能推动着同一方向：电子获取将注意力收窄到一组共享的论文上，学科规范奖励熟悉的表述框架，而最近，LLM 在现有文献上训练并倾向于其最常见的措辞，从而大规模传播常规用语。^{27, 29} 按照这一观点，LLM 并非该趋势的起源，而可能是其最新机制，加速了已在进行的同质化；区分这些力量是未来工作的任务。

我们的主要指标捕捉的是语义和语言相似性，而非概念新颖性。此外，我们针对段落中的主要思想进行了分析，提供了证据表明这种增长也延伸到表达基本相同科学命题的配对。尽管如此，该分析仅限于段落层面表达的思想，而非更广泛的思想，例如整篇论文的主要贡献。解决这一问题需要不同的方法，留待未来工作。不过，文本独特性的下降可能使新贡献更难被识别。在两个独立数据库中，科学文献越来越多地包含更多相同内容；需要更广泛和因果性的研究来解释原因。

这些发现还提示了一种实际应用。如果科学体系可能不利于新颖工作，¹⁰ 那么让原创性可见的工具可以起到制衡作用，帮助作者、审稿人、编辑和资助者了解一项贡献与已有内容的关系，并让独特性得到认可而非被忽视。我们要告诫不要将任何此类指标变成目标：直接优化的独特性评分会奖励不寻常的措辞而非真正的洞见，这正是我们的发现所警告的混淆，而且很容易被钻空子。 相反，此类工具可以将原创性作为众多输入之一加以突出，帮助确保不断增长的科学文献保持原创，而不是变得更多相同。

方法

CORE 语料库与论文选择

开放获取研究论文于 2026 年 5 月至 7 月通过 CORE 检索获得。³¹ 确切的搜索查询为 astrophysics、bioinformatics、chemistry、climate change、machine learning、medicine、psychology 和 quantum computing。最终八个查询在分析前固定，并选择以涵盖多样化的科学领域。另外两个查询 cybersecurity 和 Alzheimer’s disease 被排除，因为它们未能产出足够的合格论文，无法在所有年份满足固定的目标和来源上限。我们使用 2015–2025 年以提供较长的基线，并纳入最近可用的完整年份。

对于每个查询以及2015年至2025年的每个目标年份，流水线按CORE结果顺序保留前300条符合条件的记录作为目标论文。 CORE查询结果使用Azure AI Search进行排序（个人通信，Catherine Kuliavets，CORE社区与关系经理）。对于文本查询，Azure AI Search使用BM25算法对结果进行排序。³³ 对于发表于y=2015,…,2025年的目标论文，我们将其与y−1至y−5年的来源论文进行检索比对。我们采用五年作为近期文献的固定操作定义。 来源池由每个来源年份按CORE结果顺序的前600条符合条件的记录组成，每个目标年份和每个查询共计3,000篇论文。八个查询和所有年份均达到了该上限。 因此，分析中每个查询包含3,300篇目标论文，总计26,400篇。各查询之间存在重叠，共得到26,059个唯一的CORE论文ID；334条记录出现在多个查询中，并在每个查询内单独分析。

论文过滤。

CORE记录使用清洗流水线进行处理。基于章节标题和文本模式的过滤器移除了检测到的参考文献部分、作者单位、存储库文本以及许可和资助样板文字。记录若具有出版年份、标题、英文全文，且清洗后至少包含1,000个token，则视为符合条件；其中token定义为将字母转换为小写后连续的字母或数字序列。行政和教学材料、其他非论文记录以及检测到提取失败的记录均被排除。每篇清洗后的论文被划分为重叠的160个token的块，连续块之间相隔140个token开始，重叠20个token，以避免在块边界附近遗漏检测。对于来源论文和目标论文，仅完全位于清洗后文档token位置15%至78%之间的块才符合条件。超过25%的token完全由数字组成的块被排除，每篇论文按文档顺序保留前80个符合条件的块。

语义相似度检测

文本块使用768维的Sentence Transformers all-mpnet-base-v2模型嵌入为数值向量。^{2, 3} 对于嵌入向量u和v，余弦相似度定义为 cos⁡(u,v)=u⊤​v∥u∥2​∥v∥2。 由于所有嵌入均归一化为单位欧几里得范数，这等于它们的点积u⊤​v。 对于每个目标块，我们在余弦相似度至少为0.82的来源块中，保留最相似的100个来源块用于分析。

匹配的定义。

术语是指排除预定义停用词、通用科学词汇、查询关键词、仅由数字组成的词元以及位数少于八位的多位数字词元后，至少包含五个字符的不同词元。只有当目标块和源块组成的配对满足以下所有保守标准时，才被视为匹配：余弦相似度至少为0.84；至少共享六个术语；术语重叠至少为0.10；没有完全相同的五个连续词元序列；没有共同作者；论文未被识别为重复或版本；且两个块均通过了预定义的质量筛选。 更详细地说， 若St和Ss分别表示目标块和源块t、s中的非空术语集合，则术语重叠定义为 |St∩Ss|min⁡(|St|,|Ss|)。选择0.84的余弦阈值是为了优先保证精确率，并在0.82至0.90的阈值范围内评估了稳健性。扩展数据 B中展示了两个说明匹配的合成示例。

覆盖率的定义。

对于目标论文i，令Ti为整个清洗后论文（包括未筛选部分）中词元出现的次数，并按出现顺序从1到Ti编号。每个匹配涉及一个包含连续词元a,…,b−1的目标块，可能包含重复，用集合{a,…,b−1}表示。令ℐi为论文i中匹配目标块对应的此类集合的集合。语义相似度覆盖率是至少包含在一个匹配块中的词元出现次数所占的比例： ri=|⋃I∈ℐiI|Ti。 因此，包含在重叠匹配块中的词元出现次数仅被计数一次。 对于每个查询和年份，我们的主要度量是300篇目标论文中ri的均值。我们还考察了至少有一个匹配的论文比例，但这种二元度量相对更敏感；因此，平均ri被认为是更稳健的度量。汇总时赋予每个查询相同的权重。

对照与校准

合成零实验。

我们通过构建一个基准对检测器进行了以下受控检查，该基准包含2,000个正例对（通过在段落内重新排列词块创建）和4,000个负对照对，其中700对来自同一论文，1,300对为同主题对，2,000对为不相关对（扩展数据图 6a,b）。我们在主分析中使用的相同阈值下评估了匹配规则。

另外两项诊断聚焦于单个查询，即接下来描述的生物信息学。两项语义筛选均要求余弦相似度≥0.82、至少3个共享术语、术语重叠≥0.04，且5词元和8词元序列的Jaccard相似度分别至多为0.08和0.03。

语义相似度与词汇相似度。

我们将语义相似性与直接措辞重叠（词汇重叠）进行比较，以检验该趋势反映的是复制语言而非更广泛的语义相似性（扩展数据图 10a）。直接措辞重叠使用单独的词汇匹配程序测量，其目标年份、目标上限和来源池大小与语义分析相同。该程序首先识别八个连续词元的精确共享序列，并将其作为检测更长匹配段落的起点。候选段落要求至少包含三个这样的共享序列。相隔至多40个词元的候选段落被合并，保留的段落要求跨度在80至1,500个词元之间。保留的段落还要求局部词元重叠至少为0.25。 所得匹配段落以目标词元覆盖率进行汇总，使用与语义相似性度量相同的分母。

主题零假设。

我们进行了一项主题零假设实验，将2015–2025年每年300篇生物信息学目标论文与3,000篇气候变化来源论文进行比较，后者由前五年每年各600篇论文组成（扩展数据图 10b）。使用了上述相同的更广泛语义匹配程序。

CORE中的引用关联

初步筛选产生了10,287个匹配段落对观测值，对应查询内6,758个不同的来源与目标论文对（跨查询为6,749个不同论文对）。 我们查询了OpenAlex、Semantic Scholar、Crossref、OpenCitations和Europe PMC数据库，以寻找目标论文引用了来源论文的证据。^{34, 35, 36, 32, 37} 另外，我们在对大小写、标点和空白进行归一化后，在每篇目标论文的CORE全文中搜索完整的来源标题，以降低假阴性率。 如果书目服务或CORE标题搜索任一返回阳性证据，则该论文对被归类为引用关联。如果两种方法均未返回阳性证据且至少一种方法以阴性结果完成，则归类为未检测到引用关联。如果既无阳性证据也无确凿阴性证据，则归类为未解决。未检测到关联不被解释为引用不存在的证据。

人工验证审计。

我们使用分层样本评估了分类，该样本从八个查询和十一个目标年份的每种组合中抽取两个论文对，共产生176个论文对。这些论文对的引用证据经过人工验证，并与自动化结果进行比较。由于完整数据集中不同查询和年份组的匹配论文对数量不同，审计估计值按每组论文对数量加权。

想法层面分析

我们进行了一项事后分析，以检验语义相似度的提升是否也反映在科学思想层面。该分析在设计上采取保守策略，在识别表达基本相同的科学命题的段落对时，优先考虑精确性而非召回率。 在此分析中，我们最多使用每个段落的前 800 个字符。 我们首先筛选匹配段落对是否具有实质性科学内容，以仅保留包含实质性科学内容的匹配，因为一些非科学内容可能通过我们的自动过滤。Claude Opus 5 独立将每个唯一段落分类为实质性或非实质性。非实质性材料包括参考文献、作者与单位列表、元数据等。仅当两个段落均被分类为实质性时，该匹配对才被保留用于思想层面分析。这排除了 10,287 个检测到的匹配中的 344 个，留下 9,943 个被分类为实质性的配对。

随后我们将每个段落缩减为其主要思想。即，每个唯一段落由 Claude Sonnet 5 独立总结为对其核心科学思想的简短陈述，目标不超过 15 个词，严格限制为 20 个词。每个段落的总结均未向模型展示其配对段落。对于两个段落均为实质性的配对，Claude Opus 5 随后仅接收两个生成的摘要，并将其关系分类为相同、相似、不同或不确定。分类器对原始段落文本及任何其他元数据均不可见。我们将相同保守地定义为段落核心科学命题的近乎等价。相似要求存在一个对两个摘要均为核心的具体实质性科学命题，但未达到近乎等价；仅共享相同主题不足以被称为相似。

对于正文中报告的分析，我们聚焦于被分类为相同的配对。在 9,943 个实质性匹配对中，614 个（6.2%）满足这一严格标准。时间比较使用这些配对的年度数量以及与主分析相同的时期定义。

统计分析

作为常见的稳健性时期对比，我们对 2015–2020 年的 48 个领域–年份对的均值（14,400 条记录）和 2021–2025 年的 40 个领域–年份均值（12,000 条记录）取平均，使每个领域和年份权重相等。主分析使用年度轨迹，我们另外将 2025 年与 2015–2020 年均值进行比较，作为终点效应量。 置信区间通过对每个领域和年份对内的 300 篇目标论文进行有放回重采样获得。作为敏感性检查，论文按其 CORE 结果中的顺序分为十组，并在这些组内重采样，以保持获取顺序分布。我们还在依次省略每个查询和每个年份后，重复了 2015–2020 年与 2021–2025 年的比较。

置换检验。

我们进行了一项精确的单侧置换检验，检验的假设是：年度相似度覆盖率最初保持稳定，随后进入持续上升的轨迹。对于2018年至2023年的每个候选起始年份，我们将年度等字段平均覆盖率与一条轨迹进行比较，该轨迹在候选起始年份之前保持恒定，此后线性上升。检验统计量是在所有候选起始年份中得到的最大皮尔逊相关系数。观测轨迹与2021年的起始年份最为吻合。观测到的最大皮尔逊相关系数为0.9913。

在原假设下：11个年度观测值的时间顺序与相似度覆盖率无关。单侧备择假设是：这些观测值与“先保持初始稳定水平、随后持续上升”的模式异常一致。我们穷举评估了年份标签的全部11!=39,916,800种置换，并保持每年的八个字段均值绑定在一起。对于每种置换，我们再次从2018年至2023年中选出最佳拟合起始年份，并重新计算检验统计量。在所有置换中，有720种产生的统计量至少与观测值一样大；这些恰好是仅在2015–2020年排序上不同的6!种置换。由此得到的精确单侧P值为720/11!=1.80×10−5。

Europe PMC重复验证

Europe PMC提供了一个独立的科学论文全文数据库。³² 我们使用了三个查询：machine learning、climate change和psychology。第四个查询quantum computing被排除，因为其来源池在较早年份未达到3,000篇论文。 采用了与CORE相同的设置：对于每个查询和2015年至2025年的目标年份，我们保留300篇符合条件的目标论文。每个目标年份使用来自前五个年份各600篇符合条件来源论文的平衡池，因此每个查询和目标年份共有3,000篇来源论文。

全文以Journal Article Tag Suite（JATS）XML格式获取，并使用与CORE分析相同的清洗、分块和相似度流程进行处理。所有预处理、候选检索、匹配阈值和过滤标准均与CORE分析保持一致。引用关联使用Europe PMC提供的参考文献信息单独评估，引用状态无法确定的配对被归类为未解决。 年度汇总和置信区间按CORE分析中的方法计算，并在各查询之间等权处理。 在三个共有查询中，CORE与Europe PMC样本之间的重叠很小。每个数据库的9,900条目标记录中，有162条（1.64%；162篇不同论文）同时出现在两者中。在来源记录中，有464条共享（占CORE来源的1.66%，占Europe PMC来源的1.72%；464篇不同论文）。

稳健性

构成稳健性。

我们通过多项分析检验了目标论文构成的变化能否解释这一趋势。为了考虑数据库中检索位置和论文长度的差异，我们将每个查询中的论文分为三个检索顺序组和五个论文长度组，形成15种组合。随后，我们对每一年进行调整，使其在这些组合上的比例与该查询在2015–2025年完整样本中的比例相同。 我们还将分析限制在DOI前缀（DOI的第一部分，通常表示出版商）上，这些前缀在2015–2020年至少有10篇论文、在2021–2025年至少有5篇论文，并且至少出现在四个基线年份和两个后期年份中。我们另外对两个时期进行了调整，使这些持续存在的DOI前缀在每个查询内具有相同的分布。关于上述稳健性检验，见扩展数据图 9。

主题构成与发表滞后。

为了评估主题构成的变化，我们将2021–2025年的每篇论文在其查询内与2015–2020年中标题最相似的五篇论文进行比较。相似度使用基于单词和连续词对的词频–逆文档频率（TF–IDF）来衡量，并去除英语停用词；匹配采用有放回方式。 为了检验源论文年龄的差异能否解释这一趋势，我们在每个发表滞后（目标论文与源论文发表年份之差）上分别重复了分析，仅保留与每篇目标论文发表时间恰好早一年、两年、三年、四年或五年的源论文的匹配（图 1d）。我们还在0.82至0.90的余弦相似度阈值范围内重复了分析，并分别在80、180、320和480的块大小下重复了分析（扩展数据图 10d）。

其他稳健性检验。

为了评估目标样本与源样本之间的重叠是否影响了结果，我们另外将匹配限制在同一查询中从未作为目标被分析的源论文。 为了排除该趋势仅由少数被反复使用的源论文造成的可能，我们在排除每个查询内按匹配到的不同目标论文数量排名前1%、5%和10%的源论文后重复了分析。我们另外排除了在同一查询中与至少2篇、3篇或5篇不同目标论文匹配的源段落。 为了检验该趋势是否依赖于源论文或源段落的特定子集，我们根据查询和论文ID，使用标识符的SHA-256哈希将它们分别分配到可复现的组中，并在依次省略每一组的情况下重复了分析。 该分析使用了40组，敏感性分析使用了20组和80组。为了控制段落数量的变化，我们估计了在固定源段落数和目标段落数下均匀随机子抽样的预期覆盖率，使用的是已记录的匹配结果，而未重新运行搜索。

arXiv分析

我们使用来自一个狭窄计算机科学领域的 arXiv 论文进行了一项补充分析。符合条件的论文被分配到 cs.CL、cs.LG 和 cs.AI 全部三个类别中，且不限制主要类别。对于 2015 年至 2025 年的每个目标年份，我们分析了最多 300 篇符合条件的目标论文，使用与 CORE 分析相同的匹配流程。每个目标样本都与前五年中所有可用的符合条件的来源论文进行比较；与 CORE 分析不同，因此来源论文的数量被允许随着可用文献的增长而增长。

词汇过滤器。

为了确定标准化方法语言是否解释了这一趋势，我们在排除被归类为技术方法的匹配目标文本块后重复了分析，这些文本块使用基于标题、位置和词汇线索的自动章节标签进行分类。 作为一项额外的敏感性分析，我们在每年 250 篇目标论文和每个目标年份最多 1,500 篇来源论文上重复了机器学习分析，在保持论文选择和所有其他设置固定的情况下，分别启用和禁用通用 ML 内容过滤器。与主分析不同，这项敏感性分析允许共享精确五元组和非零作者重叠分数。该过滤器在 8 次主运行中被保留，并且在生物信息学上进行的一项额外敏感性运行确认，该过滤器对非机器学习查询的影响可以忽略不计。

嵌入空间的拥挤。

我们测试了该趋势是否可能反映嵌入空间日益拥挤。为此，我们在生物信息学中进行了一项额外的诊断。对于 2015 年至 2025 年的每一年，我们无放回地采样了 4,000 个目标段落嵌入向量，独立重复五次，并排除了来自同一论文的段落之间的比较。我们测量了余弦相似度至少为 0.84 的跨论文段落对的比例，这与主筛选中使用的阈值相同。年度值在五次重复中取平均。见扩展数据图 11。

局限性

CORE 研究和 Europe PMC 复制使用固定的字面查询和排序检索，而不是对所有科学论文的随机均匀采样。数据库覆盖范围、排名和全文可用性也可能随时间变化。³⁸ 我们的稳健性分析测试了检索样本内的敏感性，但它们无法解释检索结果中缺失的相关论文，也无法使样本代表整个科学界。构成控制仅限于观察到的元数据。

检测器无法识别与不可获取、未采样、更早或经过强烈变换的来源之间的相似性。80 个文本块的限制降低了对长篇论文的覆盖范围，并且候选检索对每个目标文本块仅保留了 100 个最相似的来源文本块。在构建的基准上的表现可能无法完全代表自然出现的科学文本。引文解析并不完整，因此未检测到引文关联并不能完全保证引文不存在。 arXiv 分析与 CORE 分析不同，因为 arXiv 论文并非通过排序数据库查询结果选出。 不应将其解释为对 CORE 或 Europe PMC 实验的复现。 我们的主要指标捕捉的是文本相似性而非概念新颖性；观点层面的分析仅限于检测到的段落匹配，并不评估论文主要观点的新颖性。 最后，观察到的轨迹并不能确定唯一原因，也无法证明 LLM 的使用直接导致了这一增长。

声明

AI 使用。

ChatGPT 被用于协助代码开发和起草稿件。Claude API 被用于观点层面的实验。 AI 未决定研究终点、获取原始 CORE 语料库或确定主要语料库的纳入资格。LLM 分类仅用于段落观点分析。作者核实了分析结果，并对所有主张和结论负责。

资助。

IDA 获得 NSF DMS-2031883 资助和 Vannevar Bush Faculty Fellowship ONR-N00014-20-1-2826（PI Mossel）支持。EM 部分获得 NSF DMS-2031883、Vannevar Bush Faculty Fellowship ONR-N00014-20-1-2826、MURI N000142412742 以及 Simons Investigator Award 支持。

参考文献

• 1 Bornmann, L., Haunschild, R. & Mutz, R. 现代科学的增长率：一种用于对既有和新文献数据库中的出版物数量进行建模的潜在分段增长曲线方法。 Humanit. Soc. Sci. Commun. 8, 224 (2021). doi:10.1057/s41599-021-00903-w.
• 2 Reimers, N. & Gurevych, I. Sentence-BERT：使用孪生 BERT 网络的句子嵌入。 载于 Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing and the 9th International Joint Conference on Natural Language Processing (EMNLP-IJCNLP) 3982–3992（Association for Computational Linguistics，2019）。 doi:10.18653/v1/D19-1410.
• 3 Song, K., Tan, X., Qin, T., Lu, J. & Liu, T.-Y. MPNet：用于语言理解的掩码与置换预训练。 载于 Advances in Neural Information Processing Systems 33， 16857–16867（2020）。
• 4 Evans, J. A. 电子出版与科学和学术的窄化。 Science 321, 395–399 (2008). doi:10.1126/science.1150473.
• 5 Chu, J. S. G. & Evans, J. A. 大型科学领域中经典进展的放缓。 Proc. Natl Acad. Sci. USA 118, e2021636118 (2021). doi:10.1073/pnas.2021636118.
• 6 Park, M., Leahey, E. & Funk, R. J. 论文和专利随时间推移正变得不那么具有颠覆性。 Nature 613, 138–144 (2023). doi:10.1038/s41586-022-05543-x.
• 7 Petersen, A. M., Arroyave, F. & Pammolli, F. 颠覆性指数因引用膨胀而产生偏差。 Quant. Sci. Stud. 5, 936–953 (2024). doi:10.1162/qss_a_00333.
• 8 Uzzi, B., Mukherjee, S., Stringer, M. & Jones, B. 非典型组合与科学影响力。 Science 342, 468–472 (2013). doi:10.1126/science.1240474.
• 9 Funk, R. J. & Owen-Smith, J. 技术变革的动态网络度量。 Manage. Sci. 63, 791–817 (2017). doi:10.1287/mnsc.2015.2366.
• 10 Wang, J., Veugelers, R. & Stephan, P. 科学中对新颖性的偏见：对文献计量指标使用者的警示。 Res. Policy 46, 1416–1436 (2017). doi:10.1016/j.respol.2017.06.006.
• 11 Shibayama, S., Yin, D. & Matsumoto, K. 利用词嵌入度量科学中的新颖性。 PLoS ONE 16, e0254034 (2021). doi:10.1371/journal.pone.0254034.
• 12 Yin, D., Wu, Z., Yokota, K., Matsumoto, K. & Shibayama, S. 利用词嵌入识别知识中的新颖要素。 PLoS ONE 18, e0284567 (2023). doi:10.1371/journal.pone.0284567.
• 13 Cheng, M. et al. 新思想如何在科学中传播。 Am. Sociol. Rev. 88, 522–561 (2023). doi:10.1177/00031224231166955.
• 14 Arts, S., Melluso, N. & Veugelers, R. 超越引用：度量出版物文本中的新颖科学思想及其影响。 Rev. Econ. Stat., 1–33 (2025). doi:10.1162/rest_a_01561.
• 15 Peng, X. et al. SemNovel——一种利用大语言模型嵌入检测生物医学出版物语义新颖性的新方法。 J. Biomed. Inform. 172, 104952 (2025). doi:10.1016/j.jbi.2025.104952.
• 16 Liu, J., Zhou, Q., Chen, H. & Bu, Y. 一种通过科学出版物揭示范式动态的语义几何方法。 J. Assoc. Inf. Sci. Technol., 77, 1354–1369 (2026). doi:10.1002/asi.70111.
• 17 Hou, J., Wang, D. & Li, J. 一种基于语义网络中知识单元度量学术文章原创性的新方法。 J. Informetr. 16, 101306 (2022). doi:10.1016/j.joi.2022.101306.
• 18 Culbert, J. H., Kenett, Y. N. & Mayr, P. 跨时间和领域考察科学论文的原创性：一项定量分析。 Preprint at https://arxiv.org/abs/2512.07892 (2025).
• 19 Safari, A. & Babaei, S. ChatGPT 之后信息系统期刊中的研究新颖性：不同机构语言背景下的差异。 Preprint at https://arxiv.org/abs/2603.22510 (2026).
• 20 Wang, J., Ding, Y. & Pan, R. 一种利用 LLM 衍生语义嵌入进行学术相似性与新颖性度量的可扩展框架。 Scientometrics 131, 6429–6468 (2026). doi:10.1007/s11192-026-05754-3.
• 21 Citron, D. T. & Ginsparg, P. 科学语料库中的文本复用模式。 Proc. Natl Acad. Sci. USA 112, 25–30 (2015). doi:10.1073/pnas.1415135111.
• 22 Gienapp, L., Kircheis, W., Sievers, B., Stein, B. & Potthast, M. 开放获取出版物中科学文本复用的大型数据集。 Sci. Data 10, 58 (2023). doi:10.1038/s41597-022-01908-z.
• 23 MacLaughlin, A., Xu, S. & Smith, D. A. 恢复词汇与语义层面的文本复用。 载于 Proceedings of *SEM 2021: The Tenth Joint Conference on Lexical and Computational Semantics 52–66 (Association for Computational Linguistics, 2021). doi:10.18653/v1/2021.starsem-1.5.
• 24 Liang, W. et al. 量化科学论文中的大语言模型使用情况。 Nat. Hum. Behav. 9, 2599–2609 (2025). doi:10.1038/s41562-025-02273-8.
• 25 Kobak, D., González-Márquez, R., Horvát, E.-A. & Lause, J. 通过超额词汇探究生物医学出版物中 LLM 辅助写作。 Sci. Adv. 11, eadt3813 (2025). doi:10.1126/sciadv.adt3813.
• 26 Siler, K. 大语言模型在已发表学术文章中的扩散。 Proc. Natl Acad. Sci. USA 123, e2605754123 (2026). doi:10.1073/pnas.2605754123.
• 27 Filimonovic, D., Rutzer, C., Macher, J. T. & Weder, R. 科学写作是否趋同于美式英语？来自生成式 AI 辅助出版物的证据。 Scientometrics (2026). doi:10.1007/s11192-026-05774-z.
• 28 Kousha, K. & Thelwall, M. ChatGPT 之后 LLM 在多大程度上改变了学术论文的语言？一项多数据库与全文分析。 Scientometrics (2026). doi:10.1007/s11192-026-05601-5.
• 29 Sourati, Z. et al. 大语言模型时代语言多样性的萎缩图景。 Nat. Hum. Behav. (2026). doi:10.1038/s41562-026-02550-0.
• 30 Qian, Y. et al. 大语言模型的兴起与美国联邦研究经费的方向及影响。 Proc. Natl Acad. Sci. USA 123, e2601439123 (2026). doi:10.1073/pnas.2601439123.
• 31 Knoth, P. et al. CORE：面向开放获取论文的全球聚合服务。 Sci. Data 10, 366 (2023). doi:10.1038/s41597-023-02208-w.
• 32 Rosonovski, S. et al. 2023 年的 Europe PMC。 Nucleic Acids Res. 52, D1668–D1676 (2024). doi:10.1093/nar/gkad1085.
• 33 Microsoft. Azure AI Search 中的相关性。 Microsoft Learn。 https://learn.microsoft.com/en-us/azure/search/search-relevance-overview (2026).
• 34 Priem, J., Piwowar, H. & Orr, R. OpenAlex：一个完全开放的学术著作、作者、发表场所、机构与概念索引。 预印本见 https://arxiv.org/abs/2205.01833 (2022).
• 35 Kinney, R. et al. Semantic Scholar 开放数据平台。 预印本见 https://arxiv.org/abs/2301.10140 (2023).
• 36 Hendricks, G., Tkaczyk, D., Lin, J. & Feeney, P. Crossref：社区拥有的学术元数据的可持续来源。 Quant. Sci. Stud. 1, 414–427 (2020). doi:10.1162/qss_a_00022.
• 37 Heibi, I., Moretti, A., Peroni, S. & Soricetti, M. The OpenCitations Index：一个提供开放引文数据的数据库描述。 Scientometrics 129, 7923–7942 (2024). doi:10.1007/s11192-024-05160-7.
• 38 Visser, M., van Eck, N. J. & Waltman, L. Large-scale comparison of bibliographic data sources: Scopus, Web of Science, Dimensions, Crossref, and Microsoft Academic. Quant. Sci. Stud. 2, 20–41 (2021). doi:10.1162/qss_a_00112.

Appendix A Extended Data

Appendix B Illustrative synthetic semantic matches

We constructed two synthetic passage pairs to illustrate the type of semantic match detected by our pipeline. The passages were not drawn from the historical corpus and were not used for statistical inference. Each passage is approximately 160 tokens after the same cleaning and tokenization used in the main analysis. Both pairs satisfy the applicable frozen matching rule: cosine similarity at least 0.84, at least six shared content-specific terms, specific-term overlap at least 0.10, no shared exact five-token sequence, and all passage-level quality filters. Paper-level author, citation, duplicate and version checks are not applicable to these standalone synthetic passages. Boldface marks selected shared content-bearing terms.

Example 1: Cosine = 0.851681, Specific-term overlap = 0.163043, Shared terms = 15, Idea: SAME

SYNTHETIC SOURCE

SYNTHETIC TARGET

“During a transit, stellar radiation crosses the thin atmosphere surrounding an exoplanet before entering the telescope. The apparent radius changes with wavelength because different gases block different fractions of incoming flux. Features in the resulting spectrum can therefore reveal absorption by molecular species. Interpreting those signatures is difficult because opacity also depends on pressure and thermal gradients, while aerosols or clouds can suppress otherwise visible lines. A retrieval procedure compares the measurement with many simulated forward spectra and assigns support to alternative chemical mixtures and vertical profiles. Repeated visits help separate persistent planetary signatures from detector drift, starspot contamination, and random noise. Even when individual abundances remain uncertain, wide wavelength coverage can exclude some gaseous scenarios and identify intervals where another observation would provide the greatest information. Such evidence is indirect, but it permits comparative studies of remote worlds that cannot yet be spatially resolved. These estimates are useful for comparing chemistry across objects sampled under otherwise similar geometric conditions.”

“Transmission spectroscopy uses a transit to examine material in the atmosphere around a distant planet. As stellar photons filter through its atmosphere, the effective radius varies with wavelength, producing structure in the observed spectrum. A localized absorption signal may be consistent with a molecular absorber, although haze or clouds can create degeneracies with gas abundance because both alter the effective opacity. Retrieval analysis evaluates observed data against modeled atmospheres spanning varied compositions, temperatures, and height structures, then derives posterior ranges for several plausible candidate physical states overall. Combining several observing epochs can reduce sensitivity to persistent planetary signals being confused with starspot contamination or instrumental variation. Broad wavelength baselines are especially valuable because a feature that is ambiguous in one channel may become distinguishable when adjacent regions are included. The final result is usually a family of plausible compositions rather than a unique description, and follow-up measurements can target the portions carrying the most diagnostic leverage for future observing campaigns.”

Idea: Transit spectroscopy constrains exoplanet atmospheres by measuring wavelength-dependent absorption in stellar light during transits.

Idea: Transit spectra constrain atmospheric composition by linking wavelength-dependent radius changes to molecular absorption and opacity.

Example 2: Cosine = 0.849445, Specific-term overlap = 0.132530, Shared terms = 11, Idea: SIMILAR

SYNTHETIC SOURCE

SYNTHETIC TARGET

“A classifier can produce sharp probabilities even when its reported confidence does not match empirical accuracy. Temperature scaling is a post hoc calibration method that adjusts this mismatch without retraining the predictor. After optimization is complete, the logits are divided by a learned temperature before normalization. The scalar is selected on a held-out validation partition containing known labels, while all original network weights stay fixed. Larger values soften the probabilities and can reduce systematic overconfidence without altering the highest ranked output. This adjustment is often effective when future cases resemble the distribution used for validation. It is less reliable after major covariate change, because one global adjustment cannot repair input-dependent or label-specific errors. Richer calibrators can represent more complex distortions, but they need additional fitting data and may increase estimation uncertainty. For that reason, calibration quality should be checked separately from discrimination whenever predictive scores are used for decisions. Independent audits remain useful prior to downstream application.”

“Post-training calibration aims to align the confidence produced by a classifier with the observed frequency of correct predictions in practice. A common calibration correction learns one temperature from labeled validation examples and rescales the logits before turning the adjusted results into probabilities. Because multiplication by the same positive factor preserves rank, the predicted category remains identical even though overconfidence may decrease. Only the calibration coefficient is fitted; the underlying predictor is left untouched. Performance can nevertheless degrade when the deployment distribution differs substantially from the data represented during validation. In that setting, the relationship between internal evidence and error frequency may shift, so a single temperature no longer provides an adequate remedy. Flexible mappings can address categorywise behavior or local variation, but they consume more supervision and introduce greater uncertainty. Consequently, confidence estimates should be reevaluated following important shifts in the population on which the classifier operates. This reassessment matters most when published estimates guide sensitive operational choices.”

Idea: Temperature scaling calibrates classifier confidence globally but can fail when deployment distributions differ from validation.

Idea: Global calibration can conceal local or shifted-population failures, requiring renewed confidence assessment during deployment.

注意转载授权 · 阅读原文。中文正文为 AI 翻译，请以原文为准。