九个 AI 智能体挑战美国国家实验室开放问题，135 份投稿无一达到专家标准
一项研究让 Claude Opus 4.8、Claude Opus 5、Claude Fable 5、Claude Opus 5.5、GPT-5.6 Sol、GPT-6 Astra。
The Decoder
入选二手报道重要性78入选理由：这项基准用美国国家实验室研究者的开放问题检验九个智能体，显示自主科研的短板集中在自我核查与诚信环节。
主题档案
研究与调查 最新动态
关于 AI 如何改变科研与学术出版的调查、实证研究与评测报告。
21 条精选近 30 天 12 条共收录 313 条
更新
研究与调查的入选报道
大语言模型能写文献综述吗？研究以102篇文献基准测试六款AI工具
一项预印本研究以Schultz等（2025）已发表的“Spanish plume”天气模式综述为基准，用其102篇文献语料分四步测试ChatGPT Deep Research、Gemini Deep Research、Claude网页版、Codex、Claude Code和NotebookLM：检索、逐篇解读、跨文献综合、提出未来方向。
arXiv cs.DL 数字图书馆入选预印本重要性78入选理由：以102篇已发表综述为基准，分四步实测六款通用AI工具，给出研究者可直接照做的八条使用建议。
上海AI实验室联合清华推出蛋白质改造评测基准PFArena，评测显示大模型尚难可靠完成改造
上海AI实验室联合清华大学智能产业研究院（AIR）及清华大学药学院推出专业蛋白质改造评测基准PFArena，基于202项真实蛋白质实验、293个任务实例和60万余条候选记录，评测6种蛋白质语言模型、6种通用大语言模型及基于Biomni和AMixKit构建的5种智能体组合。
上海人工智能实验室·科研动态官方入选预印本重要性62入选理由：上海AI实验室联合清华发布PFArena，用202项真实实验衡量模型能否在有限实验预算下选对突变，为蛋白质改造的AI评测提供了新口径。
研究：GPT-4o 审稿能判断论文对错，但判断不了重要性
一项预印本研究让 GPT-4o 审阅 2024 年 AFA 年会和 NBER 金融会议上的 280 篇论文，再对照其两年内是否发表于 Journal of Finance、Journal of Financial Economics、Review of Financial Studies。
arXiv 关键词查询 · AI 科学家/同行评审/文献入选预印本重要性78入选理由：用 2024 年 AFA 与 NBER 会议论文对照两年内顶刊发表结果，量化了大模型审稿在哪些维度上有信息、哪些没有。
- 引用Tencent Hy@TencentHunyuan
New Research: We are releasing ExplorationBench, a benchmark for measuring how AI systems explore. Scientific discovery begins where known problems end: a system has to frame hypotheses, design experiments, and learn from the results. Evaluating this is hard. Genuinely new answers cannot be checked quickly, and in familiar domains a model can simply recall what it has seen. Addressing this challenge, researchers from Tencent Hy, Fudan University, and Tsinghua University built verifiable Alien Worlds. Their rules are executable, so every answer is checked exactly, and they conflict with familiar knowledge, so recall alone cannot solve the tasks. 🔹 Two sandboxes: AlienCode (31 hidden rule changes, 70 tasks) and AlienLogic (24 patched inference rules, 70 theorems) 🔹 A flawed manual, four rounds of self-designed probes, and closed-book tests after every round 🔹 Every answer graded by an interpreter or a proof checker, with no LLM judge What we found across 10 frontier AI systems: 1️⃣ Getting feedback is more effective than thinking alone. No AlienCode run starts above 15.7%; after four rounds the best reaches 89.0%, while the same turns without feedback stay at 0.5–11.0%. 2️⃣ Designing the experiments matters. Replaying a system's own best probes gives it exactly the same evidence, yet in AlienCode 9 of 10 systems do worse than when they chose the probes themselves. 3️⃣ Knowing a rule is not using it. Even when every required rule is stated correctly, tasks are solved only 73.4% of the time. 4️⃣ One score hides a lot. The same system under the same budget ended anywhere from 5.7% to 79.0%, and rankings barely transfer between the two worlds. CL-bench asked whether models can learn from context. ExplorationBench asks whether they can discover the rules themselves. 📄 Paper: https://arxiv.org/abs/2609.30199 🌐 Website & leaderboard: https://explorationbench.com 📝 Blog: https://explorationbench.com/blog/ 💻 Code (coming soon): https://github.com/Tencent-Hunyuan/ExplorationBench
入选预印本重要性67
Tencent Hy@TencentHunyuan入选理由：腾讯混元联合复旦、清华发布可验证基准，用规则可执行的外星世界考察 AI 能否自主发现规则，而非依赖记忆。
Google 三个月实地实验：AI 辅助提升专利撰写产出，但未加速初级律师技能养成
Google 研究团队在 National Bureau of Economic Research 发布一项三个月实地实验，将当时未发布的 Google Labs AI 专利撰写助手（现属 Gemini Notebook）随机开放给 11 家知识产权律所的 133 名律师，其中三分之二获得早期访问权。
Google Research Blog官方入选厂商自述重要性74入选理由：三个月随机对照实验显示，AI 辅助提升专利撰写产出，但初级律师在无 AI 的纠错任务上未见技能提升，为科研训练设计提供了实证参照。
Ithaka S+R 调查：高校教师把不使用 AI 本身视为一种技能
Ithaka S+R 在一项全国性调查中请高校教师列出课堂上重视并教授的 AI 相关技能，部分教师提出最重要的 AI 相关技能是完全不使用生成式 AI。作者把教师的抵触归为五类：AI 干扰学习、削弱认知发展、与学科价值冲突、AI 本身不道德、AI 输出不可信，并指出这些理由并不单一，其中提到学科信息的怀疑回答全部来自艺术与人文学科教师。
Ithaka S+R官方入选证据待确认重要性60入选理由：调查把教师对 AI 的抵触拆成五类具体理由，高校在制定 AI 教学政策时可据此分辨教师究竟反对什么。
ICML 2026 随机实验与调查：LLM 在同行评审中的使用与影响
微软研究院等机构的研究者在 ICML 2026 上开展随机实验与匿名调查，涉及 24,661 篇投稿和 17,886 名评审人。随机分配保守政策（禁止使用 LLM）或宽松政策（允许有限辅助）后，两种政策对最终论文决定、论文评分和评审人信心的影响接近于零，宽松政策下的评审意见长 5.5%–7.7%。
arXiv 关键词查询 · AI 科学家/同行评审/文献入选厂商自述重要性78入选理由：ICML 2026 的随机实验与匿名调查给出了 LLM 使用政策对评审结果的实际影响，以及评审者违规使用的比例，可供会议和期刊制定政策时参考。
Amazon Science 论文解释机器学习研究智能体为何不过拟合
Amazon Science 团队在论文《What fits (into few tokens) doesn't overfit: Compression and generalization in ML research agents》中提出，机器学习研究智能体在基准上反复爬坡却不过拟合，原因在于最终有效的策略高度可压缩。
Amazon Science官方入选预印本重要性62入选理由：用可重置的 LLM 研究智能体替代人类研究社区做对照实验，为基准刷分为何没有普遍过拟合给出可检验的解释。
Amazon Science 提出依赖感知的 LLM 评审标签聚合方法，在 ICML 报告三项任务准确率提升
Amazon Science 在 ICML 发表论文《Dependence-aware label aggregation for LLM-as-a-judge via Ising models》，用 Ising 模型刻画多个 LLM 评审之间的成对依赖，在无人工参考标签的情况下同时估计评审可靠性与相似度，再据此调整聚合分数。
Amazon Science官方入选厂商自述重要性62入选理由：对用多个 LLM 评审做评测的团队，这篇论文给出把评审间相关性纳入聚合的方法，并附三项任务的对比数据。