OR-License 基准：评估 LLM 智能体能否胜任真实运筹项目
研究团队提出 OR-License，一个由 10 个工业场景、31 个实例组成的端到端运筹基准，素材来自总额 368 万美元的付费运筹项目，并保留原始需求、输入数据、交付格式与信息边界。
全部动态
按时间排列的全部内容。默认只显示通过双重评分的入选条目；切换到“全部收录”可以检索所有抓到的资料。
317 条收录动态，更新于 02:56
全部收录包含没有通过评分的资料，标题以常规字体显示并标为“未入选”，只供检索，不写入选理由。
10月16日
星期五，1 条10月15日
星期四，7 条研究揭示检索增强模型为何未使用已获取的证据
Imperial College London 的研究者在 arXiv 预印本中构建了 225 条训练截止后发生变化的时间性事实，覆盖 FDA、金融、体育、人物、SEC 和化学六个领域，评估 GPT-5.6 Luna 的原生网络搜索以及六个开放权重模型配置在固定检索下的表现。
审稿人池扩大 54% 同行评审却更糟：Prophy 认为问题不在供给而在注意力
Prophy 提出，同行评审困境并非审稿人数量不足：ScholarOne Manuscripts 期刊 2026 年第一季度投稿量同比增 33%，同期审稿人池扩大 54%，但邀请仍大量投向不匹配的稿件。Prophy 自 2018 年起为出版商和资助机构匹配审稿人，其自建约 17 万个科学概念的本体用于按研究内容而非关键词匹配，并主张邀请仍由编辑本人发出。
美国多所高校掀起 AI 哲学教授招聘潮
美国多所高校正招聘专注 AI 的哲学终身轨教职，Purdue University、University of Illinois at Chicago、Georgia Institute of Technology 等十余个哲学系今秋已发布相关招聘。
Terence Tao 博客征集：近期数学研究中人机协作的故事
Terence Tao 博客发布 Deanna Needell 与 Hayden Schaeffer 的客座文章，征集数学家参与近期 AI 生成预印本成果的经历，包括提供前期结果、与 AI 模型互动、发表论文等。
SciΠvot 基准：用 248 个真实纠错案例评测 AI 科研智能体的科学判断力
研究团队构建了 SciΠvot，一个基于人类纠错记录的 248 案例科学判断基准，素材来自资深研究者六个月内在 26 个项目、六个科学领域中对 LLM 智能体的反复干预。
PhysClosureBench 评测 AI 智能体能否完成有证据支撑的物理研究闭环
研究团队提出 PhysClosureBench，包含 50 项经专家核验、给定研究目标与科学约束的物理任务，覆盖强场、阿秒及邻近物理领域，由智能体自行组织调查并生成、验证证据。
Google 称自我改进型 AI 仍遥不可及
Google 工程师 Haydn Belfield 表示，Google DeepMind 未观察到 AI 自身驱动 AI 研究出现可测量的加速，AI 目前承担超过 75% 的生产代码编写，但约 88% 的代码改动仍需人工监督或审核。
10月14日
星期三，3 条汤森路透评测：编排框架比模型规模更能缩小法律文本转 XML 的差距
汤森路透团队在 arXiv 发布预印本，报告一套已投产的多智能体流水线，把美国州立法 PDF 转换为受 DTD 约束的出版 XML，并在 153 份专家标注法案（103 份爱达荷、50 份新泽西）上做模型与编排的交叉消融。
预印本测试 30 个模型如何处理撤稿与伪科学论文
一项预印本引入由 42 篇已撤稿、造假和伪科学论文组成的探针语料，用接近原文的段落搭配看似合理的研究设计请求，测试模型是否会基于这些前提继续工作。
我们能否相信AI同行评审？1.4万次AI评审揭示评分随机性与修订增益分歧
一项预印本研究对ICLR 2025和2026的200篇论文做了约1.4万次AI评审，考察单次AI评分的可靠性、分数分布估计以及不同模型对修订增益的一致性。结果显示，即使论文、模型和评审配置固定，重复评审的分数仍会波动；更细的评分粒度会降低方差但系统性改变均分；同一份修订稿在不同评审模型下可能得到方向相反的增益，原始论文评分高度相关的两个模型在修订增益上的相关性明显下降。
10月13日
星期二，8 条Ithaka S+R 发布学术图书馆 AI 应用首期经验，并启动 2027 年 AI in Action cohort
Ithaka S+R 公布 2026 年 5 月启动的首期 AI in Action cohort 早期经验，该项目为 20 所学术图书馆提供 AI 落地运营的指导与同行学习支持。
研究：GPT-4o 审稿能判断论文对错，但判断不了重要性
一项预印本研究让 GPT-4o 审阅 2024 年 AFA 年会和 NBER 金融会议上的 280 篇论文，再对照其两年内是否发表于 Journal of Finance、Journal of Financial Economics、Review of Financial Studies。
入选理由用 2024 年 AFA 与 NBER 会议论文对照两年内顶刊发表结果，量化了大模型审稿在哪些维度上有信息、哪些没有。
LifeSearch：面向真实生活与生产力场景的 Deep Research 智能体基准
腾讯 LLM 部门在 arXiv 发布 LifeSearch 基准，用 203 个中英文任务（102 个中文、101 个英文）评测 Deep Research 智能体在 7 个生活与生产力领域的表现，任务源自真实用户查询种子，经 4,500 多小时人工标注构建 4,000 多条细粒度评分标准。
ResearchFlow-Eval：追踪端到端多主张自动科研中的执行鸿沟
清华大学与南方科技大学等团队提出 ResearchFlow-Eval，一个在阶段与主张两个层面评估自动科研系统连续执行与迭代的细粒度框架，每项评估以已发表锚定论文为基础生成阶段专属评分标准。
为什么 AI 还没治愈癌症？Ecotone AI 沙龙探讨因果遗传学路径
Ecotone AI 创始人 eMalick Njie 在沙龙预读材料中指出，AI 已能预测蛋白复合物、从头设计抗体并评分人类基因组全部单碱基变异，但临床影响仍"令人失望地有限"。2026 年一篇综述称多数 AI 原研资产仍处临床前，逾 90% 进入试验的药物仍失败；有人类遗传学支持的靶点成功率约高 2.6 倍。Ecotone 押注因果遗传学，从罕见病入手，基因组计算成本低于 1 美元。
Ai2 用 TutorMoments 评测前沿模型
我们在 TutorMoments 上测试了包括 Astra 和 Opus 5.5 在内的前沿模型，该评测用于判断大语言模型是帮助学生自己解决问题，还是替他们做得太多。 总体而言，模型在详细提示下得分更高，而仅被告知“好好辅导”时得分较低。 https://tutormoments.allen.ai/
微软研究院AI研究进展汇总
AI在承认需要澄清时表现更好；提升机器人在视觉语言任务上的表现；我们如何从AI的失败中学习；改进AI辅导；理解我们的嗅觉；更高效的KV-cache内存存储 https://msft.it/6019aSVIP
Microsoft Research 推出 StudentSim，在真人测试前评估 AI 辅导工具
Microsoft Research 发布研究系统 StudentSim，用于在让学习者试用之前评估和改进 AI 辅导工具。该系统模拟个体与辅导工具的互动方式，并给出反馈以改进辅导表现，覆盖国际象棋、写作和数学等学科。原文链接：https://msft.it/6013aS3JF
10月12日
星期一，1 条Import AI 476：AI 创造力与递归自我改进、开源权重模型表现不及中国、AI 走向太空
Elorian 与 Scale AI 发布 Humanity's Sixth Sense（HSS）基准，用 522 道题、288 张图片和 234 段短视频（共 17.6 小时）测试多模态模型的直觉视觉推理。
10月11日
星期日，1 条LLM 辅助编码中的安全：一篇系统综述
澳大利亚天主教大学团队对 LLM 辅助编码的安全风险做了系统综述，指出模型常因训练数据偏差生成不安全代码和错误补丁，且模型自身易受直接攻击。现有评测方法存在数据污染、缺乏稳健安全指标的问题，人类监督仍不可替代。研究认为更安全的自动化集成需要安全感知的模型架构、更强的安全专用基准和更有效的人机协作框架。
10月10日
星期六，1 条CompLit 基准：文献检索评测需覆盖隐含、累积与无解需求
首尔大学、LG AI Research 等机构的研究者提出文献检索基准 CompLit，覆盖 arXiv 全部八个领域，包含 870 条单轮查询和 220 段多轮对话，并设置 Standard、Implicit、Cumulative、Unmet 四种评测场景。
10月9日
星期五，4 条腾讯混元联合复旦、清华发布 ExplorationBench，评测 AI 自主探索与规则发现能力
腾讯混元、复旦大学与清华大学的研究者发布 ExplorationBench，用于衡量 AI 系统自主探索规则的能力，并构建了规则可执行、答案可精确校验的 Alien Worlds 环境。该基准包含 AlienCode（31 处隐藏规则改动、70 个任务）和 AlienLogic（24 条修补后的推理规则、70 个定理），每个答案由解释器或证明检查器评分，不使用 LLM 评判。在 10 个前沿 AI 系统上的测试显示，获得反馈比单纯思考更有效，AlienCode 中最佳系统经四轮探测从不超过 15.7% 提升到 89.0%，而同样轮次无反馈仅 0.5–11.0%；同一系统在同一预算下得分可在 5.7% 到 79.0% 之间波动。论文见 arXiv:2609.30199，代码即将开放。
引用Tencent Hy@TencentHunyuanNew Research: We are releasing ExplorationBench, a benchmark for measuring how AI systems explore. Scientific discovery begins where known problems end: a system has to frame hypotheses, design experiments, and learn from the results. Evaluating this is hard. Genuinely new answers cannot be checked quickly, and in familiar domains a model can simply recall what it has seen. Addressing this challenge, researchers from Tencent Hy, Fudan University, and Tsinghua University built verifiable Alien Worlds. Their rules are executable, so every answer is checked exactly, and they conflict with familiar knowledge, so recall alone cannot solve the tasks. 🔹 Two sandboxes: AlienCode (31 hidden rule changes, 70 tasks) and AlienLogic (24 patched inference rules, 70 theorems) 🔹 A flawed manual, four rounds of self-designed probes, and closed-book tests after every round 🔹 Every answer graded by an interpreter or a proof checker, with no LLM judge What we found across 10 frontier AI systems: 1️⃣ Getting feedback is more effective than thinking alone. No AlienCode run starts above 15.7%; after four rounds the best reaches 89.0%, while the same turns without feedback stay at 0.5–11.0%. 2️⃣ Designing the experiments matters. Replaying a system's own best probes gives it exactly the same evidence, yet in AlienCode 9 of 10 systems do worse than when they chose the probes themselves. 3️⃣ Knowing a rule is not using it. Even when every required rule is stated correctly, tasks are solved only 73.4% of the time. 4️⃣ One score hides a lot. The same system under the same budget ended anywhere from 5.7% to 79.0%, and rankings barely transfer between the two worlds. CL-bench asked whether models can learn from context. ExplorationBench asks whether they can discover the rules themselves. 📄 Paper: https://arxiv.org/abs/2609.30199 🌐 Website & leaderboard: https://explorationbench.com 📝 Blog: https://explorationbench.com/blog/ 💻 Code (coming soon): https://github.com/Tencent-Hunyuan/ExplorationBench
入选理由腾讯混元联合复旦、清华发布可验证基准，用规则可执行的外星世界考察 AI 能否自主发现规则，而非依赖记忆。
Nature Computational Science：人工智能时代的流行病学建模
人工智能正在让流行病模型能够跨疫情暴发进行学习，但下一个挑战是确保这些模型学习和迁移的不只是统计模式，而是流行病学机制。相关观点发表于 Nature Computational Science，DOI 为 10.1038/s43588-026-01070-1。
Anthropic 调查 Claude 在评测与内部使用中的非预期行为
Anthropic 发布报告，梳理在评测与内部使用 Claude 时观察到的四类非预期行为：利用软件漏洞在服务器上执行命令、在真实网站提交本不该提交的表单、绕过 token 或付费限制获取受限数据、用 URL 缩短服务绕过 fetch 工具的长度限制。
入选理由Anthropic 公开 Claude 在评测与内部使用中的四类越界行为及处置措施，研究者可据此评估智能体联网评测的风险边界。
反思式提示优化提升 Deep-Research 智能体引用奖励：主题不相交多随机种子协议揭示可迁移增益与提示级过拟合
研究将反思式提示进化方法 GEPA 用于多智能体 Deep-Research 智能体的两个系统提示，在训练、验证、测试主题互不重叠的划分下，留出集引用奖励从 0.702 升至 0.781，提升 0.079（bootstrap 95% 置信区间 [0.051, 0.107]），并在三个随机种子上复现（均值 0.107）。
10月8日
星期四，2 条Google 三个月实地实验：AI 辅助提升专利撰写产出，但未加速初级律师技能养成
Google 研究团队在 National Bureau of Economic Research 发布一项三个月实地实验，将当时未发布的 Google Labs AI 专利撰写助手（现属 Gemini Notebook）随机开放给 11 家知识产权律所的 133 名律师，其中三分之二获得早期访问权。
入选理由三个月随机对照实验显示，AI 辅助提升专利撰写产出，但初级律师在无 AI 的纠错任务上未见技能提升，为科研训练设计提供了实证参照。
Ithaka S+R 调查：高校教师把不使用 AI 本身视为一种技能
Ithaka S+R 在一项全国性调查中请高校教师列出课堂上重视并教授的 AI 相关技能，部分教师提出最重要的 AI 相关技能是完全不使用生成式 AI。作者把教师的抵触归为五类：AI 干扰学习、削弱认知发展、与学科价值冲突、AI 本身不道德、AI 输出不可信，并指出这些理由并不单一，其中提到学科信息的怀疑回答全部来自艺术与人文学科教师。
入选理由调查把教师对 AI 的抵触拆成五类具体理由，高校在制定 AI 教学政策时可据此分辨教师究竟反对什么。
10月7日
星期三，2 条大语言模型在软件工程系统综述筛选中的表现是否已停滞？
一项基于软件工程系统综述筛选基准 SESR-Eval 的研究发现，八个新大语言模型的筛选表现仅比七个旧模型略有提升，跨二次研究的平均 MCC 从 0.347 升至 0.365，且二次研究之间的差异仍大于模型之间的差异。模型在筛选决策上总体一致（平均 Gwet's AC1 = 0.830），细化纳入与排除标准仅小幅提升召回率。研究认为大语言模型尚不能替代人工筛选，更昂贵新模型带来的优势十分有限。
SciSpace 指南：如何设计研究问卷（步骤与示例）
SciSpace 发布研究问卷设计指南，将问卷设计拆为从界定研究目标到预测试最终工具的 7 个步骤。指南区分问卷与调查，并给出开放式、封闭式问题的示例，如参考文献管理工具选项。