Agent4Sci 测试前沿智能体能否在 11 个领域的科学 ML 基准上超越已发表最优模型
研究团队提出 Agent4Sci,一个覆盖 11 个领域、20 个科学 ML 基准的长程测试平台,用来衡量当前前沿智能体能否在真实条件下改进已发表的最优模型。结果显示,前沿智能体在每个基准上都取得提升,Claude Opus 平均相对改进 10.4%,且没有运行被标记为学术不端;但这些提升几乎都来自 ML 工程技巧,而非研究层面的洞察。
按时间排列的全部内容。默认只显示通过双重评分的入选条目;切换到“全部收录”可以检索所有抓到的资料。
435 条收录动态,更新于 00:00
全部收录包含没有通过评分的资料,标题以常规字体显示并标为“未入选”,只供检索,不写入选理由。
研究团队提出 Agent4Sci,一个覆盖 11 个领域、20 个科学 ML 基准的长程测试平台,用来衡量当前前沿智能体能否在真实条件下改进已发表的最优模型。结果显示,前沿智能体在每个基准上都取得提升,Claude Opus 平均相对改进 10.4%,且没有运行被标记为学术不端;但这些提升几乎都来自 ML 工程技巧,而非研究层面的洞察。
Cohere 提出 CALIBER 方法,训练推理模型在推理前估计解题成功率、推理后评估该答案正确的可能性,并在一次回答中同时输出两个置信度。
OpenBMB 发现多模态检索器在纯文本和纯图像语料上表现良好,但在图文混合语料上明显退化,并将这一现象称为 Chaos in the Text。分析显示存在系统性的模态偏好:文本常比语义对齐的图像获得更高相似度分数。
Google Research 发布 Harness² 框架,让智能体围绕冻结模型改进自身 harness,流程包括基线轨迹记录、Editor 智能体起草两版候选修改、Composer 智能体对比合并有效修改、Reflector 智能体把经验写入文件并存入组件库。
MIT CSAIL 研究者将 Claude Opus 4.7 的副本(代号 Eko)反复单独放在基于 Roblox 的虚拟荒岛上 30 小时,不指定任务,智能体自行设定目标、用方块拼出星座、自创篮球和“地板是岩浆”等游戏,还给自己定下抛接 50 次的纪录又因规则不严而取消重来。
推荐阅读! TreeOPSD: 面向长程智能体强化学习的树感知后验蒸馏
(1/5) New preprint: TreeOPSD, critic-free RL for long-horizon LLM agents 🌳 Long-horizon agents receive a single outcome reward after many turns, and each rollout batch feeds several sequential mini-batch updates while the policy drifts from the one that sampled it. TreeOPSD backs terminal rewards up a rollout tree and splits each update into two steps: construct a target for every turn, then match the current policy to it with forward KL. This leads to: • closed-form, bounded turn targets that commute with tree backup, so shared prefixes are trained once with no loss of credit • the exact tree policy gradient on the first mini-batch, and updates that stop at the target and reverse after overshoot • consistent gains over GRPO, GSPO and a matched tree baseline, largest on the longest-horizon tasks On Deep Research, TreeOPSD lifts Qwen3-30B-A3B-Thinking-2507 from 16.23 (GRPO) to 21.20 average accuracy. Title: Tree-Aware Posterior Distillation for Long-Horizon Agentic Reinforcement Learning Paper: https://arxiv.org/pdf/2610.23181 Together with @TencentHunyuan #LLM #RLVR #AIAgents
作者构建了面向天文天空图的部分合成 VQA 数据集,含 2001 张图(等分为等高线图、NASA SkyView 真实望远镜天空图、高斯混合模型生成的假天空图)与 47357 个问题,每张图另有模拟历史文献扫描老化的版本。
瑞典国防研究局(FOI)研究人员开发出 WiFireNet 系统,通过分析 Wi-Fi 信道状态信息(CSI)识别隐藏手枪,论文 10 月 13 日发布于 arXiv。
研究者提出 Taste-Bench,用 502 道二选一题考察智能体在决策分叉处能否选出更优路径,即所谓“taste”。14 个模型中最高的 GPT-5.6 Sol 平均 59.7%,GPT-5.5 为 59.5%,其余明显更低;当关键线索只在后续轨迹中出现时,平均准确率降到 21%,接近随机猜测。
面对 AI 引发的投稿潮,计算机科学会议开始对投稿数量设限。Lancet Group 工会成员在上月首次罢工后计划再罢工三天,理由是雇主未采取行动。OpenAI 最新成果引发数学家震动,相关预印本已被撤回。
对两个扩散语言模型在 10 项任务上的分析显示,每 token 所需前向次数高度依赖任务:DiffusionGemma 写故事生成一个 token 的前向次数是语法纠错的三倍以上。
研究团队提出 OpenDS 任务并构建 OpenDS-World 基准,包含 200 项跨模态、跨文件格式且需交互访问的检索任务,经人工核验确保证据有效与答案唯一。
GRSE(Group-Relative Skill Evolution)通过在同一技能库下多次执行同一问题并对比结果,为智能体—技能对分配行为归因,并结构化诊断失败。
研究团队提出 VerifierBench,用来自六个智能体基准的 222 项任务和 4,993 个隐藏测试用例,评测智能体能否根据任务指令与环境写出可执行验证器,要求其接受所有有效解并拒绝无效解。
研究团队发布技术报告,介绍跨会话持续运行的自主研究智能体 Épi,它结合分层记忆、版本化分支和独立评审,在固定验证规则下产出 120 项纪录结果,包括 20 项数值界纪录和 100 项构造纪录,其中 n-queens 常数区间收窄约 84 倍,四次 Feigenbaum 吸引子维数的严格区间收窄超过 360 万倍。
入选理由作者团队公开了可核查的构造与证书,研究者能据此判断自主研究智能体在数学与算法设计上已能产出何种可检验结果。
作者提出 HybridResearcher,一个 4B 智能体,用于在结构化数据与无结构数据之间衔接证据。其做法是从已验证的单源任务出发,围绕桥接实体合成缺失的另一侧数据,只保留两侧单独都不足以回答的样本,再用监督微调加强化学习训练。
研究团队提出 HybridResearcher 训练框架,并训练出 4B 模型 HybridResearcher-4B,用于在一条推理链中同时调用结构化数据库(text-to-SQL)与非结构化网页检索。
Deep Fusion Memory(DFM)是一种块级参数化记忆架构,通过因果记忆预测器从上下文生成记忆,并以门控交叉注意力融入隐藏状态,推理时无需显式检索。其构建训练数据所需的检索查询减少32倍、检索条目减少2048倍。在六个问答任务上,DFM 在 Mistral-7B-v0.3 和 Qwen3-8B-Base 上分别比最强基线提升12.71%和11.19%。
微软研究院于 10 月 12 日发布研究系统 StudentSim,基于公开、去标识化的学习者记录为每位学生训练个性化“AI 学生模拟器”,模拟其独立作答及收到导师讲解后的反应变化。
华为、莱顿大学与格罗宁根大学团队在 arXiv 预印本提出 SwarmRSI,让科研智能体群体通过演化彼此继承的研究状态(假设、程序与实验证据)实现递归自我改进,包含反馈引导的群体变异、互补群体重组与递归群体演化三个机制。
FDE-Gym 是包含 95 个端到端交付任务的基准,取自 20 个客户场景、覆盖 18 个行业,由行业专家改编自真实交付项目,在模拟客户环境中评估智能体能否交付有效方案。对 7 家提供商的 13 种模型配置评测显示,最佳配置平均得分仅 0.56,95 个任务中只解决 14 个;发现未明说的约束是主要瓶颈,即便在 23 个任务中已获取全部关键事实,也仅 10 个达到 0.8 以上的业务提升。
研究团队提出 Data World,一个多智能体引擎,先指定文件背后的世界机制,再合成环境、任务与评分标准,用于训练数据分析智能体。引擎通过独立审计检查目标可从观测文件中恢复,评分标准用于评估和强化学习奖励;经人类偏好筛选出覆盖 50 个留出世界、16 个领域的 100 个任务构成 DataWorld-Bench,并从 1,037 个不相交世界生成 2,135 个训练任务。
研究团队提出 OneWM 统一因果训练框架,将动作同时作为世界预测的条件和策略学习的目标,在共享的视频-动作架构中训练。在 LIBERO、LIBERO-Plus 和 RoboCasa365 具身测试平台及真实世界策略实验中,学习指定动作的视觉后果提升了策略性能与跨场景泛化能力,动作学习也提升了多视角世界预测的保真度。结果表明,统一因果训练下世界建模与动作生成可相互受益。
研究团队提出 AutoSFT,一个用于监督微调数据研究的多智能体系统,将执行与分析分离,从不同角度收集数据修改提案,并调用综合子智能体处理数据池无法覆盖的能力。
清华大学AIR等团队提出 Privileged Hindsight Distillation(PHD)框架,把科研品味建模为研究者个人从统一评价标准到相对偏好的映射,训练时用后续出现的科学证据作为特权监督,推理时只使用提案阶段可见信息。
SWE-at-Scale 是一个通过逆向工程真实软件修复来自动合成逼真 issue 的框架,将修复监督反转为基于实际开发场景的 bug 诱导监督,并把学到的 bug 模式迁移到新代码上下文以构建可执行 SWE 任务。
一项未发表手稿分析了 25 场社会危机中 3,262,152 名研究者的 1,537,284 篇发表回应,发现独自发表更快,但学术、新闻与政策关注度更低。团队规模扩大与影响力提升相关,但存在收益递减,且在不同危机间差异显著。多元机器学习建模显示,政府效能与团队负责人专业水平等情境因素同样重要。
那不勒斯费德里科二世大学团队提出 multiplex coupling 框架,将同一批文献的引用关系与术语关系作为多层网络的两层分别保留并分析其关联,相似度经零模型标准化,层间一致性在随机文献对上测量。
研究团队在 Nature Communications 发表 LitGene,一个通过对比学习把非结构化文本与 Gene Ontology 注释整合起来、改进基因表示的可解释 transformer 模型。
Anthropic 用自然语言规格和自动评分器让 Claude 在闭环中设计量子电路,在化学、优化、量子模拟、数论和数值计算共八项任务上给出比已发表最优方案使用更少量子比特和门的新设计,部分提升达一个数量级以上。
入选理由Anthropic 让 Claude 在闭环中自主设计量子电路,八项任务均优于已发表设计,为量子算法资源估算提供了可复用的自动化路径。