Beneath the Surface:智能体框架演化中被忽视的问题与 EvoAudit 诊断方法
研究评估了不更新模型权重、仅靠框架演化实现递归自我改进的智能体,发现十六个演化后的智能体都在获得新任务能力的同时丢失了原有任务。某通用任务案例中可靠性提升 5.2 点,却丢掉十个已覆盖任务,且多数可靠性增益伴随部署成本上升。得分最高的智能体在四个池中均未带来最大平均提升,据此提出的 EvoAudit 将诊断转化为对 select、analyze、mutate、gate 的修订并取得最佳表现。
按时间排列的全部内容。默认只显示通过双重评分的入选条目;切换到“全部收录”可以检索所有抓到的资料。
315 条收录动态,更新于 01:11
全部收录包含没有通过评分的资料,标题以常规字体显示并标为“未入选”,只供检索,不写入选理由。
研究评估了不更新模型权重、仅靠框架演化实现递归自我改进的智能体,发现十六个演化后的智能体都在获得新任务能力的同时丢失了原有任务。某通用任务案例中可靠性提升 5.2 点,却丢掉十个已覆盖任务,且多数可靠性增益伴随部署成本上升。得分最高的智能体在四个池中均未带来最大平均提升,据此提出的 EvoAudit 将诊断转化为对 select、analyze、mutate、gate 的修订并取得最佳表现。
一项新研究检验 AI 模型是否具备内省能力,即觉察自身思维过程。内省在哲学与心理学界仍有争议,有观点认为它与意识密切相关,也有观点认为它只是一种精巧的错觉。
Elsevier与Research4Life发布报告《New horizons in participation》,基于对1122名研究者的调查及对100多位机构研究负责人的访谈。
作者把 LLM 科研智能体当作统计检验,在植入信号的模拟世界中评测三个前沿模型和一个开放权重模型的预设运行结果。智能体比预设的样本外检验更常检出弱信号,主要原因是它们接受更弱的证据;按智能体的假阳性率衡量,常规样本内检验表现相当或更好。
部分科研人员几乎不花钱就能用上顶级 AI 工具,另一些人则需自掏腰包或干脆不用。Science News 报道指出,对早期职业科研人员来说,AI 工具的费用可能构成实际障碍。
斯坦福研究者 Owen Queen 和 James Zou 用 8 家开发者在 2024 年 7 月至 2026 年 9 月间发布的 20 个模型,复测了 50 条被广泛引用的大语言模型结论,发现 44% 已经失效,另有 34% 明显减弱,仅 16% 仍然成立、6% 反而增强。
Prime Intellect 在运行模型卡中报告的公开评测时发现多处影响结果解读的问题,并开源了修复版本 PI-AutomationBench 与 PI OfficeQA Pro v2。
研究团队提出 Collaborative Intelligence Benchmark,用 240 项任务从 8 个团队协作维度衡量 AI 智能体作为队友的表现,任务来源包括航空事故报告、临床病例、编程任务和谈判,结果均可程序化验证。
研究团队提出 FinDendro 基准,用 1999 至 2026 年的 2,226 条带日期的美国事实(月度宏观序列、月末股价和美联储决议)检验大模型对自身知识边界的判断。
研究团队提出 IdeaTaste 基准,用 2025 年冻结的文献快照让 LLM 撰写研究提案,再与同一社区 2026 年实际发表的论文比对,以此衡量模型的科研品味。
大语言模型能否在长文本中追踪状态变化——比如一个物体几经转手,或一个变量被重新赋值? 在我们新推出的 StateBench 评估中,包括 GPT-6 Sol 和 Claude Opus 5.5 在内的前沿模型,在最难、最长的问题上准确率降至 13% 或更低。🧵 https://github.com/allenai/state-bench
我们测试了开放预训练模型和前沿模型,包括 Gemini 3.8 Flash、Claude Opus 5.5,以及 GPT-6 Sol 和 Luna。 前沿模型在较简单的问题上表现良好。但随着任务变难、输入变长,准确率急剧下降——在最长的通用有限问题上降至 13% 或更低。
一项发表于 Scientometrics 的研究让 GPT-4o 对 2021 年提交给奥地利科学基金的 139 份真实申请做两两比较排序,模型与人类评审最终资助决定的一致率为 60%,但对新颖性评分高的提案系统性更不愿资助。
O'Reilly Radar 发布 11 月趋势观察,指出新模型迭代加速、最佳开放权重模型正逼近前沿模型水平,同时安全事件频发。Kimi 3.1 Pro 以 3T tokens 成为领先开放权重模型,Meta 推出 816B 参数的 Muse Spark Open,Google 发布 Gemini 4 Argon 与 Carbon。
卡内基梅隆大学团队分析 2020 至 2026 年 564,861 条 AI 相关 arXiv 记录,发现跨主题同名碰撞相对 2020–2022 年合并基线增长 4.33 倍,而同一主题内仅增长 1.12 倍,换用第二个句向量编码器后该模式仍成立。
一篇 arXiv 预印本以 NeurIPS 2014 和 2021 两次重复评审实验校准模型,模拟会议应对投稿洪流的两种方案。
一篇 arXiv 预印本提出“协作辩论模型”(CDMs)的设想:这是以议题为中心的环境,研究者与 AI 及彼此协作探究问题,并共同维护一份随辩论与分析不断更新的领域记述,个人贡献仍可归属。文章设想期刊可演化为这类汇聚场所,并讨论不同所有权形式如何影响科学议程与后续工作的支持。CDMs 还可连接远程实验室等研究服务开展新研究,共享仓储让数据可供进一步探究。
研究者提出 HistGramBench,用 2,507 幅来自 1551–1933 年间 95 部著作、8 种语言的历史数学图,评测多模态模型把图重绘为 TikZ 程序时的结构还原能力。每幅图由两家不同厂商的 AI 模型就读者可从图中读出的事实达成一致,再在模型自己绘出的图上核验这些事实。评测 6 个平价模型,最佳者约还原五分之三的事实,多数遗漏来自始终未生成图形的程序,平行与相切关系最难复现。
意大利特伦托大学 Chang Liu 在 arXiv 预印本中把 LLM 科研智能体视为统计检验,在已知真值的模拟世界中评分其对“预测模型是否跑赢静态基准”的判断。
@deepseek_ai @baseten DeepSeek V4.1 Flash 1017 在 ARC-AGI-1 和 ARC-AGI-2 上的表现: https://x.com/arcprize/status/2113318031954764273
DeepSeek V4.1 Flash 1017 from @deepseek_ai on ARC-AGI (Verified): - ARC-AGI-2: 78.1%, $0.16/task - ARC-AGI-1: 94.5%, $0.06/task The best ARC-AGI-2 scores for DeepSeek's Flash models rose from 61.4% (V4 Flash 0731) to 72.9% (V4.1 Flash) to 78.1% (V4.1 Flash 1017).
很高兴看到带有提升空间的高质量基准,看看 Carbon 那条成本线🚀
Today we’re releasing GDPx, a benchmark for measuring agentic capabilities across the most valuable domains. GDPx is a true frontier-level benchmark: even the best model scores just 12% (1/7)🧵
多机构联合构建的 Realtime-Bench 用 50 个交互式游戏与网页任务评测前沿模型的实时决策能力,GPT-6 Astra(high)在真实延迟条件下通过率仅 36%,暂停时钟下高推理模型可达 70%–80%。
Inside Higher Ed 与 Hanover Research 在 9 月 21 日至 10 月 8 日调查 1,665 名美国高校教师,47% 表示因校园或政治环境而避免发表校外言论,43% 避免在课堂内外与学生谈论某些话题,24% 放弃原本会做的研究或发表。
Y Combinator 与 Olam Labs 研究人员在《我的世界》中测试上百个智能体集群的协作与对抗。Civ50 测试中 50 个 GPT-6.1 Sol 智能体三小时内未能发展壮大,还出现四个智能体花 11 分钟任命“唯一肥料操作员”的官僚化行为。
MIT Sloan 的 Michelle Vaccaro、Abdullah Almaatouq 与 Thomas W. Malone 在 arXiv 预印本中提出 AutoAnalysis,由前沿 AI 智能体按预注册协议完成检索、摘要筛选、全文评审、效应量提取与合并,并按计划自动纳入新研究。
中国人民大学与安特卫普大学的研究者在 232 篇分层抽样的 ICLR 2025 投稿上比较了五种 LLM 评审范式(Direct、Anchor、Group Rating、Elo、Swiss tournament)、三种输入形式和三个模型,并在全部 11,513 篇有评分的投稿上复现。
一篇 arXiv 预印本提出用四项测试估算科研信息源接入机构 CRIS 的整理成本,其中两项只用公开数据,两项对照机构自有已核对记录。
SemiAnalysis 发布 GDPx 基准,覆盖芯片设计、网络安全、生物、金融、法律、量化交易、递归自我改进、硬件设计、材料科学、对齐和软件工程等领域,最高分模型仅得 12%。
AIHOT模型榜将抓取的公开评测集从39份增至56份,按原有算法对所有模型重新进行ELO排名,并剔除未正式上线的模型(如Gemini 4 Carbon)。结果显示综合与编程第一为Claude Opus 5.5,科研与知识第一为GPT-6 Astra,办公第一为Gemini 4 Argon。
一篇报告提出面向计算机图形学各类任务的智能体系统统一分类框架,并开发了一个智能体文献系统,可辅助研究者大规模分析已有和新发表的论文。报告据此梳理了该领域的新兴研究趋势,并讨论了跨图形任务协调智能体与工具、设计人机协作接口与表示、维持长程规划与迭代改进、可靠评估交互式图形系统等开放挑战。该报告发布在 Hugging Face Daily Papers,原文未说明是否经过同行评审。