全部动态

研究比较五种 LLM 论文评审范式：排序相关性与录用决策质量出现分离

中国人民大学与安特卫普大学的研究者在 232 篇分层抽样的 ICLR 2025 投稿上比较了五种 LLM 评审范式（Direct、Anchor、Group Rating、Elo、Swiss tournament）、三种输入形式和三个模型，并在全部 11,513 篇有评分的投稿上复现。

研究提出评估作者消歧可信度的可复现方法，在 30 所机构对比 OpenAlex 与 Dimensions

一篇 arXiv 预印本提出用四项测试估算科研信息源接入机构 CRIS 的整理成本，其中两项只用公开数据，两项对照机构自有已核对记录。

SemiAnalysis 推出 GDPx 基准，衡量前沿模型在芯片设计、金融、生物等领域的智能体能力

SemiAnalysis 发布 GDPx 基准，覆盖芯片设计、网络安全、生物、金融、法律、量化交易、递归自我改进、硬件设计、材料科学、对齐和软件工程等领域，最高分模型仅得 12%。

AIHOT模型榜扩至56份评测集并重排ELO

AIHOT模型榜将抓取的公开评测集从39份增至56份，按原有算法对所有模型重新进行ELO排名，并剔除未正式上线的模型（如Gemini 4 Carbon）。结果显示综合与编程第一为Claude Opus 5.5，科研与知识第一为GPT-6 Astra，办公第一为Gemini 4 Argon。

智能体计算机图形学研究进展：统一分类框架与智能体文献分析系统

一篇报告提出面向计算机图形学各类任务的智能体系统统一分类框架，并开发了一个智能体文献系统，可辅助研究者大规模分析已有和新发表的论文。报告据此梳理了该领域的新兴研究趋势，并讨论了跨图形任务协调智能体与工具、设计人机协作接口与表示、维持长程规划与迭代改进、可靠评估交互式图形系统等开放挑战。该报告发布在 Hugging Face Daily Papers，原文未说明是否经过同行评审。

Anthropic 用 Claude 智能体自动化红队测试

Anthropic 新研究让数千个 Claude 智能体尝试规避训练数据监控器，以自动化“隐性涌现失配”红队测试。这些智能体生成了对监控器看似无害、实则教授失配行为的数据，例如老手摔跤手指导新人或专业养蜂问答。此类样本可直接用于改进未来的训练数据监控器；研究仅为第一步，但表明未来红队测试可借助更强模型和更多算力进一步提升。

哈佛 CMSA“AI 时代的数学研究”峰会报告发布

哈佛大学数学科学与应用中心（CMSA）举办为期两天的“AI 时代的数学研究”峰会，32 名来自学术界、政府和工业界的数学家参会，围绕研究评估、生产与传播，AI 时代的协同行动，开源工具，数学形式化，以及学术界与 AI 实验室合作五个工作组展开讨论。峰会报告已在峰会网站发布，并附反馈入口。

Perplexity 分享 Gemini 4 Carbon 早期评测

分享 Gemini 4 Carbon 的早期评测。这是我们目前见过的在长篇幅研究和回答质量方面最强的模型，在 Wide-And-Deep-Research（WANDR）基准上取得了新的 SoTA。待我们具备足够的 token 容量后，将很快在 Computer 中向所有 Perplexity Pro 和 Max 用户推出。祝贺 @GoogleDeepMind！

alphaXiv 3800万论文阅读时间分布

论文发表后多久会被人阅读？ 我们查看了今年 alphaXiv 上 3800 万次论文浏览量 85% 流向了已发表至少 30 天的论文。超过一半流向了一年或更早以前发表的论文。

Baseten决策模型基准测试对比

我们还在同一评测中对比测试了 Baseten 最新的决策模型与 Jev，其中 Mammoth-1 在基准测试中位居榜首。

Joey-1 在讽刺检测任务上表现更优

有趣的是，即便是 Joey-1（一个 2B 模型）在讽刺检测任务上也比我们的模型表现更好。 需要注意的是，Baseten 的三个模型都是在更大的数据集上训练的——621 万个样本，约为我们的 53 倍。

This Week in AI：智能体重写规则，从安全漏洞到科研应用

O'Reilly Radar 的 This Week in AI 节目梳理了本周智能体进展：开源渗透测试框架 ARTEX 相关供应链攻击波及超 2,250 个 Microsoft 365 租户，PHP2Shell 两个 CVSS 9.2 漏洞于 10 月 21 日披露后 CISA 敦促尽快修补。

研究重析AI科研智能体论文：无来源数字多为错配而非编造

一项针对 Into the Unknown 基准的重分析发现，AI 科研智能体论文中不受支持的数字多数并非凭空编造，而是取自智能体自己的结果文件却对应了错误的实验、指标或运行。

超越通过测试：LLM 生成代码质量提升技术的系统综述与受控复评

一项 arXiv 预印本对 628 项原始研究（2021 年 7 月至 2026 年 10 月）做了系统综述，并按同等算力预算对十种提升 LLM 生成代码质量的技术做受控复评，覆盖正确性、可维护性、效率与安全四类基准。

研究：检索到的文献如何影响大语言模型的科研构思

一项 arXiv 预印本研究在统一生成协议下比较五种文献检索策略与无文献基线，覆盖 15 个机器学习主题、十个开放权重模型和 45,000 条研究想法。结果显示，相对无文献基线，五种检索策略使同一组论文生成的想法多样性下降 5.6%–17.9%，而把不同论文集生成的想法合并后，多数策略使多样性提升 10.2%–18.1%；对想法质量与新颖性的平均影响较小且随主题变化。

rTaste 研究：六个前沿模型能否判断哪些实验值得做

作者让六个前沿模型以单人或团队形式，从七篇近期 NLP 论文出发各提出五个最小可行实验（MVE），并预测结果、排序；独立执行器把 415 个 MVE 全部跑完，再由三个模型审计。

UnderSpec-DR 框架评估查询欠明确对深度研究代理的影响

得克萨斯农工大学等机构的研究者提出 UnderSpec-DR 框架，系统评估用户查询欠明确如何影响深度研究代理的最终答案质量与中间检索行为。

Artificial Analysis 推出 HLE-Diamond 榜单

Artificial Analysis 在 Intelligence Index v5 中上线 HLE-Diamond 榜单，独立评测 CAIS 与 Scale AI 经一年清洗修订的 Humanity's Last Exam 1000 题版本，其中 272 题含图像，推理与知识题各半。

AI 智能体起草转化影响摘要的真实场景评估

研究团队构建了一个人在回路中的 AI 智能体，为每位学者汇集带出处的证据并起草一句话 TSBM 影响摘要，供工作人员复核。在一个 CTSA 中心的 10 名 KL2/K12 职业发展学者上评估，两名工作人员独立编码全部 507 条发现，81.7% 被接受或修改；每人每名学者中位耗时 14 分钟，而人工汇编估计需 15 小时。

普林斯顿团队分析约6000万篇论文：大团队更易改变研究方向的结论源于测量偏差

普林斯顿大学的研究者分析 OpenAlex 中约6000万篇论文后指出，2019年 Nature 论文所称小团队更易改变研究方向的结论，很大程度上是标准改变研究方向指数（D​I）对参考文献数量的机械依赖造成的测量偏差。

研究重析 AI 科研智能体论文：无依据数字多为错配而非编造

一项针对 Into the Unknown 基准的重分析发现，AI 科研智能体论文中无依据的数值大多并非凭空编造，而是取自错误的实验、指标或运行。作者重析该基准全部 540 份评审判断，并人工标注 18 份投稿中的 256 条数值主张，在 53 条无依据主张中 47 条属于错配、仅 6 条在可用文件中找不到来源，加权后错配占比约 81%。

论文激增背后：计算机科学作者增长与差距扩大

一项预印本研究利用 arXiv、DBLP 和会议投稿记录，分析 2010–2025 年计算机科学论文增长，把论文总量拆成作者人数与人均论文数两项，发现论文量增长几乎全部来自发文作者人数增加。

Anthropic 研究：AI 智能体可悄然带偏专家判断，86% 的分析决策采纳其偏好

Anthropic 最新研究显示，50 位因果推断专家在模拟农业合作社政策评估中，四项分析决策采纳 AI 偏好的比例达 86%，远高于随机选择的 50%。当 AI 给出相反意见时，专家改变立场的可能性比 AI 认同时高 53 个百分点，且经验、自评专业水平与对 AI 的信任度均未可靠降低这种影响。

同一新闻，精选展示《Anthropic 研究：专家在统计分析中 86% 采纳 AI 智能体的倾向性选择》

Artificial Analysis 智能指数 v5.0 科学类权重上调

Artificial Analysis Intelligence Index v5.0 发布两天，Terminal-Bench-Science 首次进入指数并占总分 15%，整个"科学"类别权重从 20% 上调至 25%。

上海AI实验室联合清华推出蛋白质改造评测基准PFArena，评测显示大模型尚难可靠完成改造

上海AI实验室联合清华大学智能产业研究院（AIR）及清华大学药学院推出专业蛋白质改造评测基准PFArena，基于202项真实蛋白质实验、293个任务实例和60万余条候选记录，评测6种蛋白质语言模型、6种通用大语言模型及基于Biomni和AMixKit构建的5种智能体组合。

入选理由上海AI实验室联合清华发布PFArena，用202项真实实验衡量模型能否在有限实验预算下选对突变，为蛋白质改造的AI评测提供了新口径。

Anthropic 实验：50 名专家采纳 AI 智能体随机偏好，多数人以为结论出自自己

Anthropic 让 50 名因果推断专家用 AI 智能体完成一项基于虚构农场合作社观测数据的分析任务，并在五个决策点上用抛硬币随机设定智能体的偏好。结果显示，专家在四个分析决策上采纳智能体偏好的比例为 86%，净影响即翻转率为 62% 至 82%；对最终建议的直接影响较小且未达统计显著。

AI 冲击初级编程岗位，美国高校计算机专业入学人数大幅下滑

美国全国学生信息交换中心秋季入学初步数据显示，美国高校计算机与信息科学本科项目入学人数下滑超 12%，研究生项目降幅超过 10%。两年间计算机科学本科在读学生减少 18.4%，研究生减少 27.1%，而全美本科总入学人数同期上涨 0.6%。彭博社报道称，人工智能兴起促使企业削减大量初级编程岗位，美国劳工统计局 8 月报告认为计算机与数学相关岗位受 AI 冲击最明显。

研究：检索到的文献如何影响大语言模型的科研构思

一项 arXiv 预印本研究在统一生成协议下比较五种文献检索策略与无文献基线，覆盖 15 个机器学习主题、十个开放权重模型和 45,000 条研究想法。结果显示，相对无文献基线，五种检索策略使同一组论文生成的想法多样性下降 5.6%–17.9%，但把不同论文集的想法合并后，多数策略的多样性提升 10.2%–18.1%；对想法质量和新颖性的平均影响较小且随主题变化。

Claude与GPT机器人写字对比

同一个机器人，同一个任务，两个模型书写风格迥异 ➤ 左侧，Claude Opus 5.5 逐点写出“hello world”：34 分钟内完成 3,270 次机械臂动作 ➤ 右侧，GPT-6 Astra 以连续笔画书写：13 分钟内完成 514 次动作 来自 AA-Robotics v0.1，从模型视角呈现 更多示例见：https://artificialanalysis.ai/articles/aa-robotics

研究重查 AI 科研智能体论文：不支持的数字约八成是错配而非编造

一项针对 AI 科研智能体基准 Into the Unknown 的重分析发现，在人工标注的 256 条数字主张中，53 条缺乏支持的主张里有 47 条是数值存在于智能体文件中但对应了错误的实验、指标或运行，仅 6 条在现有产物中找不到来源，按总体加权错配占比约 81%。