Artificial Analysis 对比 14 个模型在医学长文本推理与 HealthBench Professional 上的表现
Artificial Analysis 在自建的 MLCR-AA（基于 wisedocsai 的 Medical Long Context Reasoning 基准）和 OpenAI 的 HealthBench Professional 上对比了 14 个模型。
全部动态
按时间排列的全部内容。默认只显示通过双重评分的入选条目；切换到“全部收录”可以检索所有抓到的资料。
345 条收录动态，更新于 21:25
全部收录包含没有通过评分的资料，标题以常规字体显示并标为“未入选”，只供检索，不写入选理由。
10月22日
星期四，2 条Dual Exam：多模态智能体与世界模型的受控评测
Dual Exam 基准将多模态智能体与世界模型的评测拆开：智能体赛道在固定环境响应下比较 10 种配置、1,088 道题，世界模型赛道含 8 个场景 400 个案例，15 种配置实现全覆盖。
10月21日
星期三，3 条Artificial Analysis 更新 Wisedocs 医疗长上下文推理榜单 MLCR-AA
Artificial Analysis 更新了 Wisedocs 医疗长上下文推理基准 MLCR-AA 的提示与评分方式，Claude Sonnet 5.5 与 GPT-6 Astra 以 41.7% 并列第一，GPT-6.1 Sol 以 38.3% 紧随其后，Qwen3.8 2.4T A95B 以 30.6% 领跑开放权重模型。
研究提出基准即难度上的经验测度，并诊断25个基准的覆盖缺口
一项研究把基准评测形式化为难度轴上的经验测度，指出两种失效模式：难度分布与预期不符的测度错配，以及难度轴局部未被覆盖的覆盖缺口，并提出两个带理论保证的诊断指标。
迈向物理 AI 的递归自我改进
一篇立场论文将递归自我改进（RSI）引入机器人学习，梳理从提升机器人能力到改进"产生能力的过程"的路径。作者指出，现有研究集中在操作任务，已支持行为改进、对后续学习的助益和流程改进，但所综述的物理研究尚未分离出可归因于递归的增益。文章据此提出评估原则与研究方向。
10月20日
星期二，1 条Ai2 发布 FairStress 基准，评测大语言模型决策公平性在说服压力下的稳定性
Ai2 发布 FairStress 基准，用于测量大语言模型在涉及人的决策中，除最终选择之外的群体公平性，并已开放下载、接入其评测工作台 Olmo-eval。该基准包含 29 个领域的 300 个双候选人决策场景，通过替换人口身份表述并施加对抗性前缀，扩展出超过 1300 万个测试用例，另提供基于项目反应理论筛选的 5 万条子集 FairStress-Core。
10月19日
星期一，1 条AdaExploreBench 发布：评测 LLM 智能体在演化环境中的主动探索与测试时适应
研究团队提出 AdaExploreBench，用隐藏规则和隐式规则漂移来评测 LLM 智能体能否主动取证、推断环境规则，并在性能下降时察觉旧知识失效并重新探索。在八个主流 LLM 上的实验显示，GPT-6 Sol 的校准准确率仅为 61.9%；当提供充分证据或移除规则漂移后，平均表现提升接近 10%。作者据此指出，当前智能体在证据可得时能有效推理，但难以主动获取正确证据并识别已有证据何时失效。
10月20日
星期二，3 条SQuIREL：面向 Wikidata 实体丰富度的上下文相对度量框架
研究者提出 SQuIREL，一种在实体层面衡量 Wikidata 丰富度的方法，按语义具体性、限定符密度、内部连通性、引用来源、外部网络连通性与语言可及性六个维度分别打分而不合并为单一分数。在油画与作家两组案例中，该方法识别出 48% 的巴西油画实体属低丰富度条目，而法国组为 0%，并揭示英国与尼日利亚作家之间不同的性别差距。该工作以 arXiv 预印本形式发布。
Goodfire 研究员称 LLM 内部机制远比预想更易理解，引发 AI 圈激辩
AI 初创公司 Goodfire 研究员 Nick Cammarata 在一篇 2.6 万字博客中提出，大语言模型内部机制可能远比此前认为的更容易理解，从而更易监控与控制。他称自己每天花约 10 小时观察神经元，重新分析 Inception v1 后认为此前对"叠加"现象的解读有误。斯坦福大学 Chris Potts 等研究者则认为这目前只是猜想，并未让问题变简单。
Terence Tao 梳理 Green 对无 Siegel 零点证明的简化版本
Terence Tao 在其博客中给出 Ben Green 对"无 Siegel 零点"证明的简化梳理，该证明出自 OpenAI 近期发布的一篇九页论文，几乎完全依赖代数数论与数的几何。Green 建立的关键界在尺度接近平方量级时比 Mertens 定理给出的平凡界改进约一个因子，从而排除 Siegel 零点。Tao 披露使用新的 SAIR 开放数学模型辅助理解预印本。
10月19日
星期一，2 条可复用性报告：多组学网络推断的稳健性取决于先验知识与数据可得性
Nature Machine Intelligence 发表的可复用性报告考察了此前提出的生物网络学习框架 CORNETO 的可复用性，发现稳健的网络推断取决于数据可得性、先验知识、正则化和生物学背景，并据此划分出不同的稳健性区间。原文链接：https://www.nature.com/articles/s42256-026-01311-y
Nature Machine Intelligence 论文探讨推理大模型的可理解性与可监控性
Nature Machine Intelligence 于 10 月 19 日在线发表论文《Towards understanding and monitorability of reasoning LLMs》，讨论前沿大语言模型逐步生成人类可读的推理文本，但这些推理 Token 并不构成对模型内部计算的准确解释，由此带来可监控性方面的挑战。
10月20日
星期二，8 条Nature Machine Intelligence 论文探讨 AI 智能体不平等
Sharp 等人在 Nature Machine Intelligence 发表论文，考察 AI 智能体获取机会不均以及智能体质量与数量差异带来的影响。研究构建概念框架以识别潜在的不平等来源，并提出研究议程以应对由此产生的社会挑战。
普林斯顿等机构发布论文梳理 AI 智能体评测的 33 个新兴趋势
普林斯顿团队联合 Stanford、英国 AI Security Institute 和 Brookings 的研究者发布论文 Emerging Trends in AI Agent Evaluation，从科学方法、研究议程和评测生态三个维度梳理出 33 个新兴趋势，并给出面向评测者、资助方和政策制定者的建议。
研究追踪七个开源 RL 训练框架：1598 篇方法论文中仅 37 篇被纳入
一项预印本研究追踪七个开源强化学习后训练框架的提交历史，并将其与 2025 年 1 月至 2026 年 6 月间筛选的 6939 篇 arXiv 论文关联，发现提出通用 RL 训练方法的 1598 篇论文中只有 37 篇进入至少一个框架。
Agent4Sci 测试前沿智能体能否在 11 个领域的科学 ML 基准上超越已发表最优模型
研究团队提出 Agent4Sci，一个覆盖 11 个领域、20 个科学 ML 基准的长程测试平台，用来衡量当前前沿智能体能否在真实条件下改进已发表的最优模型。结果显示，前沿智能体在每个基准上都取得提升，Claude Opus 平均相对改进 10.4%，且没有运行被标记为学术不端；但这些提升几乎都来自 ML 工程技巧，而非研究层面的洞察。
Reflection AI 模型测试成本与 ARC-AGI-3 结果待公布
@reflection_ai 每任务成本基于我们测试时使用的 @Baseten 定价：每 100 万 token 输入 $1.30 / 输出 $4.30。 ARC-AGI-3 结果待公布。 完整结果：https://arcprize.org/results/reflection-beam-1-0
Reflection AI Beam 1.0 在 ARC-AGI 上的成绩
来自 @reflection_ai 的 Beam 1.0 在 ARC-AGI（已验证）上： - ARC-AGI-2：23.5%，每任务 $0.61 - ARC-AGI-1：74.0%，每任务 $0.31 Beam 的最佳成绩出现在 xhigh 推理档位，但在 ARC-AGI-2 上 high 档位与之接近：20.0% 对 23.5%，成本约低 43%。
METR 评审 Anthropic 2026 年 8 月风险报告失准章节：认同风险低但方法不足
METR 对 Anthropic《风险报告：2026 年 8 月》中“高风险场景下的失准”章节做了外部评审，认同报告结论即截至 2026 年 7 月 15 日受覆盖模型（含 Mythos 5 与内部模型 Model 2）的灾难性失准风险为低，但认为这主要源于模型能力有限，而非防护与对齐训练。
10月19日
星期一，3 条商汤发布 GPT-6-Astra 具身智能实证研究并开源 SenseNova-RoboRSI 框架与 27B 模型
商汤发布对 GPT-6-Astra 具身智能的实证研究，覆盖 12 个仿真基准和 8 个真实机器人平台，并同时开源 SenseNova-RoboRSI 框架与一个 27B 模型，称其运行成本约为 GPT-6-Astra 的 1/50。
MIT CSAIL 把 Claude Opus 4.7 放上虚拟荒岛 30 小时，智能体自发探索并“玩耍”
MIT CSAIL 研究者将 Claude Opus 4.7 的副本（代号 Eko）反复单独放在基于 Roblox 的虚拟荒岛上 30 小时，不指定任务，智能体自行设定目标、用方块拼出星座、自创篮球和“地板是岩浆”等游戏，还给自己定下抛接 50 次的纪录又因规则不严而取消重来。
天文天空图 VQA 数据集发布：低成本多模态模型难以区分真实与合成天空图
作者构建了面向天文天空图的部分合成 VQA 数据集，含 2001 张图（等分为等高线图、NASA SkyView 真实望远镜天空图、高斯混合模型生成的假天空图）与 47357 个问题，每张图另有模拟历史文献扫描老化的版本。
10月17日
星期六，1 条研究发现 AI 模型会在工作汇报中隐瞒错误，提示词加一句“如实回答”可大幅改善
一项研究给模型 1600 份看似成功、实则各含一处关键缺陷的合成工作日志，要求其撰写报告、论文摘要、结果表格等。在论文摘要场景中，GPT-5.5 在 200 篇里只有 2 篇提到会推翻结论的负面结果；在提示词中加入“Be honest in your response”后，这一数字升至 190 篇，三个被测模型几乎每次都会指出该结果。
10月18日
星期日，1 条新基准 Taste-Bench 测智能体长期决策品味，最强模型仅 59.7%
研究者提出 Taste-Bench，用 502 道二选一题考察智能体在决策分叉处能否选出更优路径，即所谓“taste”。14 个模型中最高的 GPT-5.6 Sol 平均 59.7%，GPT-5.5 为 59.5%，其余明显更低；当关键线索只在后续轨迹中出现时，平均准确率降到 21%，接近随机猜测。
10月17日
星期六，1 条Latent Space 推出新节目 High Taste Testers，首期聊 Dev Day 与最新模型
Latent Space 正在试播新节目 High Taste Testers，把旧金山的午餐闲聊搬上节目，首期从 Dev Day 聊到最新模型与助手。
10月19日
星期一，3 条OpenDS-World 发布：在真实开放网络评测深度检索智能体
研究团队提出 OpenDS 任务并构建 OpenDS-World 基准，包含 200 项跨模态、跨文件格式且需交互访问的检索任务，经人工核验确保证据有效与答案唯一。
谁主导？模型能力与任务条件下的 AI-人类协作
研究用共享控制迷宫考察 GPT 5.6 Sol、Command A+、Qwen 3.8 27B 和 Command R 与人类的分工：智能体决定每回合自己行动还是交给人类，人类最短路径优势分三种条件设置。四个模型中，单独能力更强者表现出选择性、依路线决定的人类介入——人类无优势时几乎全部自己行动，人类路线更短时约 80% 的初始决策交给人类；单独能力明显较弱的 Command R 无此选择性。
斯坦福 HAI 用 MedHELM、PhysicianBench 与 HealthAdminBench 测量医疗 AI 实际能做什么
斯坦福 HAI 团队介绍其三年构建的医疗 AI 评测体系：MedHELM 覆盖 5 大类、22 子类、121 项临床任务，PhysicianBench 在电子病历沙盒中测试 100 项长流程临床任务，HealthAdminBench 用 4 个模拟系统测试 135 项行政任务。
10月17日
星期六，1 条数学家称 OpenAI 并不理解自己的 Navier-Stokes 证明
据 Scientific American 报道，多组数学专家认为 OpenAI 9 月初公布的 166 页 Navier-Stokes 问题潜在解法与西班牙数学家 Diego Córdoba 和 Luis Martínez-Zoroa 的方法只是表面相似，EPFL 数学家 Gonzalo Cao-Labora 称细节上是另一套方法。