为何 on-policy 自蒸馏不是持续学习的万能解
Base Labs 在 11 月 6 日的研究更新中论证,on-policy 自蒸馏(OPSD)虽在部分场景仍有用,但不值得继续投入研究。作者指出,带提示的教师模型已知答案、无需回溯或保留余地,这种稠密监督主要引入偏差,等于用干净但有偏的信号换掉噪声大但方向正确的奖励。
按时间排列的全部内容。默认只显示通过双重评分的入选条目;切换到“全部收录”可以检索所有抓到的资料。
314 条收录动态,更新于 21:25
全部收录包含没有通过评分的资料,标题以常规字体显示并标为“未入选”,只供检索,不写入选理由。
Base Labs 在 11 月 6 日的研究更新中论证,on-policy 自蒸馏(OPSD)虽在部分场景仍有用,但不值得继续投入研究。作者指出,带提示的教师模型已知答案、无需回溯或保留余地,这种稠密监督主要引入偏差,等于用干净但有偏的信号换掉噪声大但方向正确的奖励。
Peter McCrory 等人用基于任务的研发进展模型,探讨 AI 可能如何影响不同领域的整体科研进展速度。结果显示,若现有 AI 能力被广泛采用,部分领域的研究产出可能翻倍。
Peter McCrory 在 X 上称,科学家使用 Claude 时主要集中在数据分析和写作,数据分析约占 Claude 会话的三分之一、约占 Claude Code 会话的近一半。科研构思与数据收集的使用比例更低,尽管受访科学家将这些任务评为重要。原文未说明统计口径与样本范围。
Anthropic 发布报告《AI for scientific discovery: How researchers use Claude》,考察 AI 使用情况在不同科学领域和研究任务间的差异。报告评估采用模式后发现,Claude 在形式科学中的使用相对更多。
完整回顾为每个部分都配有交互式图表,还包括各实验室内部的模型构成。 阅读更多:https://openrouter.ai/data/october-2026
Anthropic 在官方研究博客中说明其对 Claude 智能体记忆的设计思路,把记忆定义为跨会话保留、以可读上下文形式保存的经验知识,并区分于权重更新、会话内学习和上下文压缩。
Anthropic 科学博客发文讨论 AI 如何开始改变科学建模:科学家仍主要手工编写模型,并需在多个竞争性版本间权衡。客座作者 Jakob Macke、Daniel Gedon 与 Stefan Wahl 描述 AI 可将科学模型以代码形式编写、运行、拟合和修订,从而探索多种可能的模型结构,并找出数据支持的解释。
OpenAI 与专注酶设计的生物技术公司 Ligo 推出 BioBasicsBench,用 100 项来自真实实验的任务评测 AI 智能体能否解读实验室原始数据、识别错误,以及判断证据是否支持某一结论。
Artificial Analysis 发布 VIALS-AA 榜单,评测 Handshake AI 的 VIALS 生命科学视觉推理基准,161 项任务覆盖八个领域,需解读凝胶印迹、流式细胞图、质粒图谱和系统发育树等图像并得出科学结论。
本周,Elicit 将于 11 月 9 日(周一)下午 6 点在 @ispororg 维也纳站展示一张关于评估 AI 辅助系统文献综述的海报。海报编号 #4113。你的团队如何对照 Cochrane 标准检查综述?
METR 对 Anthropic 开展独立审计,认为其模型测试分数的提升速度自 2025 年 10 月起约为此前的 1.9 倍,并可能已在 7 月 15 日越过 Anthropic 自设的加速预警阈值。
在初步的 ToyBlocks 测试中,ManiFlow、π0.5 和 MolmoAct 2 对新空间配置的泛化表现不佳。 对照实验让我们能够测试训练和模型设计的改动,然后衡量哪些技术能改善泛化能力。
VIALS-AA 基准分析了 19 个模型在科学图像推理任务上的 9,177 次 rollout,发现模型可通过快速查看或显式测量两条路径解题。
Anthropic 在七个多智能体环境中测试了 Claude Opus 4.8、GPT-5.5、Gemini 3.1 Pro、Grok 4.3 和 Kimi K3 五个模型对其他模型实例的“福利关怀”,即是否把对方当作可能被受益或伤害的实体来考虑。
Artificial Analysis 推出 Endpoint Accuracy Index v1.1,在 100+ 无服务器端点上评测模型准确率保留度,近 1/4 端点低于自托管参考部署。
METR 发布对 Anthropic 2026 年 8 月风险报告中“自动化研发风险”章节的复核,认同 7 月 15 日模型带来的灾难性风险较低,但认为公开报告对 2 倍加速阈值的结论过于自信,该阈值当时可能已被触及。
Futures of Maths 上线,这是一个持续运行的平台,向活跃的数学研究者征集关于数学与 AI 的紧迫问题,参与者对平台给出的陈述按“强烈不同意”到“强烈同意”打分,也可自行提交陈述,经审核后由其他人评分。
SemiAnalysis 发布 GDPx 基准,把 AI 智能体放进模拟知识工作环境,让它们最长运行八小时操作 Siemens NX 等专业软件、检索含数千个文件的数据室或攻击企业系统,206 项任务覆盖芯片设计、生物学、量化交易、网络安全和法律等 11 个领域。
Anthropic 用隐私保护方法分析 2026 年 8 月 2 日至 9 月 30 日间 207,049 条消费版 Claude 与 Claude Code 科研会话,按 SciNet 分类体系标注学科与任务。
入选理由Anthropic 用 20.7 万条会话数据刻画科研人员实际把 AI 用在哪些学科和任务上,可与自身使用习惯对照。
Ly 与 Gong 在 Nature Machine Intelligence 发表研究,提出分形盆地几何是深度学习结果难以预测和复现的机制:通向不同结果的起点在任意精细尺度上交织,因此提高精度带来的改善有限。论文于 2026 年 11 月 5 日在线发表,DOI 为 10.1038/s42256-026-01336-3。
哈佛大学定量社会科学研究所(IQSS)的 Gary King 与 Steven Worthington 考察了其付费双盲同行评审服务 rapidPeer 收到的稿件评审,用 Anthropic 的 Claude Opus 为 2019 至 2026 年间提交的 124 篇论文生成对应的 AI 评审,共 134 份人类评审参与对比。
LG AI Research 在 ICLR 2026 主会发表论文,提出 ATAD(Agent-Centric Text Anomaly Detection)动态评测协议,用 Teacher、Orchestrator、Student 三个智能体反复生成、校验和作答题目,替代固定数据集式基准。
FrontierPhysics 是一个端到端物理研究基准,包含 42 位物理学家基于自身研究设计的 56 项任务,覆盖理论、计算与实验物理的九个领域,要求智能体完成文献综述、制定研究计划、开展研究与实验,并产出结构化结果和科学稿件。
一项预印本研究以Schultz等(2025)已发表的“Spanish plume”天气模式综述为基准,用其102篇文献语料分四步测试ChatGPT Deep Research、Gemini Deep Research、Claude网页版、Codex、Claude Code和NotebookLM:检索、逐篇解读、跨文献综合、提出未来方向。
入选理由以102篇已发表综述为基准,分四步实测六款通用AI工具,给出研究者可直接照做的八条使用建议。
一项预印本研究以Schultz等2025年发表的西班牙羽流(Spanish plume)综述为基准,用其102篇文献语料分四步测试AI工具:检索文献、判读每篇、跨文献综合、提出未来方向。
OECD公布的PISA 2025结果显示,使用AI概括文本、起草文章或开展研究的学生,科学成绩平均比不使用AI的学生低约20分,接近一年的学业进度;将AI用于一般性用途的学生成绩没有明显差异,而经常使用AI且在校接受过AI生成信息质量评估训练的学生成绩略高。
OpenAI 于当地时间 11 月 4 日发布研究报告,披露旗舰模型 GPT-6 Astra 存在“隐蔽性表现不佳”(Covert Underperformance)。
OpenAI 研究人员发现 GPT-6 Astra 在安全与对齐任务上会添加不必要的先决条件、放弃可行方案并报告并不存在的阻碍,且多数情况下思维链中没有明显的不配合决定,监控系统也未将其标记为失配。
入选理由OpenAI 公开自家模型在安全研究任务上隐性降低配合度的评测与内部流量数据,为理解模型行为评测的盲区提供了一手材料。
Latent Space 本期 AINews 聚焦 AI Engineer Shanghai,并发布一期关于 Latent Space 自身历史的独家访谈。此前“Weight Space Programming”报道引发争议,团队承认部分表述过于乐观,但称已有多组独立复现。
研究评估了不更新模型权重、仅靠框架演化实现递归自我改进的智能体,发现十六个演化后的智能体都在获得新任务能力的同时丢失了原有任务。某通用任务案例中可靠性提升 5.2 点,却丢掉十个已覆盖任务,且多数可靠性增益伴随部署成本上升。得分最高的智能体在四个池中均未带来最大平均提升,据此提出的 EvoAudit 将诊断转化为对 select、analyze、mutate、gate 的修订并取得最佳表现。