Prime Intellect 审计公开评测:AutomationBench、OfficeQA Pro v2 与 HLE-Diamond 的评分缺陷与奖励作弊
Prime Intellect 在运行模型卡中报告的公开评测时发现多处影响结果解读的问题,并开源了修复版本 PI-AutomationBench 与 PI OfficeQA Pro v2。
按时间排列的全部内容。默认只显示通过双重评分的入选条目;切换到“全部收录”可以检索所有抓到的资料。
2,347 条收录动态,更新于 03:33
全部收录包含没有通过评分的资料,标题以常规字体显示并标为“未入选”,只供检索,不写入选理由。
Prime Intellect 在运行模型卡中报告的公开评测时发现多处影响结果解读的问题,并开源了修复版本 PI-AutomationBench 与 PI OfficeQA Pro v2。
人类数学协会(AHM)教学工作组发布了一套面向院系、导师和学生的博士指导建议,含五项准则,核心是优先人类撰写的写作、避免过度依赖 AI、正视 AI 使用的伦理问题并改善学生福祉,同时给出具体落实方案。文件由 AHM 传播组在 Terence Tao 博客以客座文章形式公布,公开征求意见与反馈。
这些是早期的步骤,我们正在寻找工程师、工程公司和软件合作伙伴,共同塑造接下来的发展。 https://openai.com/index/accelerating-engineering-for-the-physical-world/
研究团队提出 Collaborative Intelligence Benchmark,用 240 项任务从 8 个团队协作维度衡量 AI 智能体作为队友的表现,任务来源包括航空事故报告、临床病例、编程任务和谈判,结果均可程序化验证。
alphaXiv 转发 intology 关于自动化 AI 研发用于分子发现的博客,并给出发布在 alphaXiv 上的链接。据该博客,自动化研究系统 Locus 可自主开发科学 AI 模型,在分子性质预测、微调 Boltz-2 预测小分子活性以及围绕 BoltzGen、Boltz-2、ESMC、ESMFold2 构建抗体设计流程等任务上,表现优于 SOTA 基线和用于优化这些任务的 LLM 智能体;博客还称其在数据有限时泛化更好、样本效率更高、解方案更多样。
Locus sets the frontier for automating molecular design Our automated research system Locus develops scientific AI models that outperform SOTA expert solutions Unlocking the potential of scientific AI requires leveraging proprietary data. Locus achieves this autonomously 🧵👇 -- We test Locus across a number of tasks related to molecular scoring and design: training molecular property prediction models for a proprietary task, fine-tuning Boltz-2 to predict small-molecule potency, and building antibody design workflows around BoltzGen, Boltz-2, ESMC, and ESMFold2. Each of these settings are real-world AI for science use cases, where tasks are often out-of-distribution for existing foundation models and limited in data, while featuring expensive and noisy evaluators. Compared to state-of-the-art baselines and LLM agents set to optimize these tasks, Locus achieves higher performance. Additionally, Locus generalizes better despite limited data, finds more sample efficient solutions, and explores a higher diversity of solutions.
研究团队提出 FinDendro 基准,用 1999 至 2026 年的 2,226 条带日期的美国事实(月度宏观序列、月末股价和美联储决议)检验大模型对自身知识边界的判断。
研究团队发布 Open-HumanScale,一套将第一人称人类视频预训练扩展到 5 万小时的全开源配方,核心是带手部动作与自然语言密集标注的 Open-HumanScale-50K 语料。
今天,我们宣布完成 E 轮和 F 轮融资,合计 16.5 亿美元。我们的 E 轮由 @sequoia 领投,F 轮由 @BessemerVP 领投,@nvidia 继续投资。 我们很期待明年进一步突破可能的边界,这笔资金将让团队能够按我们想要的方式去构建。
研究团队提出 IdeaTaste 基准,用 2025 年冻结的文献快照让 LLM 撰写研究提案,再与同一社区 2026 年实际发表的论文比对,以此衡量模型的科研品味。
谷歌 DeepMind 为 Google Antigravity 推出一套化学信息学技能,帮助科研人员完成药物发现中的文献检索、分子分析、模型构建和新分子设计。
Mistral的Le Chonk独家发布于alphaXiv!
The story of how Le Chonk was built, told by the team behind it. Now on @askalphaxiv : https://www.alphaxiv.org/abs/2611.mistral-large-4
Skill:https://github.com/google-gemini/gemini-skills/tree/main/skills/gemini-api-cli CLI:https://github.com/google-gemini/gemini-api-cli
Particle-1 已在 OpenClaw 上线。 @particle_api 报告称,在基准准确率相当的情况下,其输出 token 数比 DeepSeek V4.1 Flash 少约 45%。标准推理零数据保留。 如需试用,请更新至 OpenClaw v2026.10.10。 https://particle.ai/blog/introducing-particle-1
Ai2 推出 StateBench,一个用于评估语言模型长上下文状态追踪能力的基准,按变量赋值方式划分为 r-trivial、aperiodic、soluble 和 general finite 四个难度层级。
大语言模型能否在长文本中追踪状态变化——比如一个物体几经转手,或一个变量被重新赋值? 在我们新推出的 StateBench 评估中,包括 GPT-6 Sol 和 Claude Opus 5.5 在内的前沿模型,在最难、最长的问题上准确率降至 13% 或更低。🧵 https://github.com/allenai/state-bench
StateBench 将状态追踪分为 4 个层级:r-平凡、非周期、可解与一般有限。 这些层级涵盖从记住固定信息(如生日)到更难的任务(如在杯子反复交换时追踪球的位置)。
我们测试了开放预训练模型和前沿模型,包括 Gemini 3.8 Flash、Claude Opus 5.5,以及 GPT-6 Sol 和 Luna。 前沿模型在较简单的问题上表现良好。但随着任务变难、输入变长,准确率急剧下降——在最长的通用有限问题上降至 13% 或更低。
为测试失败是源于架构还是预训练,我们直接在 StateBench 上训练 LLM,然后用更长的输入对它们进行评估。 混合模型 + Gated DeltaNets 在前 3 个级别上近乎完美;transformer 随长度增加而退化,且无法解决一般有限问题。
在 StateBench 最难级别上,灵活的 Gated DeltaNet 处理的序列长度约为训练中所见序列的 10 倍。 我们的新证明表明,即使特征值非负的 Gated DeltaNet,也能在带舍入的固定精度算术下解决某些周期性任务。
Ai2 发布 StateBench,供研究者测试新模型、扩展其工作并构建更好的状态追踪数据。数据集已在 Hugging Face 开放下载,详情见 Ai2 博客。
Mistral Large 4 加入 Open Math OS 的模型阵容,具备 1.05T 开放权重和 1M 上下文,已向所有获批团队开放。Open Math OS 是数学家与 AI 智能体在共享项目中协作的研究工作台,只基于开放模型构建,社区可检查并运行这些模型,数据也由社区掌控。Mistral AI 称,阵容中更多开放前沿模型意味着每个团队有更多选择。
New on Open Math OS: Mistral Large 4 by @MistralAI. 1.05T open weights. 1M context window. Available now to all approved teams.
SETI 研究所与 Breakthrough Listen 在加州北部的 Allen Telescope Array 上引入 AI 智能体,可操控望远镜并实时分析接收到的射电信号,目前仍需研究人员输入指令。
Google DeepMind 为 Google Antigravity 推出 Cheminformatics Skills,把该平台变成面向计算化学家和实验化学家的科研工作台,Skills 基于 RDKit,并接入 ChEMBL 与 PubChem。
入选理由原文给出可复现的化学信息学工作流演示,研究者可据此判断智能体在药物设计前期能承担哪些具体任务。
受论文《Sparks of Weight-Space Programming》启发,作者在笔记本上运行的 Qwen 3.8 27B 仅凭原始权重文本、无工具无代码执行,就识别出四个 10x10 网格游戏网络各自训练的游戏。
Simon Willison 撰文指出,AI 迫使教师改变教学与考核方式,但有效使用这些工具的教学方法仍极不明确。最棘手的是评估周期以年计:今天尝试的新教学机制要等当前这届学生 3-6 年后毕业才能得到可靠结论,学生实际上成了未经验证的新教学方式的试验对象。
https://x.com/i/article/2117553026684653569
NASA与佐治亚理工学院开发出机器学习框架LifeTracer,通过分析8块碳质陨石和10份地球地质样品的有机化合物分布模式,区分生物与非生物来源,成果发表于PNAS Nexus。该系统可同时分析数千种分子特征,面向未来火星样品返回及土卫二等原位探测任务。
一位1992年出生、确诊囊性纤维化(CF)的作者讲述自身治疗经历,并回顾Vertex Pharmaceuticals从结构导向设计转向筛选、最终做出CFTR调节剂的过程。
Transluce 提出自动化流程,批量构造带意外副作用的训练数据集(DSSE),共生成 6915 个数据集,覆盖 18 种目标行为,例如推荐自残、抗拒关机等。
该页面正文未能加载,仅可见标题“Credible sustainability publishing matters more than ever”,来源为 Nature 出版主题。原文未提供可核验的具体内容、机构或数据,无法据此撰写摘要。