Artificial Analysis 检索指数:Keenable Search 1.0 两种模式分列第一和第二
Artificial Analysis 用 Stirrup 智能体框架把 Keenable Search 1.0 作为 web_search 工具,在 1700 项检索任务上评测其 pro 与 realtime 两种模式。
按时间排列的全部内容。默认只显示通过双重评分的入选条目;切换到“全部收录”可以检索所有抓到的资料。
95 条收录动态,更新于 16:36
全部收录包含没有通过评分的资料,标题以常规字体显示并标为“未入选”,只供检索,不写入选理由。
Artificial Analysis 用 Stirrup 智能体框架把 Keenable Search 1.0 作为 web_search 工具,在 1700 项检索任务上评测其 pro 与 realtime 两种模式。
谷歌联合 AI 模型评测机构 Artificial Analysis 推出多模态知识智能体基准测试 MKA,用于评估 AI 智能体处理视觉复杂文件、完成现实知识工作任务的能力。
Google 与 Artificial Analysis 联合推出 MKA(Multimodal Knowledge Agent)基准,用于评测智能体在视觉复杂文件上完成知识工作的能力。
SciSpace 发布一份 AI 辅助科研数据分析的分步指南,把流程拆成写分析简报、确认数据可否处理、评估质量、记录清洗、探索、选方法、检查代码与输出、解释结果、报告并披露 AI 使用等步骤。
NaiveAI 推出开源权重模型 Naive-N0.5-Flash,主打 AI 编程任务与超高吞吐,基于小米 MiMo-V2.5 继续训练并搭配自研 NaiveRT 推理引擎。
我们与 @ArtificialAnlys 共同构建了 MKA(多模态知识智能体):一个衡量智能体处理视觉复杂任务能力的基准。 日常专业工作往往不只用到文本——从交叉比对蓝图到阅读科学图表。现有评估并未覆盖这些内容。 Gemini 4 Carbon 排名第 2,每任务平均成本比排名第一的模型低 6 倍。→ https://goo.gle/4AikIja
这些更新今天开始陆续推送,因此你可能不会立刻看到全部功能。 了解更多关于 Claude Whiteboards、Sheets、Data 和交互式连接器的信息:https://claude.com/resources/articles/more-ways-to-work-with-claude-sheets-whiteboards-and-interactive-connectors
一项研究用 Claude Sonnet 从 PubMed 收录的 7,859 篇灾害与心理健康相关文献摘要中提取结构化变量,绘制出该领域的计算图谱。结果显示地震与流行病研究最多,热浪、寒潮等灾害关注不足;PTSD、抑郁、焦虑研究充分,攻击行为、自杀等问题相对被忽视。研究样本量中位数为 452,但机器学习、智能体建模、因果推断和 NLP 各出现在不足 1% 的文章中,研究地域集中于美国、日本和中国。
Claude Fable 5.2 已在 Google Cloud 上线,可用于构建长时间运行的智能体。官方称其适用于跨多个代码仓库和 monorepo 的大型模糊问题、可持续数小时至数天并协调子智能体的无人值守工作流,以及困难物理计算、形式化证明和数据分析等科学与数据流水线。
Latent Space 首期 AI 数据公司深潜对话 Handshake AI 团队,其 AI 训练业务约一年内从上线做到 10 亿美元年化毛收入。节目演示了金融智能体在模拟银行中处理客户邮件与工作簿时漏掉商誉调整的失误,并介绍科学图像基准 VIALS 与金融基准 ATLAS-Finance。团队还讨论了实验室如何评估新数据集、评分标准与专家判断的差距,以及安全对齐任务中智能体的工具调用。
Handshake 在约一年内建成 AI 训练数据业务,年化总营收接近 10 亿美元,Garrett Lord 与团队在 Latent Space 节目中拆解前沿实验室的数据采购。
Anthropic 发布研究报告,基于 2026 年 8 月 2 日至 9 月 30 日的 20.7 万次科研会话(12.9 万次 Claude 对话和 Cowork 会话、7.8 万次 Claude Code 会话),显示科学家主要将 Claude 用于数据分析和写作,数据收集与假设生成较少。
Peter McCrory 在 X 上称,科学家使用 Claude 时主要集中在数据分析和写作,数据分析约占 Claude 会话的三分之一、约占 Claude Code 会话的近一半。科研构思与数据收集的使用比例更低,尽管受访科学家将这些任务评为重要。原文未说明统计口径与样本范围。
Ai2 发布 ToyBlocks,研究者可用它构建强调特定技能或填补现有数据集缺口的训练混合。初始版本包含 85K 条长程演示,每条演示按数据集不同由约 6–12 个技能演示组成。
VIALS-AA 基准分析了 19 个模型在科学图像推理任务上的 9,177 次 rollout,发现模型可通过快速查看或显式测量两条路径解题。
scite API 以 Smart Citation 分类为核心,将引用语句标注为支持、反驳、提及或未分类,并区分语句计数与引用文献计数;SciSpace API 则提供 Search API 与 Task API,后者由智能体规划检索、阅读、分析与写作,返回生成文件链接及带引用的文字答案。两者均能给出带引用的回答,差异在于前者提供出版物层面的引用证据,后者覆盖完整研究工作流。
Artificial Analysis 推出 Endpoint Accuracy Index v1.1,在 100+ 无服务器端点上评测模型准确率保留度,近 1/4 端点低于自托管参考部署。
Anthropic 用隐私保护方法分析 2026 年 8 月 2 日至 9 月 30 日间 207,049 条消费版 Claude 与 Claude Code 科研会话,按 SciNet 分类体系标注学科与任务。
入选理由Anthropic 用 20.7 万条会话数据刻画科研人员实际把 AI 用在哪些学科和任务上,可与自身使用习惯对照。
SciSpace 发布统计检验选择指南,用四个问题把检验缩小到一两个选项:研究目的是比较组间、找关系还是预测结果,结果变量是连续、有序、分类、计数还是时间事件,组数与配对情况,以及是否满足参数检验假设。
SciSpace 发布系统综述数据提取表免费模板,列出识别信息、研究设计、参与者、结局与测量方式、偏倚风险条目及数据出处等字段,并建议每个字段对应一个综述问题、先在 3–5 项研究上试用、由第二人核查关键数值。
Prime Intellect 在运行模型卡中报告的公开评测时发现多处影响结果解读的问题,并开源了修复版本 PI-AutomationBench 与 PI OfficeQA Pro v2。
Ai2 推出 StateBench,一个用于评估语言模型长上下文状态追踪能力的基准,按变量赋值方式划分为 r-trivial、aperiodic、soluble 和 general finite 四个难度层级。
Ai2 发布 StateBench,供研究者测试新模型、扩展其工作并构建更好的状态追踪数据。数据集已在 Hugging Face 开放下载,详情见 Ai2 博客。
受论文《Sparks of Weight-Space Programming》启发,作者在笔记本上运行的 Qwen 3.8 27B 仅凭原始权重文本、无工具无代码执行,就识别出四个 10x10 网格游戏网络各自训练的游戏。
Transluce 提出自动化流程,批量构造带意外副作用的训练数据集(DSSE),共生成 6915 个数据集,覆盖 18 种目标行为,例如推荐自残、抗拒关机等。
Ai For Alpha 团队提出 Promote 协议,为每个候选交易规则在诞生时分配可预测的检验财富,仅用后续收益累积成本感知的 e-process,若总财富不超过 1 即可将错误晋升概率控制在 α 以内。
意大利特伦托大学 Chang Liu 在 arXiv 预印本中把 LLM 科研智能体视为统计检验,在已知真值的模拟世界中评分其对“预测模型是否跑赢静态基准”的判断。
Data Bot 依托我们数据科学家维护的技能。随着团队不断改进它,所有人都能受益。 上周,它估计承担了 70 小时的工作量,否则这些工作将由我们的数据科学家完成。 我们如何构建它:https://x.ai/news/data-bot
二等奖 AutoAgentNetwork 构建了一个预算分配器,可回放 62,380 条已记录的模型调用,从而在无需再次付费的情况下比较单个模型与智能体团队。它推荐满足用户准确率、成本和响应时间要求的配置。 @kevinchunye @Ruijie_Shi
Digital Science 旗下 Dimensions 的 Compass 工具可基于用户自定义基准和出版表现追踪,帮助 Medical Affairs 团队用触达等量化指标选择期刊与会议,替代依赖熟悉度和声誉的定性判断。文章指出,仅靠影响因子、引用数或网页访问量等传统指标会放大选择偏差,并给出一个药品首年于多个 EMEA 市场上市、需制定区域会议投稿策略的实例。