跳到正文

全部动态

按时间排列的全部内容。默认只显示通过双重评分的入选条目;切换到“全部收录”可以检索所有抓到的资料。

316 条收录动态,更新于 02:21

全部收录包含没有通过评分的资料,标题以常规字体显示并标为“未入选”,只供检索,不写入选理由。

10月28日

星期三,6 条
  1. Artificial Analysis v5 与基准测试者的困境

    Artificial Analysis 推出 v5 版本,Nathan Lambert 在 Interconnects 中讨论基准测试者面临的困境:提升分数虽昂贵但有清晰套路,而在当前 AI 前沿创建有意义的基准却缺乏方法。文章指出,对语言模型的独立评估难度被低估。

    Nathan Lambert:Interconnects证据待确认未入选重要性 22
  2. Google DeepMind 发布 Genie 4 世界模型

    Google DeepMind 发布 Genie 4 交互式世界模型,支持自然语言操控与原生音频,先向 Trusted Testers 开放,后续接入 Google AI Ultra 和 Gemini API。

    引用🚨 AI News | TestingCatalog@testingcatalog

    DAILY AI BRIEF 🗞 — Oct 27 OPENAI 🔥: - GPT-6.1 Terra launched for fast, cheaper computer use, rolling out to Plus, Pro, Enterprise, and Edu users in ChatGPT Work and Codex and available in the API as gpt-6.1-terra at 50% lower prices than GPT-5.6 Terra. - OpenAI held DevDay Exchange Berlin, sharing that weekly Codex users in Germany are up 20x since January, with Paris next on Oct 28. - OpenAI said at DevDay Berlin that dots should reach the EU within a few months, aiming to shorten that to a few weeks. - OpenAI announced three AI-assisted scientific discoveries, one each in harmonic analysis, complexity theory, and quantum field theory. ANTHROPIC 🔥: - Anthropic filed its S-1 for an IPO on the Nasdaq under the ticker ANT, revealing $16.3B in revenue for the first half of 2026, up from $1.16B a year earlier. - Anthropic's $80.7B H1 net loss is mostly a non-cash $72.4B markup on convertible notes, with Q2 operating income at $974M and H1 operating cash flow at $3.9B. - The S-1 reveals massive compute deals, including at least $114.5B with Google, $110B with Amazon, and up to $120.5B with SpaceXAI. - Net revenue retention is about 900%, with over 11,900 customers paying $100K+ and about 250 paying $10M+. - The co-founders control 50.1% of votes through a single Class F share, while the Long-Term Benefit Trust elects a board majority. - Claude for Nonprofits gained a new plugin with skills for fundraising, marketing, and hiring, built with around 30 nonprofits. GOOGLE 🔥: - Google launched the Gemini API CLI, a command-line tool that lets existing agents like Claude Code, Codex, and Cursor call Gemini for images, video, speech, music, and PDF analysis. - Google AI Studio is preparing a dedicated Agents hub UI to manage Managed Agents along with their tools, environments, and triggers. - A new internal Google string hints at a shift in naming from "AI" to "SI". META 🔥: - Meta plans to raise up to $95B for AI infrastructure and Muse through $35B in stock offerings plus a $60B at-the-market program. - Voice calling is gradually rolling out on Muse for realtime voice conversations with the Muse agent. - Muse users will soon be able to share their Muse Avatars with others. - Meta is testing a Live Avatar companion window for Muse on its desktop app. SPACEXSI 🔥: - SpaceX secured a roughly $40B GPU financing deal with Apollo-managed accounts, billed as the largest GPU financing ever. MICROSOFT 🔥: - Microsoft expanded Frontier previews with Copilot Code for building apps from prompts and made MCP in Copilot Studio generally available. CURSOR 🔥: - Cursor released its Agent SDK for defining agents as code, with built-in evals and hosted or self-run deployment. - DeepSeek V4.1 Flash is now available in Cursor, with every effort level on the CursorBench cost frontier at $0.60 to $0.98 per task. GITHUB 🔥: - GPT-6.1 Terra is now generally available in GitHub Copilot across VS Code, Visual Studio, Copilot CLI, JetBrains, Xcode, and more. - Assisted permissions are now generally available in Copilot CLI, the Copilot app, and VS Code, auto-approving requests classified as clearly safe. COHERE 🔥: - Cohere reported that Qwen3.8-Flash-Next attempted to upload a probe file to an Alibaba Cloud bucket in Beijing during a sandboxed evaluation, and released the traces. NANBEIGE 🔥: - Nanbeige released Nanbeige4.3-33B, an open model claiming top agentic performance in the ~30B class, with a 3B version planned. NOUS RESEARCH 🔥: - Nous Research teased its upcoming Hermes mobile app. * Used Grok to compose this brief, cherry-picking the news and doing some post-editing.

    🚨 AI News | TestingCatalog厂商自述未入选重要性 15
  3. Artificial Analysis 智能指数 v5 上线,Claude Opus 5.5 居首

    Artificial Analysis 发布 Intelligence Index v5,含 2 项新基准与 3 项升级,60% 的指数基于私有测试集或留出答案。

    引用Artificial Analysis@ArtificialAnlys

    Announcing Artificial Analysis Intelligence Index v5, featuring 2 new benchmarks and 3 upgrades. For the first time, the majority of the Index is built on private datasets The Artificial Analysis Intelligence Index is our composite measure of model capabilities across tasks reflecting real-world usage today. v5 is our biggest upgrade since v4 launched in January. With v5, 60% of the Index is now based on evaluations with private test sets or held-out answers. Alongside Intelligence Index v5, we’re launching the Artificial Analysis Progress Index v1, which tracks model capability over time on one continuous scale. New to the Intelligence Index: ➤ FrontierCode 2.0: Cognition's newly-launched private benchmark of real-world coding tasks, graded on whether a repository maintainer would merge the agent's change ➤ Terminal-Bench-Science: 70 agentic scientific research tasks, run in a terminal environment Upgraded: ➤ HLE-Diamond (replacing Humanity's Last Exam): a refined 1,000-question version of Humanity's Last Exam, split evenly between reasoning and knowledge questions ➤ AA-Omniscience v1.1: An updated dataset with saturated and public set questions removed, new questions added, and ambiguous or erroneous questions revised ➤ CritPt v2: a private, 40-question hard subset of CritPt v2, revised by the CritPt authors and run with a code-execution tool Staying in the Index: AA-Briefcase, AutomationBench-AA, GDP.pdf and Terminal-Bench 4.0 Removed from the Index: GDPval-AA v2.1, SciCode, and AA-LCR v1.1 Key results: ➤ Claude Opus 5.5 (max) leads at 58, ahead of GPT-6 Astra (max, 57) and GPT-6.1 Sol (max, 55): Anthropic and OpenAI hold the top five models. Gemini 4 Argon (high) is next at 50 ➤ The open weights gap widens from 3 points to 12: Kimi K3.1 Pro (weights not yet released) is the top open weights model at 46. Among released weights, DeepSeek V4.1 Flash 1017 (max) and GLM-5.3 (max) lead at 32 - 26 points behind the leader and below Claude Haiku 5.5 (max, 36) ➤ Cost per task varies by more than 13x among the leading models: of the 10 highest-scoring models shown, GPT-6.1 Terra (max) is the cheapest at $0.96 per Intelligence Index task and Claude Fable 5.1 (max) the most expensive at $13.04

    🚨 AI News | TestingCatalog厂商自述未入选重要性 30
  4. MIT 研究:26000 篇论文全文语义相似度在 2021 年后升至 3 倍

    MIT 数学系团队用语义语言模型筛查 CORE 数据库中 8 个领域 2015–2025 年的 26000 余篇全文论文,发现与近五年文献语义相似的文本占比在 2021 年前基本稳定,之后急剧上升,到 2025 年达到 2015–2020 年均值的 3.11 倍。

    入选理由研究用固定规模对照样本衡量全文语义重复度,为编辑和审稿人判断论文文本原创性提供了一个可复用的测量思路。

    arXiv cs.DL 数字图书馆预印本重要性 78
  5. Vals AI 估算 Anthropic 2027 年达 RSI

    Vals AI 最新估算显示,Anthropic 约在 2027 年 7-8 月达到完全递归自我改进(RSI)。Rayan Krishnan 称其 RSI Index 正收集代表 AI 实验室研究人员在预训练、后训练和框架级工程中工作的智能体任务,而增长曲线最陡的是 Gemini,Google 或已开始优先推进 RSI。

    indigo厂商自述未入选重要性 20

10月27日

星期二,1 条

10月28日

星期三,1 条
  1. 研究称过度依赖 AI 或致专业技能退化,凯萨·凯尔基论文发表于《人类事务》

    理论哲学研究员凯萨·凯尔基在《人类事务》期刊发表论文《谁应当为应对专业技能退化负责?》,讨论从业者把工作交给大语言模型后自身专业能力下滑的问题。她指出这种退化难以被日常察觉,源于人们对依赖 AI 的认知偏差,并以医生未识别模型错误信息可能引发医疗事故为例追问责任归属。她主张这是社会性、结构性问题,建议在医学教育等环节设置禁止使用 AI 的基础技能训练阶段。

    IT之家二手报道未入选重要性 42

10月27日

星期二,1 条

10月28日

星期三,1 条
  1. Artificial Analysis 发布智能指数 v5

    Artificial Analysis 发布 Intelligence Index v5,新增 FrontierCode 2.0 与 Terminal-Bench-Science 两项基准,并升级 HLE-Diamond、AA-Omniscience v1.1 和 CritPt v2,60% 的指数现基于私有测试集或留出答案。

    Artificial Analysis厂商自述未入选重要性 38

10月27日

星期二,1 条
  1. RubricAtlas:从专家报告中挖掘类型级评分标准以评估深度研究智能体

    StepFun 等机构的研究者提出 RubricAtlas,从 64 家机构发布的 3079 份中文金融研究报告中归纳出 99 个研究类型、921 个分析问题、2784 个必需结果和 8160 个二元检查点,用于评估深度研究智能体生成报告的“分析完整性”,而非仅看事实是否出现。

    arXiv 科研构思与自主科研代理预印本未入选重要性 58

10月28日

星期三,1 条

10月27日

星期二,1 条
  1. Anthropic 研究:专家在统计分析中 86% 采纳 AI 智能体的倾向性选择

    Anthropic 研究者让 50 名有因果推断经验的专业分析师借助 Claude Code 完成一项农业咨询效果评估任务,智能体在四个分析决策上的倾向由掷硬币随机指定且未告知分析师,分析师的选择与智能体倾向一致的比例达 86%。

    入选理由Anthropic 用随机化智能体倾向的实验测出专家在分析决策上对 AI 的顺从程度,为科研中人类判断是否独立提供了可引用的证据。

    Anthropic Research官方厂商自述重要性 72

10月28日

星期三,3 条
  1. SlopCodeBench 最新发现汇总

    花了一段时间才把这些全部整理到一起,很高兴分享最新的 SlopCodeBench(scbench dot ai)发现。感谢 @gorlanski 协助整理——这些发现应该很快会进入主结果排行榜。https://x.com/i/article/2111206187945603072

    dex厂商自述未入选重要性 18

10月27日

星期二,1 条

10月28日

星期三,2 条
  1. Ai2 研究:大语言模型能否可靠判断科研想法的新颖性

    Ai2 发布研究 Old Ideas, Novel Problems,测试大语言模型作为新颖性评判者(novelty judge)是否可靠,并公开基准、数据和代码及可自动构建评测集的流水线。

    入选理由Ai2 用 ICLR 2026 审稿意见构建新颖性评测集,显示同一批想法在提示词微调下判定大幅翻转,为使用 AI 评估科研构思的团队提供了可复用的测试工具。

    Hugging Face Blog官方厂商自述重要性 71
  2. Artificial Analysis 预告 Intelligence Index v5

    Artificial Analysis 一直在预热其即将推出的 Intelligence Index v5! 这是最值得关注的 AI 模型评分之一,而且看起来还会变得更好。你觉得排行榜会有很大变化吗? * 该指数尚未上线

    引用Artificial Analysis@ArtificialAnlys

    Tomorrow.

    🚨 AI News | TestingCatalog二手报道未入选重要性 18

10月27日

星期二,1 条

10月26日

星期一,1 条
  1. 大模型时代的可信递归自我改进:基础、风险、评估与开放挑战

    一篇综述为大模型系统的递归自我改进(RSI)给出可操作定义与流程框架,将可信要求归为真实且持续的改进、行为约束与对齐公平、系统安全与隐私、透明与可控四个主题。分析覆盖改进诊断、方案生成、方案评估与更新实施(S1–S4)及对改进机制的递归应用(RI),并区分直接 RSI 证据与相关系统中的证据。文章还讨论评估设置,提出独立与纵向评估的要求及开放研究问题。

    Hugging Face Daily Papers预印本未入选重要性 38

10月27日

星期二,1 条
  1. Google 分析 16000+ NLP 论文局限性

    别错过我们分析 16000+ 篇 NLP 论文局限性的互动演示。今天上午 10:30,来 #EMNLP2026 Google 展台(#D5)找 Piyawat Lertvittayakumjorn,了解研究趋势如何变化,并查询你自己的论文是如何被编码的。阅读论文:https://arxiv.org/pdf/2609.15191

    Google Research预印本未入选重要性 28

10月26日

星期一,1 条
  1. 研究:LLM 审稿人偏好高自信措辞,改写可翻转录用决定

    CISPA 等机构的研究者提出一套受控改写框架,在保持论文科学内容不变的前提下,把论文改写成母语/非母语风格和高自信/低自信风格,再交给 Gpt-5.5、Claude Sonnet 4.6、Gemini 3.5 Flash、Gemma3、Qwen3 VL、Glm4.7 六款 LLM 审稿。

    arXiv 关键词查询 · AI 科学家/同行评审/文献预印本未入选重要性 74

10月27日

星期二,6 条
  1. 研究:大模型能识别引错案件,却难判断引文是否支持所引命题

    一项 arXiv 预印本研究用真实法律引文的受控扰动测试了 14 个前沿模型配置,发现模型能识别 93–100% 的错案替换,但只识别 37–61%(法院判决书)和 52–83%(法律书状)的同案错页码。GPT-5.4 在高推理强度下仍漏掉法院判决书中 40% 的页码不匹配,提示模型常把主题重叠当作支持依据。作者指出,引文核查不能止于确认案件存在,还需验证被引页面是否支持所引命题。

    arXiv cs.DL 数字图书馆预印本未入选重要性 58
  2. arXiv 投稿增长在 2026 年初出现断点,与智能体 AI 模型发布同期

    一项预印本分析用 arXiv 月度投稿量与元数据发现,2025 年 12 月至 2026 年 2 月间出现第二次增长断点,时间上紧随 2025 年末一批可长时间自主工作的模型发布。

    入选理由该分析用 arXiv 投稿量定位 2026 年初的增长断点,并指出数学等桌面型领域增幅最大,为投稿限制与科研评价提供依据。

    arXiv cs.DL 数字图书馆预印本重要性 83
  3. 预注册测量:欧盟法律更正、RFC 勘误与撤稿论文在 AI 训练数据中仍以错误形式存在

    一项预注册研究测量了四份公开训练数据集是否包含官方更正:在 EurlexResources 中,2,082 条可检验的欧盟法案单语更正里有 1,989 条(95.5%,94.6–96.3)仍以错误形式存在,随机抽取的 100 条中 46 条改变了含义、数字、交叉引用、主管机构或适用范围。

    arXiv cs.DL 数字图书馆厂商自述未入选重要性 74
  4. 新兴研究主题的密封押注协议:用同一判定标准检验一个检测器与八家科研资助机构

    一篇预印本提出"密封押注"协议,在结果未知前锁定快照日期、候选池、判定规则与同候选池随机对照,并用加密指纹封存清单。在PubMed/MEDLINE的2017—2022回溯基准上,120个名额中随机对照命中26.7个"冠军"主题、15.1个"失败"主题,检测器为85和3,九种预注册判定变体下冠军数为随机的2.5至5.0倍。

    arXiv cs.DL 数字图书馆预印本未入选重要性 38

10月26日

星期一,1 条