事件追踪已归档
SemiAnalysis 发布 GDPx 智能体基准,最高仅 12%
首次报道 最新进展 2 篇报道,2 个来源
事件综述根据 2 篇报道整理,11月6日更新
SemiAnalysis 发布 GDPx 基准,把 AI 智能体放进模拟工作环境执行任务,而非考查知识问答。206 项任务覆盖芯片设计、生物、量化交易、网络安全、法律等 11 个领域,智能体需操作 Siemens NX 等专业软件、检索含数千个文件的数据室或攻击企业系统;据其公布结果,最高分模型仅得 12%。 计分上,默认单任务时限 8 小时(部分更短),主分数按三次尝试的 pass@1 计算,各领域等权。法律、硬件设计等部分领域由语言模型依评分标准判分,而非人类专家;每个合作方通常只公开一道示例任务。SemiAnalysis 称计划每三到六个月更新基准。
综述由模型根据报道生成,细节以各篇原文为准。
进展时间线
北京时间,最早在上SemiAnalysis 长文 RSSSemiAnalysis 发布 GDPx 前沿模型基准
阅读这篇报道
全部报道
2 篇,点开看摘要SemiAnalysis 发布 GDPx 基准:无 AI 智能体得分超过 12%
SemiAnalysis 发布 GDPx 基准,把 AI 智能体放进模拟知识工作环境,让它们最长运行八小时操作 Siemens NX 等专业软件、检索含数千个文件的数据室或攻击企业系统,206 项任务覆盖芯片设计、生物学、量化交易、网络安全和法律等 11 个领域。
阅读这篇报道SemiAnalysis 推出 GDPx 基准,衡量前沿模型在芯片设计、金融、生物等领域的智能体能力
SemiAnalysis 发布 GDPx 基准,覆盖芯片设计、网络安全、生物、金融、法律、量化交易、递归自我改进、硬件设计、材料科学、对齐和软件工程等领域,最高分模型仅得 12%。
阅读这篇报道