跳到正文
事件追踪已归档

FDE-Gym交付任务基准发布

首次报道 最新进展 1 篇报道,1 个来源

事件综述根据 1 篇报道整理,10月16日更新

Hugging Face Daily Papers 发布 FDE-Gym 基准,用于评估 AI 智能体在模拟客户环境中能否交付有效方案。该基准含 95 个端到端交付任务,取自 20 个客户场景、覆盖 18 个行业,由行业专家改编自真实交付项目。 对 7 家提供商 13 种模型配置的评测显示,最佳配置平均得分仅 0.56,95 个任务中只解决 14 个。发布方称,未明说的约束是主要瓶颈:即便在 23 个任务中已获取全部关键事实,也仅 10 个达到 0.8 以上的业务提升。

综述由模型根据报道生成,细节以各篇原文为准。

进展时间线

北京时间,最早在上
  1. Hugging Face Daily Papers发布FDE-Gym交付任务基准

    阅读这篇报道

全部报道

1 篇,点开看摘要
FDE-Gym:AI 交付的最后一公里基准Hugging Face Daily Papers预印本未入选

FDE-Gym 是包含 95 个端到端交付任务的基准,取自 20 个客户场景、覆盖 18 个行业,由行业专家改编自真实交付项目,在模拟客户环境中评估智能体能否交付有效方案。对 7 家提供商的 13 种模型配置评测显示,最佳配置平均得分仅 0.56,95 个任务中只解决 14 个;发现未明说的约束是主要瓶颈,即便在 23 个任务中已获取全部关键事实,也仅 10 个达到 0.8 以上的业务提升。

阅读这篇报道