跳到正文
事件追踪已归档

Taste-Bench 评测智能体长期决策品味,最强模型仅 59.7%

首次报道 最新进展 1 篇报道,1 个来源

事件综述根据 1 篇报道整理,10月19日更新

研究者 Pan 等人提出并公开了 Taste-Bench,用来评测智能体在长期任务决策分叉处能否选出更优路径,也就是所谓“品味”(taste)。该基准含 502 道二选一题,每题给出原始任务、截至分叉点的轨迹和两个可选方向,基准与代码已公开。 在 14 个受测模型中,GPT-5.6 Sol 平均准确率最高,为 59.7%,GPT-5.5 为 59.5%,其余模型明显更低。当关键线索只在后续轨迹中出现时,平均准确率降至 21%,接近随机猜测。

综述由模型根据报道生成,细节以各篇原文为准。

进展时间线

北京时间,最早在上
  1. The Decoder研究者提出Taste-Bench评测智能体长期决策品味

    阅读这篇报道

全部报道

1 篇,点开看摘要
新基准 Taste-Bench 测智能体长期决策品味,最强模型仅 59.7%The Decoder预印本未入选

研究者提出 Taste-Bench,用 502 道二选一题考察智能体在决策分叉处能否选出更优路径,即所谓“taste”。14 个模型中最高的 GPT-5.6 Sol 平均 59.7%,GPT-5.5 为 59.5%,其余明显更低;当关键线索只在后续轨迹中出现时,平均准确率降到 21%,接近随机猜测。

阅读这篇报道