跳到正文
事件追踪已归档

AdaExploreBench评测智能体主动探索能力

首次报道 最新进展 1 篇报道,1 个来源

事件综述根据 1 篇报道整理,10月20日更新

研究团队发布基准 AdaExploreBench,用于评测 LLM 智能体能否在规则隐藏且会漂移的环境中主动取证、推断规则,并在性能下降时察觉旧知识失效、重新探索。 在八个主流 LLM 上的实验显示,GPT-6 Sol 的校准准确率仅为 61.9%;当提供充分证据或移除规则漂移后,平均表现提升接近 10%。作者据此称,当前智能体在证据可得时能有效推理,但难以主动获取正确证据,也难以识别已有证据何时失效。 该结果来自团队自行开展的基准测试,尚未见独立复现。

综述由模型根据报道生成,细节以各篇原文为准。

进展时间线

北京时间,最早在上
  1. Hugging Face Daily PapersAdaExploreBench基准测试LLM智能体主动探索与适应

    阅读这篇报道

全部报道

1 篇,点开看摘要
AdaExploreBench 发布:评测 LLM 智能体在演化环境中的主动探索与测试时适应Hugging Face Daily Papers未入选

研究团队提出 AdaExploreBench,用隐藏规则和隐式规则漂移来评测 LLM 智能体能否主动取证、推断环境规则,并在性能下降时察觉旧知识失效并重新探索。在八个主流 LLM 上的实验显示,GPT-6 Sol 的校准准确率仅为 61.9%;当提供充分证据或移除规则漂移后,平均表现提升接近 10%。作者据此指出,当前智能体在证据可得时能有效推理,但难以主动获取正确证据并识别已有证据何时失效。

阅读这篇报道