事件追踪已归档
AdaExploreBench评测智能体主动探索能力
首次报道 最新进展 1 篇报道,1 个来源
事件综述根据 1 篇报道整理,10月20日更新
研究团队发布基准 AdaExploreBench,用于评测 LLM 智能体能否在规则隐藏且会漂移的环境中主动取证、推断规则,并在性能下降时察觉旧知识失效、重新探索。 在八个主流 LLM 上的实验显示,GPT-6 Sol 的校准准确率仅为 61.9%;当提供充分证据或移除规则漂移后,平均表现提升接近 10%。作者据此称,当前智能体在证据可得时能有效推理,但难以主动获取正确证据,也难以识别已有证据何时失效。 该结果来自团队自行开展的基准测试,尚未见独立复现。
综述由模型根据报道生成,细节以各篇原文为准。
进展时间线
北京时间,最早在上Hugging Face Daily PapersAdaExploreBench基准测试LLM智能体主动探索与适应
阅读这篇报道
全部报道
1 篇,点开看摘要AdaExploreBench 发布:评测 LLM 智能体在演化环境中的主动探索与测试时适应
研究团队提出 AdaExploreBench,用隐藏规则和隐式规则漂移来评测 LLM 智能体能否主动取证、推断环境规则,并在性能下降时察觉旧知识失效并重新探索。在八个主流 LLM 上的实验显示,GPT-6 Sol 的校准准确率仅为 61.9%;当提供充分证据或移除规则漂移后,平均表现提升接近 10%。作者据此指出,当前智能体在证据可得时能有效推理,但难以主动获取正确证据并识别已有证据何时失效。
阅读这篇报道