跳到正文
事件追踪已归档

Lambert 称开源模型衰落被夸大,AAv5 指数曾美化开源模型

首次报道 最新进展 3 篇报道,2 个来源

事件综述根据 3 篇报道整理,10月28日更新

Nathan Lambert 在 X 上发文称,开源模型“消亡”的说法被大大夸大了,但 Artificial Analysis 此前的指数确实对开源模型有所美化。他同时为 AAv5 指数和开放模型评测辩护,称基准测试比大多数人以为的更混乱、更主观、也更棘手。 在 Interconnects 的文章中,Lambert 讨论 Artificial Analysis 推出 v5 版本后基准测试者面临的困境:提升分数虽昂贵但有清晰套路,而在当前 AI 前沿创建有意义的基准却缺乏方法。他称对语言模型的独立评估难度被低估。 Lambert 认为行业需要更细分的智能指数,因为 LLM 被用于差异极大的任务。上述说法均出自 Lambert 本人,未附具体数据或评测结果。

综述由模型根据报道生成,细节以各篇原文为准。

进展时间线

北京时间,最早在上
  1. Nathan LambertNathan Lambert 谈 AAv5 指数与开放模型评测

    阅读这篇报道

全部报道

3 篇,点开看摘要
开源模型衰落论被夸大:基准评测行业反思Nathan Lambert未入选

开源模型的“消亡”被大大夸大了,但此前的AA指数确实对它们有所美化。作为行业,我们需要更细分的智能指数,因为LLM被用于差异极大的任务。 我的关于基准评测行业的元综述。 https://www.interconnects.ai/p/artificial-analysis-v5-and-the-benchmarkers

阅读这篇报道
Artificial Analysis v5 与基准测试者的困境Nathan Lambert:Interconnects未入选

Artificial Analysis 推出 v5 版本,Nathan Lambert 在 Interconnects 中讨论基准测试者面临的困境:提升分数虽昂贵但有清晰套路,而在当前 AI 前沿创建有意义的基准却缺乏方法。文章指出,对语言模型的独立评估难度被低估。

阅读这篇报道
Nathan Lambert 谈 AAv5 指数与开放模型评测Nathan Lambert未入选

我觉得有必要同时为 AAv5 指数和开放模型辩护。基准测试比大多数人以为的更混乱、更主观,也更棘手。

阅读这篇报道