事件追踪已归档
Cohere发布CulturalRiddles文化基准
首次报道 最新进展 2 篇报道，2 个来源
事件综述根据 2 篇报道整理，10月22日更新
Cohere 发布文化基准 CulturalRiddles，用原创谜语测试大语言模型对多元文化的理解。据其论文介绍，基准由人类通过社区参与式创作，覆盖 62 种文化（45 个国家、51 种语言）；研究测试了 28 种 LLM 配置，前沿模型在部分文化群体中准确率最高仅 22%。 Cohere 称，大语言模型在数学和科学上越来越强，但许多模型连一个简单的谜语都解不开。全部材料已公开，并设有开放贡献流程以扩展语言与文化覆盖范围。
综述由模型根据报道生成，细节以各篇原文为准。
进展时间线
北京时间，最早在上CohereCohere发布CulturalRiddles文化基准
阅读这篇报道
全部报道
2 篇，点开看摘要Cohere 发布 CulturalRiddles 文化基准
大语言模型在数学和科学上越来越强。但令人意外的是，许多模型连一个简单的谜语都解不开。 @Cohere_Labs 的 CulturalRiddles 是一个新基准，将文化作为交织的、切身经历来测量。秉持开放科学精神，它由一支意想不到的团队打造。
阅读这篇报道CulturalRiddles：覆盖 62 种文化的谜语基准发布
CulturalRiddles 是一个由人类通过社区参与式创作、覆盖 62 种文化（45 个国家、51 种语言）的原创文化谜语基准，用于评估大语言模型对多元文化的理解与应用。研究用自动评测和大规模人工评估测试了 28 种 LLM 配置，前沿模型在部分文化群体中准确率最高仅 22%。全部材料已公开，并开放贡献流程以扩展语言与文化覆盖范围。
阅读这篇报道