事件追踪追踪中
Hugging Face发布Token Pooling训练教程
首次报道 最新进展 1 篇报道,1 个来源
事件综述根据 1 篇报道整理,11月11日更新
Hugging Face 发布教程,介绍如何用 Sentence Transformers 对多向量嵌入模型做 token pooling 感知训练,并开源训练与评测代码。其给出的对比是:在 pool_factor=4 时,常规训练模型保留未池化 NanoBEIR nDCG@10 的 94.6%,感知训练提升至 97.8%,文档向量减少 4 倍。 教程说明,同一训练好的模型可在推理时调整 pool_factor,以探索不同的存储预算;示例脚本在 A10G GPU 上运行,限时四小时,传入 HF_TOKEN 可把训练完成的模型上传至 Hub 账户。
综述由模型根据报道生成,细节以各篇原文为准。
进展时间线
北京时间,最早在上Hugging Face Blog发布多向量嵌入的Token Pooling训练教程
阅读这篇报道
全部报道
1 篇,点开看摘要面向多向量嵌入模型的 Token Pooling 感知训练
用 Sentence Transformers 对多向量嵌入模型做 token pooling 感知训练,可在相同存储预算下提升压缩检索质量:常规训练模型在 pool_factor=4 时保留未池化 NanoBEIR nDCG@10 的 94.6%,感知训练提升至 97.8%,文档向量减少 4 倍。
阅读这篇报道