划重点:
⭐️ Gecko 是一种通用的文本嵌入模型,可用于训练文档检索、语义相似度和分类等任务。
⭐️ Gecko 通过从 LLM 中提炼知识,并融入到检索器中,实现了强大的检索性能。
⭐️ 在大规模文本嵌入基准上,具有256个嵌入维度的 Gecko 优于具有768个嵌入尺寸的现有模型。
站长之家(ChinaZ.com)4月7日 消息:谷歌 DeepMind 发布了一种名为 Gecko 的文本嵌入模型,专注于文档检索、语义相似度和分类等多种任务。文本嵌入模型在自然语言处理中扮演着重要角色,通过将文本转换为高维向量空间中的向量表示,实现捕捉文本的语义信息。
Gecko 通过从 LLM 中提炼知识,然后融入到检索器中,实现了强大的检索性能。在大规模文本嵌入基准上,具有256个嵌入维度的 Gecko 表现优异,超越了具有768个嵌入尺寸的现有模型。
该研究为多个任务创建了通用嵌入模型,利用 LLM 生成的合成数据集 FRet 进行训练,并得到 LLM 的支持。
研究结果显示,Gecko 在与大7倍模型和5倍高维嵌入进行比较时,取得了相竞争的结果。Gecko 的出现为改善信息检索系统提供了一种强大的替代方案,同时在分类、STS 和摘要方面也达到了新的 SOTA 水平。
论文地址:https://arxiv.org/pdf/2403.20327.pdf
(举报)