请问 我使用rerank_model 进行问题与文本的比较过程中 发现返回的参数总是大于我给出的 从而导致无法排序的问题

#11
by Leekang199704 - opened

我想要研究的是 我使用BM25选取3个最佳结果 然后使用咱们得模型进行重排序 但是我发现 我输入3个结果 后 得分会出现5个 我输入10个结果后 得分会得到16个 从而无法进行排序
scores = rerank_model(**inputs, return_dict=True).logits.view(-1, ).float()
#这里scores 会得到5个参数

# 获取最高分数的索引
max_score_page_idx = max_score_page_idxs[scores.cpu().numpy().argmax()]
questions[query_idx]['reference'] = 'page_' + str(max_score_page_idx + 1)
StellaEncoder org

~<
我这是向量模型,不是rerank模型

~<
我这是向量模型,不是rerank模型

请问embedding模型是如何用于rerank任务的?为什么会出现在rerank排行榜上?

StellaEncoder org

~<
我这是向量模型,不是rerank模型

请问embedding模型是如何用于rerank任务的?为什么会出现在rerank排行榜上?
计算余弦相似度值,然后排序即可

我前文说的rerank模型指的是cross encoder, query和doc同时送入模型的那种,交互式的

Sign up or log in to comment