MRR 在 RAG 中怎么定义?

回答与解析

MRR 的定义

平均倒数排名（Mean Reciprocal Rank）定义为：

$\text{MRR}=\frac{1}{|Q|}\sum_{i=1}^{|Q|}\frac{1}{\text{rank}_i}$

其中 rank_i 是查询 i 的第一个相关结果所在排名；若评测截断范围内没有相关结果，该查询记为 0。排第 1、2、3 位时，倒数排名分别为 1、0.5 和约 0.33。

在 RAG 中的意义

• MRR 对首个有效证据能否尽早出现很敏感，适合评估只向生成器提供较少候选的排序链路。
• 它只使用第一个相关结果的位置，不衡量后续相关证据是否齐全，也不能直接代表生成答案是否正确或忠实。
• 多阶段检索应分别记录初召回和重排后的指标，并以最终送入模型的候选顺序作为端到端诊断依据。

配套指标与阈值

MRR 应与 Recall@K、NDCG、证据覆盖率、Faithfulness、引用准确率和答案正确率结合。对于需要多个证据片段的问题，Recall@K 与 NDCG 往往比单独的 MRR 更能说明信息是否完整。

MRR 没有跨数据集通用的 0.7、0.8 或 0.85 合格线。可接受阈值必须基于同一标注集、候选深度、相关性定义、历史基线和业务错误成本确定，并报告置信区间或分桶结果。

口语版讲法(约4分钟)

• MRR定义：所有查询倒数排名的平均值
• RAG首位相关性决定生成质量
• 需配合Recall@K使用
• 实际阈值与注意点

MRR 我会先用一个例子解释。它看的不是系统一共找到了多少相关文档，而是“第一个相关文档排在第几位”。如果某个问题的第一个正确文档排第 1 位，这个 query 得 1 分；排第 2 位，得 1/2；排第 3 位，得 1/3；如果 TopK 里完全没有相关文档，就按 0 算。所有 query 的这个分数取平均，就是 Mean Reciprocal Rank。

它在 RAG 里有特殊意义，是因为 RAG 的生成质量高度依赖前面几条上下文，尤其是排在最前面的文档。很多系统不会把几十条检索结果都塞给大模型，而是取 Top3、Top5，甚至有些强约束场景只取 Top1。这个时候，正确文档排第 1 位和排第 8 位，体验差别非常大。排第 8 位在检索指标上可能算“召回到了”，但对生成模型来说，很可能根本用不上。

所以 MRR 很适合衡量“相关信息有没有被尽早排到前面”。比如客服知识库里，用户问“会员退款多久到账”，如果第一条就是退款时效说明，模型大概率能答对；如果第一条是会员开通规则，第四条才是退款说明，模型就容易被前面的噪声带偏。

但 MRR 也不是万能的。它只关心第一个相关文档的位置，不关心后面还有没有更多相关信息。对于那种需要多个证据片段才能回答的问题，比如“某个产品的功能、价格和适用限制分别是什么”，只看 MRR 就不够了。第一个相关文档排得很靠前，但如果其他关键信息没召回，最终答案还是会漏。

所以我实际评估 RAG 时，不会单独看 MRR。我通常会组合看几个指标：MRR 看首个有效证据的排序质量，Recall@K 看正确证据有没有被召回，NDCG 看多个相关文档的整体排序质量；到了生成端，还要看 faithfulness 和答案正确率。这样才能判断问题到底是“没找回来”“排得太后”，还是“找回来了但模型没用好”。

如果要落到优化动作上，MRR 低通常说明排序链路有问题，可能是 embedding 不适合、query 改写不准，或者 reranker 没把真正有用的文档顶上来。这个时候我会先看 TopK 列表，而不是直接改 prompt。

关键一句:MRR 更像检索排序指标，不等于端到端答案质量。

面试官还可能这样问

1. 问法 1 · 场景切入

   假设你做一个企业知识库问答的RAG系统，用户问“报销流程”，系统先召回一堆文档，然后只取第一个送给大模型。这时候第一个结果准不准很关键吧？那你怎么评价这个“准不准”呢？

2. 问法 2 · 层层追问

   检索出来的文档你一般怎么评估排序质量？……那只看第一个位置够不够？……如果我想知道第一个文档是否相关，但又不关心后面，有什么指标专门衡量这个？

3. 问法 3 · 直球架构

   说说MRR在RAG里的定义和意义。就是那个平均倒数排名，怎么算的？为什么它对RAG特别重要？还有它有什么局限？