召回策略怎么选? Recall@k 怎么看?
RAG 系统评估指标详解,包括 Recall@k 的作用与意义
原题：在构建检索增强生成（RAG）系统时，评估和选择不同召回策略的主要依据是哪些指标？特别是Recall@k等指标的作用和意义是什么？
评估与监控 · 字节真题
回答与解析
核心评估指标体系
一、离线检索指标（选策略阶段）
| 指标 | 含义 | RAG场景意义 |
|---|---|---|
| Recall@k | 前k个结果中命中相关文档的比例 | 最关键指标，决定"有没有正确答案" |
| MRR (Mean Reciprocal Rank) | 首个相关文档排名的倒数均值 | 关注"多快能找到" |
| NDCG@k | 考虑位置加权的排序质量 | 头部结果的相关性优先级 |
| Precision@k | 前k个结果中相关文档占比 | 过滤噪声能力 |
Recall@k的特殊性：RAG与推荐系统不同——推荐可"猜对"，RAG必须"找全"。Recall@k直接决定LLM能否看到答案，是天花板指标。
二、关键决策依据
1. k值选择策略
- 理论：k↑ → Recall↑，但LLM上下文窗口和注意力稀释限制
- 实践：通常k=5~20，结合Recall@k曲线拐点确定
2. 多路召回评估
总Recall = 1 - ∏(1 - Recall_i) // 近似估算互补性
- 评估各路的增量贡献（ablation study）
- 避免"伪多路"——多路召回同一批文档
3. 业务约束
- 延迟P99：向量检索<50ms，重排序<100ms
- 成本：embedding调用次数、存储规模
三、端到端验证（最终标准）
离线指标高 ≠ RAG效果好，必须回归：
- 答案准确率（人工/模型评估）
- 幻觉率（检索内容是否被正确使用）
一句话总结：Recall@k是必要条件，但需结合NDCG保证头部质量，最终用端到端指标验收。
学习建议
建议系统学习该知识点
口语版讲法(约4分钟)
- 一句话定位：RAG召回策略评估本质是平衡召回率与精度
- Recall@k是天花板指标，但k值选择有陷阱
- 真正落地常是Hybrid Search，评估要看增量贡献
- 端到端验证才是最终标准，离线指标不够
这道题问的是召回策略怎么选、怎么评估，我觉得本质是在问一个取舍问题：你希望系统尽量多地把相关文档捞上来，还是希望捞上来的都是精的？因为RAG和推荐系统不一样，推荐猜对了就行，RAG必须把正确答案喂给LLM，不然模型再强也白搭。所以离线阶段，我重点看四个指标：Recall@k、MRR、NDCG，还有Precision@k。但最关键的其实是Recall@k，因为它决定了天花板，如果前k个结果里根本就没有相关文档，那LLM再厉害也看不到答案。不过这里有个坑：Recall@k再高，如果前几个结果噪声很大，LLM注意力会被稀释，照样可能答错。所以我会把Recall@k当成必要条件，但不会只看它。
具体说一下k值怎么定。理论上k越大召回越高，但LLM的上下文窗口有限，而且注意力会分散。我一般从k=5开始，画Recall@k曲线，找拐点。比如某个业务里，k从5提到10，召回涨了15个点，但从10提到20只涨了3个点，那k=10就差不多了。再往上提，收益递减，反而可能把噪声带进来。
真正落地时，我很少只用一种检索方式。举个例子，在客服退款场景里，用户可能说'我上周买的鞋子，码数不对想退'，用向量检索能理解语义，但如果是查'退款政策第3条'这种精确短语，向量就不如关键词。所以我会做Hybrid Search，把向量和BM25结合起来。评估多路召回时，我不是简单看每条路自己的Recall，而是看增量贡献，做消融实验，去掉一路看总Recall掉多少。如果去掉某路只掉了1个点，那这路可能就没必要上，避免'伪多路'，就是多条路召回的结果高度重叠，看着多其实没用。
但离线指标再漂亮，也不代表线上效果好。这里有个常见失败场景：离线Recall@10有90%，但上线后LLM答错了。为什么？可能因为相关文档排在最后，LLM没读到，或者检索到的内容互相矛盾，LLM被误导了。所以必须做端到端验证，用评估集测答案准确率和Hallucination率。我上线前会特别关注检索内容是否被正确使用，比如LLM有没有忽略检索结果而自己瞎编。
另外，还有个点值得注意：不同业务对召回的容忍度不一样。比如企业合规文档检索，漏一条可能出大问题，那Recall@k权重就得非常高；但如果是开放域问答，漏几条没关系，模型能推理出来，那Precision可能更重要。所以我会先看业务场景，再定指标权重。
总的来说，我更倾向把Recall@k看成准入条件，NDCG保证头部质量，最终用端到端指标验收。如果只让我选一个指标，我会选端到端答案准确率，因为那才是业务真正关心的。
关键一句:不同业务场景对召回容忍度不同，合规场景Recall权重高，开放域问答Precision可能更重要。
面试官还可能这样问
- 问法 1 · 场景切入
假设你在做电商客服的RAG系统，用户问“订单怎么还没到”，系统要去召回相关文档。你平时会用什么指标来评估召回策略好不好？比如召回结果不够全，你怎么判断是策略的问题？
- 问法 2 · 层层追问
召回策略怎么选，一般看哪些指标？……那Recall@k具体在RAG里起什么作用？……如果k从5调到20，Recall上去了，但LLM回答质量反而下降，你觉得可能的原因是什么？
- 问法 3 · 直球架构
评估RAG召回策略时，离线指标你一般重点看哪几个？其中Recall@k为什么特别关键？在决定k值的时候，除了Recall曲线，还要考虑哪些因素？