RAG 评估指标与迭代陷阱

回答与解析

一、系统性评估框架

RAG评估必须分层进行，避免"黑盒优化"：

1. 检索层（Retrieval）

• Recall@K：正确答案是否在Top-K中（核心指标）
• MRR/NDCG：排序质量
• 精确率：检索片段的相关性比例

2. 生成层（Generation）

• 事实性：答案是否忠实于检索内容（可用NLI模型自动判）
• 完整性：是否覆盖问题要点
• 流畅性：语言自然度（可用 perplexity 或人工打分）

3. 端到端（End-to-End）

• Answer Correctness：答案正确性（人工或GPT-4判分）
• 业务指标：用户满意度、任务完成率

关键原则：三层指标要联动看。检索高召回+生成幻觉 = 检索内容未被有效利用；检索低召回+生成正确 = 模型靠参数记忆"作弊"。

二、常见迭代优化方法

三、迭代实践建议

1. 先诊断后优化：用错误案例分析定位是检索失败还是生成失败
2. 建立回归测试集：覆盖高频Query和边界Case
3. A/B验证：离线指标提升≠线上效果提升，需小流量验证

学习建议

建议系统学习该知识点

口语版讲法(约4分钟)

• 一句话定位：RAG评估本质是拆解检索与生成两环节各自的问题
• 评估框架：三层分开看，但必须联动诊断
• 迭代优化：先诊断后动手，混合检索+引用强制是常见组合
• 落地风险：评估指标不能只看离线，线上要关注用户真实行为
• 可延伸点：Self-RAG的动态检索决策

这道题问的是RAG系统怎么评估和迭代，其实本质是问你怎么把检索和生成两件事拆开来看，再合起来调优。因为RAG的坑往往藏在中间，检索准了但生成没用对，或者生成对了但检索根本没把正确答案找出来。

先说评估。我会把评估拆成三层：检索层、生成层、端到端。但关键不是列指标，而是看它们之间的联动。

检索层，核心看召回率，比如Recall@K，正确答案在不在前K个里？这是底线。再一个看排序质量，比如MRR，毕竟就算召回了，排到第10条和排到第1条对生成层的影响差很多。生成层，我重点盯事实性，就是答案有没有忠实于检索内容。这个可以用NLI模型自动判，但人工抽检也跑不掉。流畅性反而不是大问题，LLM天然流畅。端到端就是最终答案对不对，但这里有个坑：如果检索召回很低，但生成答案居然对了，那很可能是模型靠参数记忆作弊，这种场景下你的RAG其实没生效。所以三层指标要一起看，才能定位到具体瓶颈。

迭代优化，我遵循先诊断后动手。举个例子，客服退款场景，用户问“我买了件衣服尺码不对怎么退”，如果检索没召回退款政策文档，那就是召回不足。我会用混合检索，BM25加向量，再加重排，把关键词匹配和语义匹配结合起来。如果召回够但生成还是瞎编，那就强制引用，让模型必须标注来源，甚至把检索内容直接前置到prompt里。还有一个常见失败场景：用户问题太模糊，比如问“满减怎么算”，这时候我会做查询扩展，比如HyDE，先生成一个假设答案再拿去检索。

落地时我特别关注一个前提：离线指标提升不一定等于线上好用。比如召回率高了，但引入的噪声文档反而让生成更不稳定。所以上线前我会建一个回归测试集，覆盖高频query和边界case，比如用户问“订单号输错了怎么办”，这种容易跟“订单状态查询”混淆。上线后小流量验证，看用户有没有二次提问或者直接离开。

其实现在还有一个方向是Self-RAG，让模型自己判断什么时候需要检索、什么时候靠自身知识就够了。这个在混合场景里特别有意思，比如用户问的是常识性政策，模型直接答就行，不用每次都去库里翻。

所以整体上，我会把RAG评估看成一套诊断工具，而不是打分清单。先拆开看检索和生成各自的问题，再合起来调，最后用线上行为验证。

关键一句:Self-RAG让模型动态决定是否检索，适用于混合场景

面试官还可能这样问

1. 问法 1 · 场景切入

   假设你在做一个电商客服机器人，用户问“这个订单什么时候到”，系统去知识库检索了物流规则。你怎么评估这次检索和生成的效果？比如你能从哪些层面去度量，又怎么知道哪里需要优化？

2. 问法 2 · 层层追问

   RAG系统上线后，你怎么判断它好不好？……如果只看端到端正确率够吗？……那检索召回和生成质量怎么分开看？……比如检索召回很高但答案还是错的，你会怎么定位和迭代？

3. 问法 3 · 直球架构

   请讲一下RAG系统的系统性评估方法，需要覆盖检索层、生成层和端到端指标，以及常见瓶颈对应的迭代优化方法。你直接说框架和具体方法就行。