检索准但生成差，怎么调优？
检索 vs 生成模块诊断方法,生成质量差时的调优策略
原题：在检索增强生成（RAG）系统中，若整体效果不佳，应如何系统性地定位问题是出在检索模块还是生成模块？若确认检索准确但生成质量差，有哪些针对性的调优策略？
评估与监控
30 秒回答
- 能够系统性地拆解RAG链路，提出可量化的诊断方法
- 掌握检索模块的独立评估指标（Recall@K、MRR等）
- 掌握生成模块的评估维度（忠实性、相关性、流畅性）
- 给出至少3种针对性的生成优化策略
回答与解析
答案要点
- 能够系统性地拆解RAG链路，提出可量化的诊断方法
- 掌握检索模块的独立评估指标（Recall@K、MRR等）
- 掌握生成模块的评估维度（忠实性、相关性、流畅性）
- 给出至少3种针对性的生成优化策略
- 能区分"检索准但生成差"的典型场景（如上下文利用不足、指令遵循弱）
一、系统性诊断：定位问题模块
核心原则：将RAG链路拆分为独立可测的环节，避免"黑盒调试"。
1. 检索模块独立评估
- 离线指标：计算Recall@K、MRR、NDCG，对比Top-K检索结果与人工标注的相关文档
- 快速验证：用固定的人工精选文档替换检索结果，若生成质量显著提升 → 检索是瓶颈
- Bad Case分析：抽样失败案例，检查检索结果是否包含答案所需信息
2. 生成模块独立评估
- 上下文充分性测试：将正确答案所在文档强制放入上下文，观察生成是否改善
- 生成质量维度拆解：
- 忠实性（Hallucination检测）：答案是否被上下文支持
- 相关性：是否回答用户问题而非泛泛而谈
- 完整性：是否覆盖上下文中的关键信息
二、检索准确但生成差的优化策略
1. 上下文利用优化
- 上下文压缩/重排序：用LLM或轻量模型对检索文档去冗余、排优先级
- 多文档融合：设计结构化Prompt（如"文档[1]说...文档[2]说..."），明确标注来源
- 动态上下文窗口：根据问题复杂度调整送入LLM的文档数量
2. 生成模型/推理优化
- 微调策略：用领域数据SFT，强化"基于给定上下文回答"的指令遵循能力
- Prompt工程：添加显式约束，如"若上下文无法回答，请明确说明"
- 解码策略调整：降低temperature减少发散，或改用CoT激发推理能力
3. 反馈闭环机制
- 收集"检索准但生成错"的样本，构建针对性训练集
- 引入Self-RAG或迭代生成：让模型先生成、再自检、后修正
三、快速决策口诀
| 现象 | 诊断结论 | 优先动作 |
|---|---|---|
| 换人工文档后变好 | 检索问题 | 优化Embedding、调整分块策略 |
| 人工文档仍差 | 生成问题 | 优化Prompt、微调模型、改进上下文格式 |
| 长文档效果好、短文档差 | 信息整合不足 | 加CoT、多文档融合Prompt |
| 部分问题好、部分差 | 领域适配不足 | 针对性SFT、RAG-Fusion策略 |
口语版讲法(约4分钟)
- 核心诊断方法：用人工文档替换检索结果
- 检索评估的离线指标和快速验证
- 生成质量的三个维度：忠实、相关、完整
- 生成优化策略：上下文压缩、Prompt工程、反馈闭环
- 落地风险：上下文窗口限制、模型依赖
这道题其实问的是，当RAG系统效果不好时，怎么用工程化的方式定位问题，而不是靠直觉瞎调。我的思路是先把链路拆开，分别测检索和生成。
先说诊断。最直接的方法，就是拿人工精选的文档，替换掉检索模块的结果，送到生成模型里。如果生成质量明显提升，那问题基本就在检索这边，比如召回率不够或者排序有问题。如果换了人工文档还是不行，那就是生成的问题。这个验证方法很简单，但很有效。
对于检索模块，我会看离线指标，比如 Recall@K 和 MRR，对比Top-K结果和人工标注的相关文档。同时我会抽一些坏案例，看看检索结果里到底有没有答案需要的信息。如果信息都在，但模型没用上，那就不是检索的锅。
生成模块的评估，我主要看三个维度：忠实性，就是模型有没有 Hallucination，答案是不是基于上下文；相关性，回答是不是针对用户问题；完整性，有没有覆盖上下文里的关键点。
确认检索准确但生成差，我一般从三个方向优化。先看上下文利用。比如用 Rerank 或者上下文压缩，去掉冗余信息，把最相关的文档排前面。再一个，设计结构化Prompt，明确标注文档来源，比如'文档1说…文档2说…'，让模型清楚知道每段信息的出处。还有个技巧是动态上下文窗口，根据问题复杂度调整送进模型的文档数量，避免信息过载。
再看生成模型和推理优化。如果模型本身指令遵循能力弱，可以用领域数据做 SFT，强化'基于给定上下文回答'的能力。Prompt工程也很重要，比如加一句'如果上下文无法回答，请明确说明'，能减少幻觉。解码策略上，我会降低temperature，让输出更稳定，或者用 Chain-of-Thought 激发推理能力。
还要看反馈闭环。收集'检索准但生成错'的样本，构建针对性训练集。比如用 Self-RAG 让模型先生成、再自检、后修正，相当于加了一层自我反思。
这里有个坑，就是上下文窗口的限制。比如你送了很多文档，但模型注意力有限，可能只关注了开头或结尾，导致关键信息被忽略。所以我会特别关注文档的排序和截断策略，上线前会用一批长尾query做压力测试，确保信息能正确传递。
总的来说，我更倾向于把诊断和优化当成一个持续迭代的过程，而不是一次性的调参。先快速定位瓶颈，再用数据驱动的方式针对性优化，这样效率最高。
关键一句:上下文窗口限制可能导致模型忽略关键信息，需要关注文档排序和截断策略。
面试官还可能这样问
- 问法 1 · 场景切入
假设你在做电商客服的RAG系统，用户问“我的订单为什么还没发货”，系统回复了一堆物流政策但没给具体原因。你觉得怎么判断是检索没找到相关订单，还是模型没用好检索到的信息？
- 问法 2 · 层层追问
RAG效果不好时，你一般先查哪一端？……如果我把检索出来的文档换成人工整理的正确内容，生成还是差，那问题在哪？……确认检索没问题后，你会怎么具体优化生成模块？
- 问法 3 · 直球架构
如果RAG系统整体效果差，你怎么系统性地定位是检索模块还是生成模块的问题？假设定位到检索准确但生成质量差，请列出至少三种针对性的调优策略。