大模型评估与监控面试题大全
评估是大模型应用从 demo 走向生产的分水岭。面试官会追问你怎么构造评测集、怎么区分检索问题和生成问题、线上怎么监控成本与质量。这一页把评估与监控题目、项目章节和面试准备路径放在一起。
共 121 道大厂真题，每道都有书面答案 + 口语版讲法 + 面试官追问。
先做项目，再刷题
评估指标、评测集与线上监控(121 题)
- LLM 输出准确性怎么提升? — 数据、训练、推理优化与外部增强四大路径可行性分析
- 评测数据集怎么选? — 项目实战中评测集选择标准与性能反映逻辑
- 大模型应用怎么保障可靠性? — 验证机制、反馈闭环与测试框架三大技术手段详解
- 自动 vs 人工评价怎么选?
- LLM 幻觉与安全风险怎么缓解?
- 判别式转生成式哪种方法更优?
- 验证集和测试集为何要分开?
- 面试高频论文怎么选?
- NDCG 怎么计算?
- RAG多轮对话怎么防知识遗忘?
- Agent 系统高并发延迟怎么优化?
- 多Agent冲突怎么检测与缓解?
- 子任务贡献怎么评估?
- Agent 训练链路怎么搭建?
- Agent 训练 vs RAG 怎么选?
- Agent 系统部署流程怎么设计?
- RAG 工作原理与局限怎么分析?
- 多路召回质量怎么评估?
- 搜索排序A/B测试权重怎么设计?
- Agent 工具选择机制怎么设计?
- Agent 系统安全防护怎么设计?
- RAG 评估指标怎么选?
- Agent 系统优缺点怎么分析?
- RAG 怎么缓解 LLM 幻觉?
- Agent 系统哪些模块最易出问题?
- RAG 为何要二次生成?
- RAG 评估体系怎么设计?
- RAG 系统性能怎么评估?
- RAG 怎么缓解幻觉?
- RAG 怎么减少幻觉?
- RAG 错误怎么定位到检索或生成?
- RAG 错误根源怎么定位?
- RAG 解决了 LLM 哪些局限?
- 专业领域 RAG 链路怎么搭?
- 召回策略怎么选? Recall@k 怎么看?
- RAG 召回方法怎么评估?
- RAG 编码模型怎么评估?
- RAG 性能瓶颈怎么优化?
- LLM 幻觉怎么缓解?
- RAG vs RLHF 怎么选?
- 专业领域 RAG 怎么设计?
- Single-Agent vs Multi-Agent 怎么选?
- BGE-M3 vs BM25 怎么选?
- RAG 二次生成怎么减少幻觉?
- Agent 多工具怎么选?
- 召回阶段怎么评估质量?
- 粗排模型性能怎么评估?
- 粗排模型效果怎么评估?
- Chain/Agent/Tool 怎么分工?
- 主流Agent框架优缺点与场景怎么选?
- 多工具选哪个？评分排序怎么实现？
- LangChain 链式调用怎么实现?
- LangChain 关键组件与流程?
- RAG 缓解哪类幻觉?
- RAG 评估指标有哪些?
- 搜索排序权重怎么A/B测试?
- Agent 系统优缺点与发展前景
- 粗排模型冷启动怎么做?
- RAG系统向量数据库怎么评估？
- RAG vs RL 怎么选?
- 现代RAG架构有哪些改进?
- 用户兴趣建模系统怎么设计?
- Attention 在多轮对话中有什么局限?
- 偏好感知系统架构怎么选?
- LLM 如何集成外部工具与记忆?
- Agent 工具调用用 Workflow 吗？
- AI Agent 核心理解与未来趋势
- RAG 检索语义相似但无关怎么解?
- Reflection 和 Memory 怎么协同?
- RAG 文档检索方法怎么选?
- MRR vs NDCG vs Precision 怎么选?
- RAG 系统评估指标怎么选?
- RAG 有哪些主要缺陷?
- RAG 上下文不准确怎么诊断?
- Reflection vs Memory 如何影响决策?
- 大模型怎么用于搜索检索?
- RAG 系统效果怎么评估?
- 单Agent vs 多Agent 怎么选?
- RAG 系统怎么评估?
- Agent项目背景与技术方案怎么写?
- 客服质量评估系统怎么设计?
- 多Agent系统组件怎么优化?
- RAG 解决了哪些问题?
- Agent项目挑战与解决方案怎么讲?
- Agent 技术实际有效性怎么评?
- 意图识别在 RAG 中怎么用?
- RAG 评估关键指标怎么选?
- 多Agent系统怎么优化?
- Agent 项目实战经验怎么讲?
- LangGraph 适合哪些场景?
- ReAct vs 传统规划怎么选?
- RG 系统效果差怎么排查?
- 训练/推理/知识增强怎么选?
- Agent 中规划与执行怎么协同?
- RAG 效果差怎么排查？
- RAG效果差：检索vs生成怎么诊断？
- 检索准但生成差，怎么调优？
- LangChain vs AutoGPT vs MetaGPT 怎么选?
- Agent 人工干预 vs 自动处理怎么切换?
- RAG 架构怎么工作?
- Agent 建模方法怎么选?
- 大模型 Agent 优缺点怎么分析?
- 共识算法如何落地多Agent？
- ReAct vs Plan-and-Execute 错误恢复谁强?
- Agent 哪个方向最易落地?
- Agent 基础能力怎么定义?
- Agent/RAG 系统怎么评估?
- Agent 外部工具怎么封装?
- Agent 三大能力怎么评估?
- Query改写怎么训练与评估?
- RAG 评估数据集怎么构建?
- Agent/RAG 评估体系怎么搭?
- Agent/RAG 评估数据集怎么建?
- Coding vs GUI vs Search 谁先落地?
- Agent 功能模块怎么分工?
- 评估数据集怎么构建?
- 知识库更新策略怎么选?
- AI Agent 四大瓶颈怎么破?
- AI Agent 核心能力怎么评估?
- Multi-Agent 训练流程怎么设计?
- MRR 在 RAG 中怎么定义?
常见问题
大模型评估面试最容易被追问什么？
最常见的是评测集怎么来、指标为什么这样选、badcase 怎么归因，以及线上质量下降时怎么定位。只说准确率不够，必须能把检索、生成、工具调用、成本和延迟拆开评。
LLM-as-Judge 能直接替代人工评估吗？
不能。它适合做大规模初筛和趋势监控，但需要抽样人工校准、固定 rubric，并警惕位置偏差、格式偏差和模型同源偏差。面试中要讲清边界。
RAG 和 Agent 的评估有什么不同？
RAG 更关注召回、相关性、引用和回答正确性；Agent 还要评估任务完成率、工具调用轨迹、失败恢复和成本。二者都要有可复现的 case 集。
想有人带着把项目做深、简历改到能扛追问，看 训练营；先自学也可以从本页开始。