大模型项目模拟面试
RAG 评测集与 bad case 项目模拟面试
适合做过 RAG 评测的人，重点练评测数据怎么来、指标怎么算、错误怎么定位，以及怎样持续改进。
使用方式：先换成自己的真实项目描述，再像面试一样逐题回答；练完后查看哪些地方还缺数据或具体案例。本页不包含也不保存任何个性化回答。
项目描述示例
项目描述示例 1
负责【真实 RAG 场景】评测体系，承担【样本、标注、指标或平台模块】。
教学示例：这不代表任何真实个人、公司或项目。开始模拟前，请换成自己的真实项目经历。
回答前需要准备：
- 个人职责
- 样本来源
- 评测项目材料
项目描述示例 2
建立【真实评测集与指标】，定位【真实失败类型】并验证【真实改动】。
教学示例：这不代表任何真实个人、公司或项目。开始模拟前，请换成自己的真实项目经历。
回答前需要准备：
- 指标与基线
- 样本切片
- 失败分类
- 验证结果
面试官通常会这样连续追问
1. 你具体做了什么：简历原句是“你的真实项目描述”。评测定义、样本收集、标注规范、平台实现和结果复核分别由谁完成？
回答前需要准备
- 本人负责的模块、决策和交付边界
- 团队、平台与外部服务的边界
回答里如果缺少这些内容，面试官会继续追问：没有说清自己负责哪部分。
关联知识题
2. 你具体做了什么：请展示一项已隐藏敏感信息的标注规范、样本版本、评测脚本变更或评审结论，证明职责和决策。
回答前需要准备
- 能对应到本人动作的变更、评审或设计记录
- 本人提交的标注规范、数据版本、评测脚本 diff 或评审结论
关联知识题
3. 系统怎样运行：评测集如何从线上日志、专家样本和合成样本构建？如何去重、分层、冻结版本并避免泄漏？
回答前需要准备
- 端到端组件、数据流和每层输入输出
- 关键接口与约束如何影响设计
关联知识题
4. 为什么这样选择：哪些指标自动计算，哪些必须人工或模型评审？为什么不只用一个端到端正确率？
回答前需要准备
- 至少两个候选方案、真实约束与放弃原因
- 质量、时延、开发和维护成本
关联知识题
5. 效果怎样证明：Recall@k、排序、faithfulness、答案正确性、拒答和业务指标各怎么定义？基线与样本量是多少？
回答前需要准备
- 检索、忠实度、答案正确性、拒答与业务指标的判定规则
- 冻结数据版本和评测器版本下的基线报告
- 样本来源、分层、去重、标注分歧和泄漏检查
回答里如果缺少这些内容，面试官会继续追问：没有说明指标怎么算；没有说明优化前的数据；没有说明评测数据怎么来。
关联知识题
6. 效果怎样证明：请给出评测集版本、样本来源占比、标注规范和评测器版本；若这些无法固定，就不能把两次报告直接当作提升。
回答前需要准备
- 检索、忠实度、答案正确性、拒答与业务指标的判定规则
- 冻结数据版本和评测器版本下的基线报告
- 样本来源、分层、去重、标注分歧和泄漏检查
关联知识题
7. 哪里出过问题：选一个 bad case，从原查询、权限、候选、重排、上下文到答案逐层定位；证据怎样排除其他根因？
回答前需要准备
- 可复现的输入、链路证据和错误输出
- 根因验证与修复后的固定样本回归
回答里如果缺少这些内容，面试官会继续追问：没有准备失败案例。
关联知识题
8. 哪里出过问题：请从一个 bad case 的查询、权限、候选、重排、上下文与答案逐层贴证据，并说明怎样排除至少一个竞争根因。
回答前需要准备
- 可复现的输入、链路证据和错误输出
- 根因验证与修复后的固定样本回归
关联知识题
9. 项目怎样上线：评测如何进入发布门禁和线上监控？数据漂移、标注分歧、回归失败时怎样阻断或回滚？
回答前需要准备
- 数据版本、标注分歧、评测器版本和回归报告
- 线上失败切片、漂移指标和回归看板
- 发布门禁、阻断条件与灰度观察记录
- 门禁失败后的版本回退和评测恢复记录
回答里如果缺少这些内容，面试官会继续追问：没有说明评测数据怎么来；没有说明是否真正上线；没有说明出故障时怎么办。
关联知识题
10. 项目怎样上线：请拿一次发布门禁记录，说明数据版本、评测器版本、失败切片、阻断结论和回退动作；没有记录就不要声称评测已经进入生产流程。
回答前需要准备
- 数据版本、标注分歧、评测器版本和回归报告
- 线上失败切片、漂移指标和回归看板
- 发布门禁、阻断条件与灰度观察记录
- 门禁失败后的版本回退和评测恢复记录
关联知识题
11. 条件变化怎么办：如果业务新增多语言和多租户，怎样保持不同切片可比，同时避免客户数据进入错误评测集？
回答前需要准备
- 容量、数据量或租户增长的量化模型
- 新约束下的方案调整与代价
关联知识题
题目说明
按真实面试逻辑设计的教学模拟题
页面示例不代表任何真实个人或公司经历。模拟时请只使用自己的真实项目内容。