大模型项目缺陷修复
大模型项目常见缺陷与修复总览，补充适用边界与工程取舍
原题：在大模型项目开发过程中，常见的系统或模型缺陷包括过拟合、推理延迟高、输出不一致等。请列举几类典型缺陷，并阐述相应的解决策略和改进思路。
项目与经历 · 商汤科技真题
回答与解析
按缺陷类型定位，不把方法名当万能修复
过拟合或分布外退化应先比较训练集、独立验证集和真实流量切片，排查数据重复、泄漏、标签噪声与域偏移，再选择更强切分、正则、数据增广、早停或更合适的微调范围。
推理延迟高要拆成排队、prefill、逐 token 解码和工具调用。量化、KV Cache、连续批处理、并行与 speculative decoding 的作用不同。投机解码由较小的 draft model 提议若干 token，再由 target model 并行验证；draft 不是“打分模型”，收益取决于接受率、模型大小和硬件。
输出不一致要先确认随机采样参数、提示模板、检索结果与工具响应是否变化。降低温度、结构化约束或确定性解码可提高复现性，但可能牺牲多样性。Self-Consistency 是对多条推理路径做答案聚合，适合部分推理任务，不是事实纠错器。
事实与安全缺陷需要检索、工具、引用核验、规则或分类器、权限隔离和人工升级。事实任务应回到可信证据，不能因为多次采样得到相同答案就判真。
所有改进都要绑定 SLO 与质量门槛，统一测 TTFT、TPOT、吞吐、任务成功率、faithfulness 和失败切片。
口语版讲法(30秒速答 + 90秒主答 + 完整展开)
- 先用证据确认缺陷类别
- 拆解延迟而非只看平均值
- 准确解释投机解码
- 区分一致性聚合与事实核验
- 用质量门槛和失败切片验收
【30秒速答】 大模型项目的缺陷至少要分成泛化、性能、一致性和可靠性四类。过拟合看训练与独立验证差距、泄漏和域偏移；延迟拆成排队、prefill、逐 token 解码与工具调用；输出不一致先检查采样、提示、检索和外部工具；事实与安全问题要回到证据、权限和审核。投机解码是草稿模型提议、目标模型验证，不是用小模型打分。Self-Consistency 只聚合多条推理路径，不能替代检索或事实核验。
【90秒主答】 过拟合的处理顺序是先证明现象。若训练损失继续下降而独立验证质量变差，要检查样本是否重复、同一用户或实体是否跨集合、标签是否冲突，以及线上输入是否离开训练分布。确认后再比较早停、权重衰减、dropout、数据增广、减少可训练参数或补充目标域数据。只把训练轮数减半却不修泄漏，可能得到更好看的曲线，但问题仍在。
延迟要分阶段记录。请求可能在队列里等待，长提示让 prefill 变慢，长输出让 TPOT 累积，检索和工具还会带来外部耗时。量化主要减少权重带宽与显存，Paged KV 改善缓存管理，连续批处理提升吞吐，张量并行改变计算与通信。投机解码由 draft model 连续提出候选 token，target model 一次验证多个位置并按规则接受或拒绝，目标是在保持目标分布的前提下减少串行目标模型调用。若 draft 太慢或接受率低，反而可能没有收益。
【完整展开】 输出不一致不一定是模型缺陷。temperature、top-p、随机种子、系统提示、检索排序、时间敏感数据和工具返回任一变化，都可能导致不同答案。需要可重复时，可固定提示与依赖版本、降低随机性、使用 JSON Schema 或 grammar 约束，并把外部证据快照化。Self-Consistency 会采样多条推理链并对最终答案投票，它能在部分数学或符号推理任务上减少单路径偶然错误，但多数答案一致不代表事实正确。涉及公司制度、医学、法律或实时数据时，仍要检索权威来源、调用确定性工具并核对引用。
可靠性修复还要覆盖提示注入、越权工具、敏感信息和有害输出。系统层可限制最小权限、隔离不可信内容、校验工具参数、记录审计日志，并为高风险结果设置拒答和人工升级。验收时固定模型、硬件、并发、输入输出长度和质量门槛，同时报告 TTFT、TPOT、吞吐、任务成功率、事实支持率与安全失败率。只有缺陷证据、修复动作和同口径回归形成闭环，才算真正解决问题。
关键一句:相同答案不等于真实答案，速度提升也必须在目标模型质量不退化的条件下成立。
核验来源
面试官还可能这样问
- 问法 1 · 场景切入
假设我们做一个客服机器人，刚上线时效果很好，但过几天用户反馈回答开始胡编，或者响应变慢。你一般会从哪些角度排查和修复这种问题？
- 问法 2 · 层层追问
大模型项目上线后，你遇到过哪些坑？……训练时loss很低但线上效果差，这是为什么？……还有推理速度慢、输出不稳定，这些你分别怎么解决？
- 问法 3 · 直球架构
请列举大模型开发中常见的系统或模型缺陷，并针对每一类给出具体的解决策略和改进思路，比如过拟合、推理延迟、输出不一致这些。