CPT 后灾难性遗忘怎么防?
连续预训练后通用能力退化成因与风险,如何缓解
原题：在进行连续预训练（CPT）后，模型可能出现通用语言能力退化（即灾难性遗忘）的现象。请分析这一问题的成因及其在实际应用中的潜在风险。
模型训练 · 字节真题
回答与解析
连续预训练后出现灾难性遗忘，是指领域数据上的能力提升伴随原有通用能力、对齐行为或其他领域能力下降。它不是看到训练loss下降就能判断，而要在CPT前后用同一组通用、领域、安全和指令遵循评测比较，并排除评测噪声与数据污染。
成因通常包括训练分布大幅偏向新领域，新数据梯度与旧能力所需参数方向发生干扰，以及学习率、训练步数或优化器状态让参数漂移过大。数据重复和领域风格过窄也会放大偏移。把它只解释成有限容量被新知识挤占并不充分，更不能断言浅层语法、中层语义和高层推理会按固定顺序受损。
风险取决于模型用途。医疗或法律CPT可能改善术语与领域知识，却让通用问答、跨语言、格式遵循或拒答边界退化；面向多个业务复用时，这种回归会造成同一版本在非目标流量上失效。若安全与对齐样本没有覆盖，还可能出现拒答率、越权回答或有害内容控制变化。
缓解时可以混入通用回放数据、降低或重新调度学习率、缩短训练、使用参数高效方法、增加正则约束或分阶段训练。但不存在通用的通用数据占比，也不能规定CPT学习率一定是预训练的某个分数。PEFT冻结主干也不保证完全不遗忘，因为适配器仍会改变模型输出分布。
我的做法是先建立多轴回归集，画出领域收益与通用损失的曲线，再对数据混合、学习率、训练步数和可训练模块做消融。关键安全集合应设置不可接受的回归门槛；一般能力则结合业务流量加权。还要检查评测是否与CPT语料近重复，避免把记忆当领域提升。
版本发布前会保留CPT前checkpoint和可回滚数据配方，并按语言、任务、长度和风险场景做切片。若领域收益只能通过明显破坏核心通用能力获得，就应考虑检索、工具或领域adapter，而不是继续扩大CPT。这样遗忘治理是可测量的权衡，不是套用固定比例。
口语版讲法(约4分钟)
- 定义CPT后的能力回归
- 解释分布偏移与梯度干扰
- 删除层次化受损假设
- 按回归集选择缓解方案
- 覆盖业务与安全风险
连续预训练后出现灾难性遗忘，是指领域数据上的能力提升伴随原有通用能力、对齐行为或其他领域能力下降。它不是看到训练loss下降就能判断，而要在CPT前后用同一组通用、领域、安全和指令遵循评测比较，并排除评测噪声与数据污染。
成因通常包括训练分布大幅偏向新领域，新数据梯度与旧能力所需参数方向发生干扰，以及学习率、训练步数或优化器状态让参数漂移过大。数据重复和领域风格过窄也会放大偏移。把它只解释成有限容量被新知识挤占并不充分，更不能断言浅层语法、中层语义和高层推理会按固定顺序受损。
风险取决于模型用途。医疗或法律CPT可能改善术语与领域知识，却让通用问答、跨语言、格式遵循或拒答边界退化；面向多个业务复用时，这种回归会造成同一版本在非目标流量上失效。若安全与对齐样本没有覆盖，还可能出现拒答率、越权回答或有害内容控制变化。
缓解时可以混入通用回放数据、降低或重新调度学习率、缩短训练、使用参数高效方法、增加正则约束或分阶段训练。但不存在通用的通用数据占比，也不能规定CPT学习率一定是预训练的某个分数。PEFT冻结主干也不保证完全不遗忘，因为适配器仍会改变模型输出分布。
我的做法是先建立多轴回归集，画出领域收益与通用损失的曲线，再对数据混合、学习率、训练步数和可训练模块做消融。关键安全集合应设置不可接受的回归门槛；一般能力则结合业务流量加权。还要检查评测是否与CPT语料近重复，避免把记忆当领域提升。
版本发布前会保留CPT前checkpoint和可回滚数据配方，并按语言、任务、长度和风险场景做切片。若领域收益只能通过明显破坏核心通用能力获得，就应考虑检索、工具或领域adapter，而不是继续扩大CPT。这样遗忘治理是可测量的权衡，不是套用固定比例。
还可以比较CPT前后相同输入的输出分布与关键层表示，但这些分析只用于定位，不能替代任务评测。若某类能力回归，可尝试增加对应回放或限制更新，再观察领域收益是否保留。真正有效的方案应在多个随机种子和未见样本上复现，而不是只让一张平均分表恢复。
关键一句:如何画出领域增益与通用能力回归的可接受边界。
核验来源
面试官还可能这样问
- 问法 1 · 场景切入
假设我们刚用医疗数据对模型做了一轮CPT，上线后发现它突然“不会说人话了”，比如问它“帮我查一下订单状态”，它回了一堆医学术语。你觉得这是怎么回事？
- 问法 2 · 层层追问
CPT之后模型通用能力下降，你觉得可能是什么原因？……那数据分布差异具体会怎么影响？……如果现在要你评估风险，你会从哪些方面去考虑？
- 问法 3 · 直球架构
请分析连续预训练后模型出现灾难性遗忘的成因，以及在实际应用中可能带来哪些潜在风险。