LoRA 微调效果差怎么排查?

回答与解析

LoRA效果不如预期时，我不会先把rank调大。先确认基线和评测：同一基础模型、prompt、数据切分和解码设置下，未微调模型表现如何，目标指标是否稳定，训练与验证是否近重复。标签噪声、样本过窄或评测不代表真实分布，都会让任何微调方案看起来失败。

实现层要确认target modules确实命中模型层名，只有适配器参数可训练，梯度非零，保存和加载后输出一致。常见错误包括漏掉模块、误冻结、loss mask错误、adapter未启用、合并缩放不一致，以及量化模型在不合适dtype下训练。先用很小数据过拟合测试验证链路。

rank决定更新子空间容量，alpha参与增量缩放，它们与学习率和初始化耦合。样本少不等于必然使用某个rank，复杂任务也不等于更新一定高秩。更大rank可能增加表达力，也会增加参数和过拟合风险。较好的方法是选几个rank和缩放配置，在相同训练预算下看验证曲线。

target modules往往比单独调rank更关键。只改注意力投影、加入输出投影或FFN，会产生不同容量和成本。不同层也可能需要不同预算，AdaLoRA等方法尝试自适应分配。是否解冻norm、embedding或lm head同样是实验变量，不能按深层更重要的口号直接决定。

若使用QLoRA，还要把量化误差、计算dtype、量化范围和普通LoRA区分开。QLoRA并不推出需要更大rank；模型能否恢复质量取决于基座、任务和目标模块。训练不稳时检查学习率、梯度、序列长度和数据，而不是用rank补偿所有问题。

最终会同时比较prompt基线、LoRA候选、必要时的全量或其他PEFT方案，报告任务质量、通用回归、训练成本和推理部署复杂度。若增加参数没有稳定收益，就回到数据或系统；若失败集中在特定能力，再针对信息路径调整。优化方案由消融证据决定。

口语版讲法(约4分钟)

• 确认问题是否真实存在
• 排查数据与实现
• 检查rank和缩放耦合
• 比较模块与量化配置
• 以回归和成本选方案

LoRA效果不如预期时，我不会先把rank调大。先确认基线和评测：同一基础模型、prompt、数据切分和解码设置下，未微调模型表现如何，目标指标是否稳定，训练与验证是否近重复。标签噪声、样本过窄或评测不代表真实分布，都会让任何微调方案看起来失败。

实现层要确认target modules确实命中模型层名，只有适配器参数可训练，梯度非零，保存和加载后输出一致。常见错误包括漏掉模块、误冻结、loss mask错误、adapter未启用、合并缩放不一致，以及量化模型在不合适dtype下训练。先用很小数据过拟合测试验证链路。

rank决定更新子空间容量，alpha参与增量缩放，它们与学习率和初始化耦合。样本少不等于必然使用某个rank，复杂任务也不等于更新一定高秩。更大rank可能增加表达力，也会增加参数和过拟合风险。较好的方法是选几个rank和缩放配置，在相同训练预算下看验证曲线。

target modules往往比单独调rank更关键。只改注意力投影、加入输出投影或FFN，会产生不同容量和成本。不同层也可能需要不同预算，AdaLoRA等方法尝试自适应分配。是否解冻norm、embedding或lm head同样是实验变量，不能按深层更重要的口号直接决定。

若使用QLoRA，还要把量化误差、计算dtype、量化范围和普通LoRA区分开。QLoRA并不推出需要更大rank；模型能否恢复质量取决于基座、任务和目标模块。训练不稳时检查学习率、梯度、序列长度和数据，而不是用rank补偿所有问题。

最终会同时比较prompt基线、LoRA候选、必要时的全量或其他PEFT方案，报告任务质量、通用回归、训练成本和推理部署复杂度。若增加参数没有稳定收益，就回到数据或系统；若失败集中在特定能力，再针对信息路径调整。优化方案由消融证据决定。

从曲线也能区分容量与过拟合。训练和验证都差，可能是模块没命中、学习率不合适或容量不足；训练很好而验证差，更像数据覆盖或过拟合；训练不稳则先查精度和缩放。这个诊断只提供方向，仍要用单变量实验验证，不能看到一种形态就直接指定rank。

序列拼接与loss mask也会影响LoRA结果。若只对回答区训练，却错误屏蔽关键token，或长样本被系统性截断，调rank无法补救。按长度分桶检查有效监督token和截断率，再与全量微调使用相同预处理，才能公平比较参数化方案。

关键一句:为什么更复杂的任务不必然对应更高秩的最优权重更新。

核验来源

1. LoRA: Low-Rank Adaptation of Large Language Models
2. QLoRA: Efficient Finetuning of Quantized LLMs
3. Adaptive Budget Allocation for Parameter-Efficient Fine-Tuning

面试官还可能这样问

1. 问法 1 · 场景切入

   假设你在做一个电商客服的意图分类任务，用LoRA微调一个7B模型，训完后发现准确率只比基座高了2个点，你第一反应会去查哪些地方？

2. 问法 2 · 层层追问

   LoRA微调后效果不好，一般怎么排查？……先看训练损失？……如果损失降不下去呢？……那假如损失正常但评测差，可能是什么原因？

3. 问法 3 · 直球架构

   请从数据、超参数、架构适配、训练策略四个角度，系统分析LoRA微调效果不如预期的可能原因，并给出优化方向。