Transformer 为何用 Layer Norm?

回答与解析

计算轴不同

• BatchNorm通常对每个通道使用batch及其他被纳入统计的轴计算均值方差，训练依赖当前batch，推理使用运行统计。
• LayerNorm对每个token或样本的隐藏维独立归一化，不依赖其他batch样本，训练与推理使用当前样本统计。

Transformer更常用LN/RMSNorm的原因

1. batch独立：微批大小变化、梯度累积和推理batch变化不会改变LN统计。
2. 序列边界清晰：每个token在隐藏维归一化，变长序列与padding不需要混入跨样本统计。BN是否被padding污染取决于布局、统计轴和mask实现，并非必然。
3. 自回归一致性：生成时batch与长度不断变化，LN无需维护训练期running mean/variance。
4. 残差优化经验：Transformer已形成Pre-Norm、Post-Norm及RMSNorm等成熟配方；这是架构与优化的经验选择，不是数学上“必须LN”。

LN会改变送入Q/K/V的表示尺度与中心，因此会影响注意力logit和权重分布，不能说“不影响attention”。BN也不是理论上不能用于序列模型；如果明确定义统计轴、正确mask并处理训练推理统计差异，可以构造变体，但通常引入跨样本耦合和更复杂的部署行为。

工程比较应控制模型、初始化和batch，观察训练稳定性、不同长度/批量下的一致性、吞吐和最终质量，而不是用“BN需要大batch”一条绝对规则结束。

口语版讲法(约4分钟)

• 先比较统计轴
• 说明batch和变长序列影响
• 讨论训练推理一致性
• 澄清attention与padding误区
• 保留BN可用边界

我先从统计轴回答。BatchNorm通常对每个通道，利用batch以及实现中指定的空间或时间轴计算均值方差，所以一个样本的输出会受到同batch其他样本影响。LayerNorm则对每个token或样本自己的隐藏维做归一化，不读取其他batch样本。因此两者的核心差别是统计耦合范围，而不是简单的一个适合图像、一个适合文本。

Transformer训练经常使用很小的micro-batch，再通过梯度累积形成较大的global batch。BatchNorm看到的是当前前向的micro-batch统计，不会自动看到梯度累积后的global batch；批大小和样本组成变化会改变统计。LayerNorm与batch无关，在不同micro-batch、数据并行切分和推理batch下行为更一致，这是它更自然的原因之一。

变长序列和padding也会增加BN设计复杂度，但不能说padding一定污染BN。是否污染取决于张量布局、归一化轴以及有没有正确mask无效位置。如果把token位置纳入统计又不排除padding，当然会偏；如果专门设计masked统计，则可以缓解。LayerNorm对每个有效token的隐藏维独立计算，天然避开了跨序列padding统计的问题。

推理时，标准BatchNorm通常使用训练期间积累的running mean和variance；训练分布、序列长度或batch组成变化可能带来偏差。LayerNorm每次只用当前token的统计，没有这套running state，所以自回归解码和动态batch更直接。但这不代表LayerNorm完全没有数值或分布问题，它仍依赖epsilon、精度和可学习仿射参数。

还要纠正“不影响注意力权重”的说法。LN或RMSNorm改变送入Q和K投影的输入尺度及中心，当然会影响attention logit和最终softmax分布。它与self-attention常见组合的原因是训练配方成熟和残差路径更易控制，而不是因为归一化对attention透明。

所以Transformer不是数学上必须用LayerNorm。BatchNorm和其他norm在特定结构里也能用，只是需要明确统计轴、mask、训练推理统计和分布式同步成本。现代大模型还大量使用RMSNorm，说明真正目标是稳定残差尺度并获得可实现的训练动态，而不是拘泥于某一个名字。

如果做实验，我会固定模型和初始化，分别观察不同micro-batch、不同序列长度、训练与推理模式下的loss、梯度范数、吞吐和最终质量。这个证据比“BN必须大batch”更完整，也能解释为什么主流工程默认选择LN或RMSNorm。

在数据并行下，SyncBatchNorm可以跨设备聚合统计，但会增加通信；它解决的是统计样本量和一致性，不会自动处理padding或自回归分布变化。这个例子也说明BN并非不可用，只是系统代价和状态管理通常比LN复杂。

关键一句:梯度累积不会让BatchNorm自动获得global batch统计。

核验来源

1. Layer Normalization
2. Batch Normalization
3. Attention Is All You Need

面试官还可能这样问

1. 问法 1 · 场景切入

   假设现在训练一个处理变长文本的 Transformer，batch 较小且各样本 padding 差异明显。你会选择 LayerNorm 还是 BatchNorm，判断依据是什么？

2. 问法 2 · 层层追问

   BatchNorm 沿哪些维度统计？……小 batch 和变长序列会带来什么问题？……LayerNorm 对每个 token 怎样计算？……训练与自回归推理时两者的统计依赖有何不同？

3. 问法 3 · 直球技术

   请从归一化轴、batch 依赖、变长序列、训练/推理一致性和优化稳定性解释 Transformer 为什么通常采用 LayerNorm 而非 BatchNorm。