Transformer 与模型架构面试题大全
应用开发岗不要求推导所有公式，但必须懂模型结构到能做工程取舍：为什么 Decoder-only 成主流、KV Cache 为什么省时、GQA 为什么省显存、推理延迟怎么优化。
共 72 道题，按能力模块组织。
先做项目，再刷题
Transformer、Attention 与模型结构(49 题)
- DDPM 闭式采样为何无需展开前向链? — 用 q(x_t|x_0) 一步构造任意噪声状态，并以随机 t 估计训练目标
- 大模型面临哪些核心挑战? — 计算资源、推理延迟、幻觉与上下文长度瓶颈分析
- Transformer 为何用 Layer Norm? — 从训练稳定性、Batch Size 依赖、序列建模三方面对比 BN
- 位置编码为什么重要?
- LLaMA为何选RMSNorm?
- LayerNorm vs BatchNorm 怎么选?
- DDPM 为什么随机采样时间步?
- RMSNorm vs LayerNorm：训练效率怎么比?
- Transformer 为何要归一化?
- CNN/RNN/Transformer 怎么选?
- 逻辑回归原理怎么理解?
- 主流图像生成模型有哪些?
- 参数规模怎么影响大模型?
- Encoder vs Decoder 功能区别?
- Layer Norm 怎么稳定训练?
- MoE 怎么提升 Agent 能力?
- VQ-VAE 原理与完整结构
- RMSNorm vs LayerNorm：数值稳定性怎么比?
- 格式化输出 vs 思维链，怎么选？
- Transformer 为何用 LayerNorm 而非 BatchNorm?
- Transformer归一化方法有哪些?
- VQ-VAE 码本塌缩治理
- 判别式转生成式有哪些方法？
- Encoder vs Decoder 核心区别?
- LayerNorm 如何控制激活尺度?
- Few-shot 推理为何有效?
- 自回归生成用 token id 还是概率分布?
- FFN 隐藏层维度为何扩 4 倍?
- AI 论文怎么读?核心思想+创新点
- 幻觉一致性延迟诊断
- VQ-VAE 与传统 VAE 有何不同?
- LayerNorm 前向实现：数值稳定性陷阱
- Self-Attention 怎么计算 QKV?
- Transformer 架构核心组件原理
- Multi-Head Attention 维度变化
- GPT vs BERT 核心区别在哪?
- Decoder-only 架构为何是主流?
- Flow Matching 原理是什么?
- MLA 与 KV Cache 怎么用?
- BERT+CRF 怎么联合训练?
- LayerNorm vs RMSNorm 原理差异?
- 多头注意力原理与QKV拆分陷阱
- 位置编码怎么选? RoPE vs ALiBi
- VQ-VAE 损失与码本更新
- DDPM vs Flow Matching: 建模与训练差异?
- RMSNorm推理效率更高吗?
- Transformer 是什么?为什么是大模型的基石?
- Token 是什么?为什么大模型按 Token 计费?
- 上下文窗口是什么?超了怎么办?
KV Cache、批处理与推理优化(23 题)
- Flash Attention 原理怎么理解? — 融合计算与 I/O 优化 Transformer 注意力,训练推理加速
- 模型优化方法有哪些？ — 从训练、推理到部署，系统性提升大模型性能
- vLLM vs TensorRT-LLM 怎么选? — 主流推理框架吞吐量、延迟、内存优化对比
- LLM 推理框架综合选型
- 13B模型INT8/INT4量化后多大?
- 推理框架硬件支持对比
- FAISS 怎么实现高效 ANN 搜索?
- 超长上下文怎么处理?
- PyTorch 计算图怎么支持自动微分?
- MoE 怎么增强 Agent 能力?
- 可视化怎么诊断训练问题?
- 数据分层为何不用大模型?
- 视频切帧怎么平衡效率与信息?
- 工程化核心目标是什么?
- VecEnv 怎么加速强化学习训练?
- 显存优化技术原理与对比
- KV-Cache 空间复杂度怎么算?
- DeepSpeed 核心特性与架构怎么用?
- ZeRO 与 FlashAttention 各优化什么?
- 视频生成加速有哪些方法?
- LoRA 微调比全量微调更慢吗？
- Hive SQL 熟练度评估指标
- KV Cache 是什么?为什么能加速推理?
常见问题
应用岗需要手推 Transformer 吗？
多数应用岗不需要完整手推，但要讲清 Attention、上下文长度、KV Cache、显存和推理延迟之间的关系。能做工程取舍比背公式更重要。
KV Cache 为什么是高频题？
它直接关系到推理性能和成本。面试官常用它判断你是否理解自回归生成、prefill / decode 两阶段、显存占用和长上下文代价。
MHA、MQA、GQA 怎么讲？
它们都是注意力头和 KV 共享方式的取舍：MHA 表达更充分，MQA/GQA 牺牲部分表达换更低 KV Cache 和更快推理。
想有人带着把项目做深、简历改到能扛追问，看 训练营；先自学也可以从本页开始。