Transformer 与模型架构面试题大全

应用开发岗不要求推导所有公式，但必须懂模型结构到能做工程取舍：为什么 Decoder-only 成主流、KV Cache 为什么省时、GQA 为什么省显存、推理延迟怎么优化。

共 72 道大厂真题，每道都有书面答案 + 口语版讲法 + 面试官追问。

先做项目，再刷题

Transformer、Attention 与模型结构(49 题)

KV Cache、批处理与推理优化(23 题)

常见问题

应用岗需要手推 Transformer 吗？

多数应用岗不需要完整手推，但要讲清 Attention、上下文长度、KV Cache、显存和推理延迟之间的关系。能做工程取舍比背公式更重要。

KV Cache 为什么是高频题？

它直接关系到推理性能和成本。面试官常用它判断你是否理解自回归生成、prefill / decode 两阶段、显存占用和长上下文代价。

MHA、MQA、GQA 怎么讲？

它们都是注意力头和 KV 共享方式的取舍：MHA 表达更充分，MQA/GQA 牺牲部分表达换更低 KV Cache 和更快推理。

想有人带着把项目做深、简历改到能扛追问，看 训练营；先自学也可以从本页开始。