PyTorch 动态图怎么自动微分?

回答与解析

动态计算图与自动微分

PyTorch eager 模式在执行 forward 运算时记录参与求导的操作。只要 grad mode 开启且相关输入 requires_grad，结果 Tensor 会通过 grad_fn 指向自动微分图中的节点。图是本次实际执行路径的记录，因此 Python 分支、循环和动态形状可以在下一次迭代构建不同的图。

autograd 主要使用反向模式自动微分。forward 中部分算子会保存 backward 所需的 Tensor；调用 backward 后，系统按链式法则从输出向叶子 Tensor 传播 vector-Jacobian product，并把梯度累积到叶子的 .grad。默认 retain_graph=False 时，用于本次反向的保存中间量会释放，但 Python 引用、retain_graph、create_graph、hook 或保存的输出仍可能延长图对象寿命，不能笼统说图一定立刻全部销毁。

动态图便于表达数据依赖控制流和调试，但 eager 调度也有 Python 与 kernel 启动开销。PyTorch 2.x 的当前优化与导出路径主要是 torch.compile 和 torch.export。torch.compile 捕获可编译区域并生成优化 kernel；torch.export 产生可序列化的 ahead-of-time 图并记录约束。官方文档已将 TorchScript 标为 deprecated，不应继续当作当前默认部署主线。

口语版讲法(30秒速答 + 90秒主答 + 完整展开)

• 说明动态图何时创建和重建
• 解释 grad_fn、保存 Tensor 与反向传播
• 区分梯度累积和图释放
• 说明动态控制流的优势与代价
• 更新到 compile 与 export 部署路径

【30秒速答】 PyTorch eager 会在 forward 真正执行算子时记录自动微分图，输出 Tensor 的 grad fn 连接到产生它的操作。每轮都按实际 Python 控制流重新建图，所以分支和循环可以变化。backward 使用链式法则反向计算 vector-Jacobian product，梯度累积到叶子 Tensor 的 .grad。默认情况下本次反向需要的保存中间量会被释放，但 retain graph、create graph 或仍被持有的 Python 引用会延长图寿命。PyTorch 2.x 的优化和导出应优先看 torch.compile、torch.export，TorchScript 已被官方标为 deprecated。

【90秒主答】 构图发生在运算执行过程中。若 grad mode 开启，并且至少一个输入需要梯度，PyTorch 会给结果记录 grad fn；这个节点知道反向时如何把上游梯度传给输入。某些算子还会保存 forward 输入或输出，例如平方运算需要原值来计算导数。叶子参数通常没有 grad fn，但 requires grad 为真，反向结果会累积到它的 .grad，因此训练循环需要在合适时机把梯度清零或设为 None。

调用 loss.backward 时，如果 loss 是标量，系统从一开始沿图反向传播；非标量则需要提供对应的 grad tensors，本质是在算 vector-Jacobian product。autograd 按依赖顺序执行每个节点的 backward，并把来自多个路径的梯度相加。自定义算子可以通过 autograd.Function 定义 forward 与 backward，但必须正确保存必要 Tensor，并用 gradcheck 检验数值。

【完整展开】 图释放要精确描述。retain graph 默认为 false 时，backward 完成后会释放为反向保存的中间 Tensor，因此对同一图再次 backward 常会报错。可 Python 变量仍可能引用输出、grad fn、hook 或其他对象；create graph 为高阶梯度再建图，也可能形成引用环。retain graph=true 会主动保留反向所需状态。出现显存不降时，应检查列表是否长期保存带图 Tensor、日志是否直接缓存 loss、是否忘记 detach，以及高阶梯度和 hook，而不是认为“动态计算图没有释放”。

动态图的优势是表达自然、易调试，代价是 Python 调度、图捕获困难和频繁小 kernel。torch.compile 通过 TorchDynamo 等组件捕获可编译区域，由后端优化；数据相关控制流可能导致 graph break，形状变化可能触发重新编译。torch.export 更偏向提前导出完整 Tensor 图和形状约束，适合部署或下游编译。两者用途不同，都要验证数值一致性、动态形状范围与不支持算子。TorchScript 曾是重要路线，但当前官方页面已注明 deprecated，新的 PyTorch 2.x 方案不应再把它写成默认答案。

【验证补充】调试梯度时可以检查 grad fn、叶子属性和 anomaly detection，并对自定义 Function 做数值 gradcheck。性能优化前保留 eager 基线，用固定输入比较输出和梯度，避免编译成功却悄悄改变数值或随机行为。同时记录编译耗时和重新编译次数，防止短基准把一次性开销隐藏掉。

关键一句:backward 释放的是反向保存状态，不等于所有与该图相关的 Python 对象都会立即消失。

核验来源

1. PyTorch Autograd Mechanics
2. torch.autograd.backward Documentation
3. torch.compile Documentation
4. torch.export Documentation

面试官还可能这样问

1. 问法 1 · 场景切入

   假设你在训练一个情感分类模型，每次迭代都要改网络结构，比如加个if条件决定是否用dropout。你用过PyTorch，它怎么做到这种灵活的动态调整的？底层是靠什么机制支撑的？

2. 问法 2 · 层层追问

   你写PyTorch训练时，forward里能写if/for，甚至打印中间变量……这背后计算图是怎么构建的？……那反向传播时梯度怎么自动算出来的？……跟TensorFlow1.x那种先建图再执行比，这种设计好在哪？

3. 问法 3 · 直球架构

   解释一下PyTorch动态计算图的工作机制，包括自动微分怎么实现的，以及这种设计在模型训练中的核心优势和适用场景。