PyTorch 计算图怎么支持自动微分?

回答与解析

Autograd如何建图

PyTorch在eager执行每个受梯度跟踪的运算时，记录产生结果的反向节点及依赖关系。非叶子结果通常有 grad_fn；用户创建、requires_grad=True 的叶子Tensor通常 grad_fn=None，梯度累积在 .grad。并非每个Tensor都有 grad_fn。

调用 loss.backward() 时，autograd从输出沿图反向执行vector-Jacobian product，用链式法则把来自多条路径的梯度累加。自定义 torch.autograd.Function 才需要显式实现静态 forward/backward；普通用户组合内置算子即可。默认反向后中间图会释放，需要再次反向时才设置 retain_graph=True，高阶梯度则用 create_graph=True 等机制。

动态、静态与编译边界

• Eager动态图：Python控制流自然、调试直接，每次前向构造本次实际执行的图；代价可能是Python调度、算子碎片和较少的全局优化机会。
• 编译图：捕获可编译区域后可做融合、内存规划和代码生成，但动态shape、数据依赖控制流或Python副作用可能触发guard、重编译或graph break，具体能力随版本和代码变化。
• TensorFlow：TF2默认支持eager，也可用 tf.function 构图；“TensorFlow就是静态图”只适合TF1或特定graph mode。JAX也通过变换和XLA编译，不应简单等同旧式TF1。

torch.compile试图保留eager编程体验并捕获图优化，但不是所有程序都会一次编译后永久复用。选型应看正确性、编译时间、重编译次数、峰值内存和端到端吞吐。

口语版讲法(约4分钟)

• 区分Tensor与反向节点
• 说明链式法则和梯度累加
• 解释图生命周期
• 对比eager与编译图
• 澄清TF2和torch.compile边界

我先纠正一个常见说法：不是每个Tensor都有grad fn。用户直接创建并设置requires grad为True的叶子Tensor，通常grad fn是None，它的梯度在反向后累积到grad属性。由可求导运算产生的非叶子结果，才通常带有grad fn，指向创建它的反向节点。requires grad决定是否需要跟踪，grad fn描述结果从哪个运算产生，这两个概念不能混用。

前向执行时，PyTorch在eager模式下真实运行每个算子，同时记录反向所需的节点、依赖和必要中间量。调用loss.backward时，autograd从输出开始，按依赖关系反向执行vector-Jacobian product，再用链式法则把梯度传给上游。同一个叶子如果沿多条路径影响loss，来自各路径的贡献会累加，而不是重复覆盖。

普通用户组合PyTorch内置算子，不需要自己给每个运算写backward。只有实现自定义torch.autograd.Function时，才显式定义forward、保存反向需要的张量并实现backward。默认一次反向后，很多中间图和保存值会释放；要对同一图再次反向才使用retain graph，高阶梯度则需要create graph等机制，不能为了省事长期保留图。

所谓动态图优势，是每次前向根据本次真实Python控制流构造图，因此if、for、不同长度路径容易表达，调试也能直接看中间值和堆栈。代价是可能有Python调度、很多小算子和缺少跨算子优化。静态或编译图能做更大范围的算子融合、内存规划和代码生成，但会对可捕获的控制流、shape和副作用提出约束。

这里也不能把TensorFlow整体说成静态图。TensorFlow 2默认支持eager，同时可以用tf.function把代码转换并执行为图；TF1才是大家常说的先构图再执行。JAX的编程和编译模型又不同，也不适合只用“静态图”三个字概括。

PyTorch 2的torch.compile是在eager体验上捕获可编译区域，再交给后端优化。它对很多动态shape和控制流已有支持，但遇到数据依赖分支、Python副作用或guard变化时，仍可能graph break或重新编译，而且行为随版本和代码而变。因此我不会笼统说支持有限，也不会说编译后必然更快。

实际选型时，我会先用eager保证正确和易调试，再看profile是否值得compile。评估不只看稳定态吞吐，还要看首次编译时间、重编译次数、峰值内存、数值一致性和线上shape分布。这样才能在灵活性与优化空间之间做具体判断。

做正确性验证时，我会用有限差分或gradcheck检查自定义Function，并测试原地修改、detach和no grad等边界。编译前后还要对输出与梯度设容差回归，避免性能提升掩盖图捕获导致的语义变化。

关键一句:叶子Tensor的grad_fn与grad属性分别承担什么角色。

核验来源

1. PyTorch Autograd mechanics
2. PyTorch torch.compile programming model
3. TensorFlow Introduction to graphs and tf.function

面试官还可能这样问

1. 问法 1 · 场景切入

   假设你在训练一个BERT分类模型，正向传播算loss，反向传播算梯度。能跟我讲讲PyTorch底层是怎么知道每个参数该更新多少的吗？

2. 问法 2 · 层层追问

   你用过PyTorch训练模型吧，反向传播的梯度是怎么自动算出来的？……那它内部是怎么记录运算步骤的？……如果我想自己定义一个有特殊梯度的操作，怎么扩展它？

3. 问法 3 · 直球架构

   请解释PyTorch的计算图机制，包括autograd如何支持自动微分，以及动态图相比静态图的优势和局限。