Flow Matching 线性目标速度
线性 CFM 路径的 target velocity、等价式与 Gaussian path 边界
原题:“Gaussian Target Velocity(GTV)”并不是 Flow Matching 文献中的统一术语。若它在具体材料中指线性 Conditional Flow Matching 路径的 target velocity,应如何定义和计算?这一目标的训练含义是什么,换成带时变方差的 Gaussian path 时又有哪些边界?
模型训练 · 百度真题
回答与解析
先澄清术语
GTV 不是 Flow Matching 文献中统一无歧义的标准缩写。若题目指的是线性 Conditional Flow Matching 的 target velocity,应先明确源端点和目标端点。
设 x_a 来自源分布(常见选择是噪声),x_b 来自目标数据分布,条件路径为:
x_t = (1-t)x_a + t x_b, t∈[0,1]
对 t 求导得到准确目标速度:
u_t(x_t | x_a,x_b) = dx_t/dt = x_b - x_a
等价写法是 (x_t-x_a)/t 或 (x_b-x_t)/(1-t),分别要求分母非零。(x_b-x_t)/t 一般不等于 x_b-x_a。
训练时仍需要神经网络 v_θ(x,t) 根据当前状态和时间回归速度。因为推理时不知道端点配对,平方损失下网络学习的是给定 x_t,t 时条件目标速度的边缘化条件期望。
线性条件路径“看起来是直线”不表示独立配对就是最优传输,也不表示边缘 ODE 轨迹必然为直线或可以单步求解。若所谓 Gaussian path 还包含随时间变化的方差 σ_t,其条件速度会出现 σ'_t 对噪声残差的额外项,必须以具体论文定义为准。
口语版讲法(约3分钟)
- 先确认 GTV 的论文定义
- 推导线性条件路径速度
- 解释网络实际学习的边缘速度
- 说明最优传输和单步生成边界
我会先提醒面试官,GTV 不是 Flow Matching 领域里一个完全统一的标准缩写,所以必须确认它指的是哪篇论文。若这里说的是线性 Conditional Flow Matching 的 target velocity,可以直接从条件路径推导,不应该背一个来源不明的公式。
设 x a 来自源分布,常见但不是唯一的选择是高斯噪声;x b 来自目标数据分布。定义 x t 等于一减 t 乘 x a,再加 t 乘 x b。对 t 求导,速度就是 x b-x a。它也可以写成 (x t-x a)/t,或者 (x b-x t)/(1-t),但要避开相应端点。原答案如果把 (x b-x t)/t 写成 x b-x a,代数上就是错的,因为分母应该是一减 t。
这个条件速度并不意味着训练不需要神经网络。训练时我们知道采样到的端点对,所以能构造 x t 和目标速度;推理时只给当前状态 x 和时间 t,并不知道它来自哪一对端点。平方损失下,网络 v theta 学到的是给定 x t、t 后条件速度的边缘化期望,然后用这个向量场积分,把源分布推向目标分布。
这里还要把几个边界拆开。比如,源端常设为高斯,不代表数据目标也是高斯。同时,一条条件路径是直线,不表示很多独立配对形成的边缘向量场轨迹仍然全是直线。更不能忽略,独立配对的线性插值不会自动成为最优传输测地线,也不能据此保证一步生成。
如果题目里的 Gaussian path 还定义了随时间变化的均值和方差,那么速度里可能还会出现 sigma 对时间的导数项,不能只套 x b-x a。所以我的回答顺序是:先确认论文和端点约定,再从路径求导,最后说明网络学习的边缘速度以及求解器误差。这样公式、语义和实现才能对上。
实现时我会先写一个最小数值检查。随机取一对端点和几个中间时刻,用自动微分或有限差分验证 x t 对时间的导数确实等于端点差,再检查两个等价式只在各自分母非零时使用。这个小测试能很快发现一减 t 写成 t、端点方向写反或速度符号相反的问题。
进入真实训练后,还要看端点配对怎样产生。独立配对、最优传输近似配对或模型重配对,会改变条件路径和学习难度,不能只盯同一个速度公式。评测时我会按时间分桶观察速度误差,并用相同 solver 和 NFE 比较生成质量。这样既能说明代数推导正确,也能说明它在边缘向量场和采样系统里怎样工作。
若论文使用的不是固定端点直线,而是带时变方差的 Gaussian path,我会直接按该路径对时间求导,不把端点差公式硬套进去。回答公式前先写清 x t 的定义,既能避免缩写歧义,也让面试官可以逐步检查每个等式。
关键一句:目标速度由所选条件概率路径决定,线性插值公式不能直接套到时变方差路径。
核验来源
面试官还可能这样问
- 问法 1 · 场景切入
假设题目把 GTV 定义为线性条件路径 x_t=(1-t)x_a+t x_b 的 target velocity。请推导速度,并说明如果路径方差还随时间变化,公式需要怎样调整。
- 问法 2 · 层层追问
GTV 是否是无歧义的标准术语?……先固定源端点、目标端点与条件路径……线性插值的 dx_t/dt 是什么?……网络实际回归什么条件期望?……为什么直线路径不等于单步生成?
- 问法 3 · 直球技术
在明确路径定义的前提下推导 Flow Matching 的 Gaussian/conditional target velocity,解释设计动机、边缘化含义及其不保证最优传输或单步采样的边界。