奖励函数设计与投机陷阱

回答与解析

核心判断

有效奖励函数要把业务目标转成可测信号，同时把安全和合法性从单一分数里拆出来。奖励可以稀疏，也可以不可微，因为策略梯度只需要采样到的标量回报；关键是它是否与最终目标一致、能否提供足够学习信号、是否容易被钻空子。硬约束更适合动作掩码、安全屏障或约束强化学习，不能把负无穷奖励当成默认实现。

机制与边界

设计时先定义成功、成本、风险和时间范围，再决定回报是终局奖励、过程奖励还是两者结合。稀疏终局奖励最接近任务目标，却可能导致探索困难；稠密 shaping 能加速学习，但代理信号一旦写错，策略会优化代理而不是业务结果。潜势函数 shaping 在特定条件下可保持最优策略不变，普通手工加分没有这个保证。奖励尺度还会影响优化稳定性，所以可以做 return 或 advantage normalization，但它们改变的是训练信号统计，和对参数梯度做 norm clipping 是两件事。

GAE用价值函数和多步 TD 残差构造优势估计，在偏差与方差间做权衡。它能降低策略梯度方差，却不等于解决了长视野信用分配，也不会告诉系统哪一步在语义上真正负责。对绝不能发生的动作，离散空间可在采样前屏蔽非法动作；连续控制可用安全层、屏障函数或带成本约束的 MDP。若只给极大负奖励，探索阶段仍可能执行危险动作，数值上的负无穷还会造成溢出、NaN 或所有候选都非法时无定义。多目标奖励也应保留分项监控，避免加权和掩盖某个风险维度。

工程验证

落地要先写奖励单元测试和反例集，检查同一轨迹在边界条件下的打分。训练中分别记录原始分项奖励、总回报、优势分布、梯度范数、约束违规率和任务成功率，不要只看平均 reward。再做奖励权重、稀疏与稠密、是否掩码、是否使用 GAE 的消融，并用未参与训练的规则或人工抽检识别 reward hacking。若策略 reward 上升而独立成功率或安全指标下降，应停训并修正目标，而不是继续调高惩罚。最终门槛应由任务质量和违规预算共同决定。

奖励上线前还应做可识别性检查：若两条行为路径得到同一分数，却在业务风险上完全不同，说明单一标量丢失了关键约束，需要保留成本维度或补充状态。

口语版讲法(约4分钟（先30秒，再90秒，可继续展开）)

• 30秒：目标、信号与硬约束分层
• 90秒：稀疏奖励、shaping和尺度
• 边界：GAE不等于信用分配解法
• 验证：分项监控、反例与独立评测

如果只给我三十秒，我会这样回答：有效奖励函数要把业务目标转成可测信号，同时把安全和合法性从单一分数里拆出来。奖励可以稀疏，也可以不可微，因为策略梯度只需要采样到的标量回报；关键是它是否与最终目标一致、能否提供足够学习信号、是否容易被钻空子。硬约束更适合动作掩码、安全屏障或约束强化学习，不能把负无穷奖励当成默认实现。

如果有九十秒，我会把机制讲清楚。设计时先定义成功、成本、风险和时间范围，再决定回报是终局奖励、过程奖励还是两者结合。稀疏终局奖励最接近任务目标，却可能导致探索困难；稠密 shaping 能加速学习，但代理信号一旦写错，策略会优化代理而不是业务结果。潜势函数 shaping 在特定条件下可保持最优策略不变，普通手工加分没有这个保证。奖励尺度还会影响优化稳定性，所以可以做 return 或 advantage normalization，但它们改变的是训练信号统计，和对参数梯度做 norm clipping 是两件事。

继续展开时，我会补上容易混淆的边界。GAE用价值函数和多步 TD 残差构造优势估计，在偏差与方差间做权衡。它能降低策略梯度方差，却不等于解决了长视野信用分配，也不会告诉系统哪一步在语义上真正负责。对绝不能发生的动作，离散空间可在采样前屏蔽非法动作；连续控制可用安全层、屏障函数或带成本约束的 MDP。若只给极大负奖励，探索阶段仍可能执行危险动作，数值上的负无穷还会造成溢出、NaN 或所有候选都非法时无定义。多目标奖励也应保留分项监控，避免加权和掩盖某个风险维度。

落地时我会这样验证。落地要先写奖励单元测试和反例集，检查同一轨迹在边界条件下的打分。训练中分别记录原始分项奖励、总回报、优势分布、梯度范数、约束违规率和任务成功率，不要只看平均 reward。再做奖励权重、稀疏与稠密、是否掩码、是否使用 GAE 的消融，并用未参与训练的规则或人工抽检识别 reward hacking。若策略 reward 上升而独立成功率或安全指标下降，应停训并修正目标，而不是继续调高惩罚。最终门槛应由任务质量和违规预算共同决定。

奖励上线前还应做可识别性检查：若两条行为路径得到同一分数，却在业务风险上完全不同，说明单一标量丢失了关键约束，需要保留成本维度或补充状态。

关键一句:为什么把非法动作奖励设成极小值仍不等于硬约束？

核验来源

1. High-Dimensional Continuous Control Using Generalized Advantage Estimation
2. Constrained Policy Optimization
3. A Closer Look at Invalid Action Masking in Policy Gradient Algorithms

面试官还可能这样问

1. 问法 1 · 场景切入

   假设现在训练一个会调用查询与执行工具的 Agent，既要完成任务，也要避免越权和无效调用。你会怎样把成功、成本与安全约束转成可测且可审计的训练信号？

2. 问法 2 · 层层追问

   终局奖励很稀疏时怎样提供学习信号？……稠密 shaping 会不会改变真正目标？……绝不能发生的动作该只靠大额负奖励吗？……怎样发现 reward hacking？

3. 问法 3 · 直球技术

   请说明 Agent 奖励函数设计中目标一致性、稀疏与稠密反馈、多目标分项、硬约束、尺度处理和独立验证；同时解释奖励本身为何不要求可微。