Long Horizon 训练环境怎么搭?

回答与解析

长视野环境的四层设计

1. 状态与观测

定义真实状态、Agent 可见观测、动作、终止与截断条件。部分可观测时，允许策略使用历史、RNN/Transformer memory 或 belief state；记录随机种子与环境版本。

2. 奖励与信用分配

先保留与最终任务一致的终局奖励，再谨慎加入势函数式 shaping 或可验证里程碑。提高近期奖励权重会改变优化目标，不能当作长期信用的标准修复。可按任务选择 n-step return、GAE、层级价值、return decomposition 或模型规划；HER 只适用于目标条件且能重标目标的任务。

3. Reset 与课程

同时覆盖初始状态、失败恢复和关键中间状态。课程难度与 reset 分布都是实验变量，不存在通用的成功率阈值；必须与原始初始分布上的最终评测并行。

4. 探索与评测

动作噪声、参数噪声、熵奖励、内在奖励或层级探索都需按动作空间和任务验证，不存在参数噪声天然更适合长视野的结论。评测至少报告成功率、回报、步数、约束违例、不同种子方差和分布外鲁棒性。

工程上还要支持向量化并行、可复现日志、状态快照、超时、异常动作处理和离线轨迹回放。

口语版讲法(约3分钟)

• 定义观测动作和终止语义
• 从终局目标处理长期信用
• 设计 reset、课程和探索
• 用多种子与约束指标评测

搭建长视野训练环境时，我会先保证问题定义正确，再谈算法。第一层是状态和观测：真实环境状态是什么，Agent 实际能看到什么，动作是否合法，什么时候是正常终止，什么时候只是超时截断。若任务部分可观测，就不能假设单帧观测包含完整决策信息，应让策略使用历史、memory 或 belief state，并记录环境版本和随机种子。

第二层是奖励。我会先保留一个真正反映任务完成的终局奖励，再考虑是否加入可验证里程碑或势函数式 shaping。不能为了“缓解 gamma 衰减”就额外提高近期奖励权重，因为这会改变目标，甚至让模型更短视。长期信用可以按边界选择 n-step return、GAE、层级价值、return decomposition 或基于模型的规划。HER 很有用，但它只适合目标条件、且失败轨迹可以重标目标的任务，不是所有长视野问题都能套。

第三层是 reset 和课程。只从统一起点开始，成功轨迹太少；只从终点附近开始，又可能学不会完整任务。我会混合真实初始状态、失败恢复状态和关键中间状态，并逐步调整难度。但任何成功率区间都只能是试验超参，不存在通用的百分比阈值。课程训练期间还要保留原始初始分布的独立评测，否则局部成功率上升可能只是 reset 变简单了。

第四层是探索。动作噪声、参数噪声、熵奖励、内在奖励和层级探索各有条件。离散工具调用和连续机器人控制的选择不会一样，也不能断言参数噪声天然更适合长视野。我会比较有效状态覆盖、成功轨迹比例和约束违例，而不是只看训练回报。

工程上，环境要支持向量化并行、状态快照、超时和非法动作处理，还要保存每一步观测、动作、奖励分量和终止原因。最终评测至少看成功率、累计回报、完成步数、安全违例、不同随机种子的方差以及分布外场景。这样才能区分是策略真的学会长期规划，还是环境和奖励给了捷径。

如果要快速验证环境是否可学，我会先做一个很小的基线：用脚本策略或示范轨迹确认终局奖励确实能区分成功和失败，再检查关键动作之后的回报变化是否符合任务逻辑。若连已知好轨迹都拿不到高分，问题在环境或奖励，不该先换强化学习算法。若随机策略也能轻易高分，就要排查捷径和终止条件。

长视野任务还要看失败发生在哪个阶段。可以按子目标统计到达率、从检查点恢复后的成功率和剩余步数，但这些诊断指标不必都进入训练奖励。把诊断与优化信号分开，能减少为了让曲线好看而改变真实目标的风险。最后再用原始起点、未见随机种子和扰动场景做完整回放，确认课程学习没有只教会局部动作。

关键一句:奖励塑形与 reset 分布都可能改变原任务，必须保留原始初始分布上的终局评测。

核验来源

1. High-Dimensional Continuous Control Using Generalized Advantage Estimation
2. Hindsight Experience Replay
3. Between MDPs and semi-MDPs: A framework for temporal abstraction in reinforcement learning

面试官还可能这样问

1. 问法 1 · 场景切入

   假设要训练机械臂完成几十步装配任务，观测部分可见、终局奖励稀疏且失败后重置昂贵。你会怎样设计状态历史、奖励、reset 分布和探索支持？

2. 问法 2 · 层层追问

   部分可观测时怎样保留历史？……稀疏终局奖励能否加入里程碑或势函数 shaping？……如何从关键中间状态 reset？……探索策略怎样选择？……最终用哪些多随机种子指标评估？

3. 问法 3 · 直球技术

   设计长视野训练环境，覆盖状态/观测、信用分配、奖励 shaping、重置与课程、探索、复现和分布外评测。