Bellman 最优性方程

最优性原理说：如果从当前起的整条计划最优，那么执行第一个动作后，余下计划也必须对实际到达的下一状态最优。于是一个全局策略搜索被拆成“枚举当前动作，再把未来交给同一个最优值函数”。

最大化只发生在当前动作，而转移后的状态仍要按概率求平均。把 $max$ 错放进对下一状态的求和，会假设行动者能在转移发生前预知随机结果；这赋予了不存在的信息。Bellman 最优性方程把决策与自然随机性的先后次序完整保留下来。

有状态 $s_0,s_1$ 和终止态。$s_0$ 可“收割”，立即得 $5$ 后终止；也可“培育”，立即得 $0$ 并确定转到 $s_1$。在 $s_1$ 只有“出售”，得 $8$ 后终止。取 $\gamma =4/5$，则

最优动作是培育，尽管它即时奖励为零。若错把第二步奖励忘记折扣，会得到 $8$；若把到达 $s_1$ 后的出售动作也当作 $s_0$ 可直接选动作，则会破坏状态约束。

这个方程只刻画给定模型、期望折扣目标下的最优性。风险约束、部分可观测、鲁棒或平均奖励目标会改变状态或算子。连续动作的上确界未必达到；此时“对 $v_{\ast }$ 贪心的最优策略”需要额外存在性条件。函数逼近求得一个小训练残差，也不自动保证全状态的 sup-norm 误差小。

反复应用 $T_{\ast }$ 得到价值迭代公理库价值迭代Value iteration · Bellman value iteration · 值迭代反复施加最优 Bellman 算子逼近最优价值，并从近似值提取近似贪心策略。；固定策略求值后对右侧逐状态贪心，则得到策略迭代公理库策略迭代Policy iteration · Howard policy iteration · 策略迭代算法在精确策略评估与逐状态贪心改进之间交替，并在有限折扣 MDP 中有限步到达最优策略。。两者依靠同一个不动点，但一个连续更新数值函数，一个在有限策略集合中做改进。

若近似值 $v$ 的最优 Bellman 残差为 $\delta =\Vert T_{\ast }v-v{\Vert }_{\mathrm{\infty }}$，压缩性给

残差因而是模型已知时可计算的证书；它在 $\gamma$ 接近一时会被 $1/(1-\gamma )$ 放大。Q-learning 使用样本版最优性目标，但其收敛还依赖访问频率和步长，而非仅靠方程存在。