策略迭代

评估问“现在这套规则到底值多少”，改进问“既然已经知道后续照旧的价值，第一步能否换得更好”。只换第一步便能证明不差；下一轮重新评估后，局部改变的长期连锁效应被完整吸收。算法因而在策略空间中走离散的单调阶梯。

“贪心”并非只看即时奖励。改进式把动作后的奖励与下一状态的旧策略价值相加，比较的是先换一步、以后照旧的完整方案。策略改进定理再说明，若每一步都采用这种不差的替换，永久采用新策略也不会更坏。

设状态 $A,B$ 及终止态，$\gamma =1/2$。在 $A$，“停留”得 $1$ 并回到 $A$，“转移”得 $0$ 到 $B$；在 $B$，“等待”得 $0$ 并回到 $B$，“兑现”得 $6$ 后终止。初始策略选停留、等待，故

第一次改进在 $B$ 把等待的 $0$ 换成兑现的 $6$；新策略价值为 $(2,6)$。再次检查 $A$：停留的动作值为 $1+\frac{1}{2}\cdot 2=2$，转移的动作值为 $\frac{1}{2}\cdot 6=3$，于是改选转移。最终价值为 $(3,6)$，下一次改进不再改变策略。两轮变化分别传播了终点奖励和上游决策机会。

有限终止不能无条件外推。若评估只近似完成，错误的动作排序可让价值下降或循环；连续动作空间中策略数并非有限；并列最大动作每轮随意切换也会造成表面振荡。modified policy iteration 可以少做评估，但需要专门的误差控制，而不是把“精确”二字删掉后沿用同一证明。

策略迭代把求值和控制清楚分离，适合模型已知且线性系统可高效求解的场景。只改一个或一部分状态得到 asynchronous policy iteration；每轮只做少量评估更新则连接到价值迭代与广义策略迭代。

在大规模问题中，可用函数逼近器替代精确价值表、用采样估计改进目标，这形成 actor–critic 的思想来源。但一旦评估带偏或数据分布由旧策略产生，有限策略空间的经典终止证明不再适用，需要随机近似和分布偏移分析。