MDP 中的策略 | Codeboy's Blog

形式陈述

在马尔可夫决策过程中，一般策略是概率核序列 $\pi=(\pi_t)_{t\ge0}$ 。对可测动作集合 $B$ ，

\pi_t(B\mid h_t)=\Pr(A_t\in B\mid H_t=h_t),

也写成 $\pi_t(\mathrm da\mid h_t)$ 。离散动作时，以 $\pi_t(a\mid h_t)$ 表示单个动作的概率；连续动作不能用这些通常为零的单点概率代替整个核。

若决策只依赖当前状态，写成 $\pi_t(\mathrm da\mid s)$ ，称马尔可夫策略；若还与 $t$ 无关，写成 $\pi(\mathrm da\mid s)$ ，称平稳马尔可夫策略。下文简称“平稳策略”时采用这个约定。概率都集中在可行动作集 $\mathcal A(s)$ 上。确定性平稳策略是可测映射 $d$ ，满足 $d(s)\in\mathcal A(s)$ ，其动作核为 $\delta_{d(s)}$ 。

固定平稳策略后，对每个可测状态集合 $B$ ，诱导转移核与一步期望奖励为

P_\pi(B\mid s)=\int_{\mathcal A(s)}P(B\mid s,a)\pi(\mathrm da\mid s), \qquad r_\pi(s)=\int_{\mathcal A(s)}r(s,a)\pi(\mathrm da\mid s).

有限或可数动作时把积分写成求和；离散下一状态时还可取 $B=\{s'\}$ 得到转移概率矩阵。这里随机化先选择动作，再由环境转移；不能把“平均动作”送进非线性动力学来代替混合分布。

在有限、完全可观测、无限时域折扣 MDP 中，若奖励有界且每个状态有有限动作，则至少存在一个确定性平稳最优策略；所以求最优期望折扣回报时，无须遍历全部历史依赖随机规则。这是最优性定理的结论，不是“所有约束控制问题都可去随机化”的普遍事实。有限时域最优策略一般会依赖剩余时间。

有限时域策略应写成 $(\pi_0,\ldots,\pi_{T-1})$ ，反向归纳得到的动作可能在同一物理状态上随剩余步数改变。例如临近截止时应立即出售，时间充裕时却可等待更高报价。把“剩余时间”并入状态后可以重新写成平稳策略，但这改变了状态空间，并没有证明原状态描述下的策略平稳。

给定 $\mu_0$ 、策略与环境后，在离散情形中，若奖励随机且与下一状态由联合核 $p(s',r\mid s,a)$ 生成，一条含奖励的有限轨迹概率分解为

\Pr_\pi(s_0,a_0,r_1,s_1,\ldots,a_{T-1},r_T,s_T) =\mu_0(s_0)\prod_{t=0}^{T-1} \pi_t(a_t\mid h_t) p(s_{t+1},r_{t+1}\mid s_t,a_t).

若奖励由 $(s,a,s')$ 确定，联合核才可缩成状态转移概率与确定奖励。在回报绝对可积时，只给均值 $r(s,a)$ 足够计算期望价值，却不足以写出含奖励轨迹的完整似然。这个分解说明策略不只是输出动作的程序，也是轨迹分布的一部分。离线评估中“行为策略”生成左侧数据，“目标策略”是想评价的另一组 $\pi_t$ ；所需覆盖是单向的：目标可能选择的动作必须在行为策略下也有正概率。行为会选而目标不选的动作对应零权重，不要求两种支持相等。

直觉

策略是控制器，MDP 是环境。策略把“处于这个状态”翻译成动作分布；环境再把状态—动作翻译成下一状态。把两者合成后，轨迹分布才被完全确定。随机策略不是含糊地“偶尔换个选择”，而是每个状态上一张可重复采样的明确分布。

平稳性说规则不看绝对时钟，并不说行为序列不变：状态变化会让同一张规则选出不同动作。马尔可夫性说规则只读当前状态，也不意味着它短视；如果状态值已编码长期后果，一个只看当前状态的动作仍可能是长期最优的。

例子与边界

沿用健康态 $H$ 、故障态 $F$ 的机器。令策略在 $H$ 以 $p$ 运行、以 $1-p$ 保养，在 $F$ 必维修。状态顺序取 $(H,F)$ ，则

P_\pi= \begin{pmatrix} 1-p/4&p/4\\ 1&0 \end{pmatrix}, \qquad r_\pi=\begin{pmatrix}1+3p\\-2\end{pmatrix}.

取 $p=1/2$ 时，从 $H$ 下一步故障的概率是 $1/8$ ，即时期望奖励是 $5/2$ 。这两个量分别混合了动作条件下的转移与奖励；它们共同描述策略诱导的链，不能只保留平均奖励而丢掉状态分布变化。

若仓库规定“每十次发货至少两次选备用线路”，满足约束可能需要记录已用次数，单纯的平稳状态策略未必够用；将计数器纳入状态后才可重新讨论平稳性。部分可观测问题中，基于当前观测的规则一般也不是马尔可夫策略，因为观测不等于隐状态；信念状态策略是另一层构造。

随机化在约束 MDP、多智能体博弈和探索阶段可能不可省。确定性平稳最优策略的存在结论依赖目标与假设，不能用来否定这些场景中的随机策略。

推论与应用

给定 $\pi$ 后，可以先研究固定策略的Bellman 期望方程；改变 $\pi$ 则形成策略改进。策略迭代在评估和贪心改进之间交替，策略梯度方法则直接在参数化分布 $\pi_\theta(a\mid s)$ 上求导。

策略还决定数据分布。在线学习中常说“样本来自环境”，但状态—动作访问频率实际上由环境和策略共同产生。评估一个与采样策略不同的目标策略时，支持重叠成为必要条件：目标策略会选的动作若在数据策略下概率为零，轨迹中没有可恢复的反事实信息。

离策略评价沿上述轨迹核分解，把行为策略的前缀概率逐步改成目标策略的概率。读者可以据此证明逐奖励加权的无偏性，计算四条路径的评价结果，并判断缺少动作覆盖时价值为何不可识别。

参考资料

Martin L. Puterman, Markov Decision Processes, Wiley, 1994, Secs. 2.1 and 6.2.
Richard S. Sutton and Andrew G. Barto, Reinforcement Learning: An Introduction, 2nd ed., MIT Press, 2018, Sec. 3.3.
Onesimo Hernández-Lerma and Jean B. Lasserre, Discrete-Time Markov Control Processes, Springer, 1996, Ch. 2.

形式陈述 ​

反向链接

形式陈述