策略梯度定理 | Codeboy's Blog

形式陈述

固定有限状态与有限非空动作集的 MDP，奖励有界， $0\le\gamma<1$ 。参数 $\theta$ 取开集中的值，平稳随机策略 $\pi_\theta(a\mid s)$ 在参数邻域连续可微并保持固定支持。初始分布 $\mu$ 与环境奖励、转移核都不依赖 $\theta$ 。目标为

J(\theta)=\mathbb E_{S_0\sim\mu}[v_{\pi_\theta}(S_0)].

本页固定使用归一化折扣占用分布

d_\mu^{\pi_\theta}(s) =(1-\gamma)\sum_{t=0}^{\infty}\gamma^t \Pr_{\mu,\pi_\theta}(S_t=s),

其对 $s$ 求和为一。动作值函数记为 $q_{\pi_\theta}$ 。策略梯度定理给出

\nabla_\theta J(\theta) =\frac1{1-\gamma} \mathbb E_{\substack{S\sim d_\mu^{\pi_\theta}\\A\sim\pi_\theta(\cdot\mid S)}} \left[\nabla_\theta\log\pi_\theta(A\mid S)q_{\pi_\theta}(S,A)\right].

若改用未归一化占用测度 $\rho=\sum_t\gamma^t\Pr(S_t=\cdot)$ ，前面的 $1/(1-\gamma)$ 应删除；混用两种约定会把梯度整体缩放错。

上述有限接口保证参数梯度与 Bellman 线性系统相容。score 只在支持中的正概率动作上计算；在整个邻域恒为零的动作不出现在采样期望中。一般空间还需可测性与可积支配，才能把梯度移入无穷求和和积分。若初始分布或环境也由 $\theta$ 改变，还须加入相应的分布或模型导数项。

Bellman 导数怎样变成占用权重

由固定策略 Bellman 方程， $v_\theta=r_\theta+\gamma P_\theta v_\theta$ 。对任一参数坐标 $\theta_j$ 求导，令 $u_j(s)=\partial_jv_\theta(s)$ ，得到

u_j=g_j+\gamma P_\theta u_j, \qquad g_j(s)=\sum_a\partial_j\pi_\theta(a\mid s)q_{\pi_\theta}(s,a).

矩阵 $I-\gamma P_\theta$ 可逆，所以 $v_\theta$ 可微，且

\partial_jJ =\mu^{\mathsf T}\sum_{t\ge0}\gamma^tP_\theta^t g_j =\sum_s\left[\sum_{t\ge0}\gamma^t\Pr(S_t=s)\right]g_j(s).

有限状态下， $g_j$ 有界，几何尾项使展开合法。将 $\partial_j\pi=\pi\,\partial_j\log\pi$ 代入，再用所选的归一化占用分布，就得到形式陈述中的因子 $1/(1-\gamma)$ 。未来状态分布对参数的影响已经通过这份 Bellman 递归计入，无需把它当成常数忽略。

动作无关基线

对任意只依赖状态的基线 $b(s)$ ，

\mathbb E_{A\sim\pi_\theta(\cdot\mid s)} [\nabla_\theta\log\pi_\theta(A\mid s)b(s)]=0,

故可把 $q_\pi$ 换成 $q_\pi-b$ 。取 $b=v_\pi$ 得优势函数，期望梯度不变而方差常更小。

直觉

轨迹分布会随策略改变，看似必须对所有未来状态概率求导。定理把这些隐藏导数望远镜式地吸收到占用分布中：只需在实际访问的状态上，增加带来高长期价值动作的对数概率，降低带来低价值动作的对数概率。

score $\nabla\log\pi$ 衡量一次动作对参数变化有多敏感， $q_\pi$ 衡量这次动作的长期后果。二者乘积才同时具备“该往哪调”和“调这一下有多重要”。基线只是把同一状态的共同价值扣除，不偏向任何动作。

例子与边界

考虑单状态、每步返回原状态的 MDP。动作 1 奖励 $2$ ，动作 0 奖励 $0$ ；令 $p=\pi_\theta(1)=\sigma(\theta)$ 。归一化占用分布在该状态上的质量为一，

J(\theta)=\frac{2p}{1-\gamma}, \qquad \frac{\mathrm dJ}{\mathrm d\theta}=\frac{2p(1-p)}{1-\gamma}.

两动作的长期值具有共同续项，故 $q(1)-q(0)=2$ 。score 分别为 $1-p$ 与 $-p$ ，定理右侧的括号期望为

p(1-p)q(1)+(1-p)(-p)q(0) =p(1-p)[q(1)-q(0)] =2p(1-p),

再乘 $1/(1-\gamma)$ 与直接求导完全一致。共同续值自动被 score 的零均值消掉。

若策略在某参数处把动作概率截成零， $\log\pi(a\mid s)$ 不再对该动作良好定义，支持还可能随参数突变；简单 score 公式不能跨过该边界。确定性策略需要确定性策略梯度的另一套条件。定理也只给局部梯度，非凸参数化仍可能停在局部驻点或鞍点。

推论与应用

用整条轨迹回报替代未知 $q_\pi$ ，得到REINFORCE的无偏蒙特卡洛估计；用学习到的价值函数和 TD 误差替代优势，得到actor–critic 方法。两者区别在价值信号的偏差—方差，而非梯度定理本身。

占用分布提醒我们，梯度只在当前策略访问到的区域有数据。概率极小的动作或几乎到不了的状态可能具有高价值，却贡献微弱且难以估计；熵正则、探索约束和离策略校正处理的是这一覆盖问题，不是定理自动提供的性质。

参考资料

Richard S. Sutton, David McAllester, Satinder Singh, and Yishay Mansour, “Policy Gradient Methods for Reinforcement Learning with Function Approximation”, NeurIPS 12, 1999 年会议；Theorem 1 与附录的起始状态证明。原文使用未归一化折扣占用权重，本页明确换成概率分布。
Ronald J. Williams, “Simple Statistical Gradient-Following Algorithms for Connectionist Reinforcement Learning,” Machine Learning 8, 1992, pp. 229–256.
Alekh Agarwal, Sham M. Kakade, Jason D. Lee, and Gaurav Mahajan, “On the Theory of Policy Gradient Methods,” JMLR 22, 2021.

形式陈述 ​

Bellman 导数怎样变成占用权重 ​

动作无关基线 ​

反向链接

形式陈述

Bellman 导数怎样变成占用权重

动作无关基线