Actor–critic 方法 | Codeboy's Blog

形式陈述

Actor–critic 同时维护策略 $\pi_\theta$ 与价值近似 $V_w$ 。令 $\mathcal F_t$ 记录本次动作抽样前的历史及参数 $\theta_t,w_t$ ；在本次 on-policy 动作与转移采样中将它们冻结。随后 critic 构造TD 误差

\delta_t=R_{t+1}+\gamma V_w(S_{t+1})-V_w(S_t),

并以步长 $\alpha_t$ 更新 $w$ ；actor 以较慢步长 $\beta_t$ 做

\theta_{t+1}=\theta_t+ \beta_t\delta_t\nabla_\theta\log\pi_{\theta_t}(A_t\mid S_t).

若当前 $V_{w_t}=v_{\pi_{\theta_t}}$ ，对当前策略支持内的动作有

\mathbb E[\delta_t\mid\mathcal F_t,A_t=a] =A_{\pi_{\theta_t}}(S_t,a).

要核验某个固定 $\theta$ 的绩效梯度，还须在整条用于取样的轨迹期间冻结该策略。与策略梯度定理中从初始分布定义的折扣目标对齐，全局梯度的常数取决于如何抽取时刻。若在从 $\mu$ 启动的轨迹上独立抽取

\Pr(T=t)=(1-\gamma)\gamma^t

并使用第 $T$ 步的 actor 信号，则 $S_T$ 服从归一化折扣占用分布，准确 critic 下的单样本期望为 $(1-\gamma)\nabla J$ 。若改为从初始分布生成整条轨迹并累加

\sum_{t\ge0}\gamma^t\delta_t \nabla_\theta\log\pi_\theta(A_t\mid S_t),

其期望直接是 $\nabla J$ ，不再多出 $(1-\gamma)$ 。每次从 $\mu$ 重新启动，并在独立几何时刻取样，就实现前一种采样。若不加时间折扣而从继续型稳态轨迹取样，得到的是以稳态访问分布加权的更新方向；它既不是上述起始分布折扣梯度，也不自动等于某个平均奖励目标的梯度。后者需要自己的相对价值方程和策略梯度推导。

经典双时间尺度分析让 critic 比 actor 更快：两组步长各自满足总和发散、平方和收敛，并且

\frac{\beta_t}{\alpha_t}\longrightarrow0.

这个比例条件表达 critic 比 actor 更快的尺度分离；它本身还不是收敛定理。还须证明 critic 对缓慢变化策略的跟踪、迭代有界或适当投影、状态过程的遍历性，以及 actor 方向与所选目标梯度的关系。一般近似 critic 即使已经到达自己的固定点，也可能保留策略梯度偏差。

例如 Konda–Tsitsiklis（2003）研究平均成本与特定线性动作值 critic。在其全部假设下，Theorem 6.3 对 TD(1) critic 给出 $\liminf_k\|\nabla\bar c(\theta_k)\|=0$ 几乎必然；对 TD( $\lambda$ )， $\lambda$ 足够接近 $1$ 时可使该下极限任意小。这里 $\bar c$ 是该文的平均成本目标。这不是任意折扣 TD(0) actor–critic 全序列收敛到驻点的结论，更不是全局最优保证。

直觉

Actor 决定做什么，critic 判断刚才的结果比当前预期好还是坏。critic 不必等到整回合结束，下一状态价值已能提供一张临时评分；actor 据此提高正惊喜动作的概率，降低负惊喜动作的概率。与 REINFORCE 相比，这份评分使用更短的采样后续，常可降低噪声；实际方差和偏差仍取决于任务与 critic 的准确性。

两者同时学习会形成追逐：策略一变，正确价值也变；价值若还没跟上，策略便沿旧地图前进。让 critic 处于更快时间尺度，不是经验口号，而是把移动目标近似成一系列静态求值问题的数学安排。

Actor–critic：同一 TD 误差分别以慢步长更新 actor、快步长更新 critic — 一个 TD 信号与双时间尺度更新

例子与边界

初始状态 $s$ 有 left、right 两动作，均先得 $0$ ；left 到 $L$ ，下一步得 $4$ 后终止，right 到 $R$ ，下一步得 $1$ 后终止。取 $\gamma=1/2$ ，策略以概率 $p=\sigma(\theta)$ 选 left。若 critic 已准确给出

V(L)=4,\quad V(R)=1,\quad V(s)=p\cdot2+(1-p)\cdot\tfrac12,

在 $p=1/2$ 时 $V(s)=5/4$ 。首步 TD 误差分别为 $3/4$ 与 $-3/4$ ；softmax score 分别为 $1/2$ 与 $-1/2$ ，故 actor 信号的期望是

\tfrac12\cdot\tfrac12\cdot\tfrac34 +\tfrac12\cdot(-\tfrac12)\cdot(-\tfrac34) =\tfrac38.

直接求导 $J(\theta)=\frac12+\frac32p$ 也得 $J'=\frac32p(1-p)=3/8$ 。这里 critic 把第二步奖励提前转成首步优势。

状态加权错误会改变方向

一个两状态例子可以直接区分这些梯度。状态 $0$ 的两个动作分别留在 $0$ 或转到 $1$ ，奖励都为零；状态 $1$ 的两个动作都回到 $0$ ，奖励分别为 $0,1$ 。令到达状态 $1$ 的动作概率为 $p=\sigma(\theta_0)$ ，在状态 $1$ 选择奖励 $1$ 的概率为 $q=\sigma(\theta_1)$ ，取 $\gamma=1/2$ 、初始状态为 $0$ 。准确价值满足

J=v_\pi(0)=\frac{\gamma pq}{(1-\gamma)(1+\gamma p)}.

在 $p=q=1/2$ 处，真梯度为 $(2/25,1/10)$ 。但该策略的稳态状态分布是 $(1,p)/(1+p)$ ；若按它取样并直接使用准确的折扣优势，更新方向变成 $(1/30,1/12)$ ，连一个共同常数倍也无法把两者对齐。平均奖励 $pq/(1+p)$ 的梯度此时又是 $(1/18,1/12)$ 。所以准确 critic 不能补偿错误的状态加权或目标选择。

近似 critic 的偏差

若 critic 误差 $e(s)=V_w(s)-v_\pi(s)$ 满足 $\|e\|_\infty\le\varepsilon$ ，TD 目标的给定当前状态和动作后的条件偏差为 $\gamma\mathbb E[e(S_{t+1})\mid s,a]-e(s)$ ，绝对值至多 $(1+\gamma)\varepsilon$ 。若 score 范数再由 $G$ 控制，归一化占用分布下 actor 方向的偏差至多 $G(1+\gamma)\varepsilon$ ；换算成 $\nabla J$ 时还要除以 $1-\gamma$ 。因此一般近似 critic 会给 actor 带来系统偏差；critic 损失小并不等于策略梯度无偏。离策略数据还需密度比或强调权重，非线性 critic 也可能不稳定。

推论与应用

加入资格迹得到多步 actor–critic；用 compatible features 和匹配占用分布的最小二乘 critic，可以保留策略梯度所需的投影关系；再结合 Fisher 预条件，才得到相应的自然梯度方向。A2C、A3C、PPO 等现代算法都保留 actor/critic 分工，但裁剪目标、并行旧策略或广义优势估计会改变基本更新及其保证。

双时间尺度不是唯一可行实现，却是判断理论声明是否完整的关键。若使用常数步长，合理目标通常是跟踪误差或稳态邻域；若 actor 与 critic 共用同一量级步长，则需联合动力系统分析，不能直接援引 critic“先收敛”的证明。

参考资料

Vijay R. Konda and John N. Tsitsiklis, “Actor-Critic Algorithms,” NeurIPS, 2000.
Vijay R. Konda and John N. Tsitsiklis, “On Actor-Critic Algorithms”, SIAM Journal on Control and Optimization 42(4), 2003, pp. 1143–1166，§§2–3 的平均成本与线性 critic 接口、Assumption 3.3 和 Theorem 6.3。
Richard S. Sutton et al., “Policy Gradient Methods for Reinforcement Learning with Function Approximation,” NeurIPS, 2000.
Vivek S. Borkar, Stochastic Approximation: A Dynamical Systems Viewpoint, Cambridge University Press, 2008, Ch. 6.

形式陈述 ​

状态加权错误会改变方向 ​

近似 critic 的偏差 ​

反向链接

形式陈述

状态加权错误会改变方向

近似 critic 的偏差