状态值与动作值函数

形式陈述

在时间齐次折扣 MDP 中，固定一个平稳马尔可夫策略 $\pi$ ，并假定下述所有启动实验满足折扣回报页的绝对可积条件，例如奖励一致有界。从状态 $s$ 重新启动后立即按 $\pi$ 行动，其轨迹律记为 $P_s^\pi$ ；从 $s$ 启动、强制第一个动作是 $a\in\mathcal A(s)$ ，此后才按 $\pi$ 行动，其轨迹律记为 $P_{s,a}^\pi$ 。定义

v_\pi(s)=\mathbb E_s^\pi[G_0], \qquad q_\pi(s,a)=\mathbb E_{s,a}^\pi[G_0].

这里的期望同时覆盖策略随机性、状态转移与奖励噪声。重新启动的定义覆盖所有合法状态和动作，即使原初始分布从不访问 $s$ ，或 $\pi(a\mid s)=0$ ，也仍有意义。在事件概率为正时，可以简写成 $\mathbb E_\pi[G_t\mid S_t=s]$ 或 $\mathbb E_\pi[G_t\mid S_t=s,A_t=a]$ ；零概率事件上的条件值应由上述启动实验指定，而不是用零概率作分母。

有限动作时，两者满足

v_\pi(s)=\sum_a\pi(a\mid s)q_\pi(s,a),

以及优势函数

A_\pi(s,a)=q_\pi(s,a)-v_\pi(s), \qquad \sum_a\pi(a\mid s)A_\pi(s,a)=0.

一般的非平稳马尔可夫策略应保留时间下标 $v_{\pi,t}(s),q_{\pi,t}(s,a)$ ；历史依赖策略还可能需要整个当前历史作为输入。最优值则对所允许的全部续程策略取上确界，记为 $v_*(s)$ 和 $q_*(s,a)$ 。有限折扣 MDP 中上确界可由确定性平稳策略达到；一般空间或无折扣情形需要额外的可测选择、紧性与存在性条件。

价值函数是条件均值，不是一次轨迹实际得到的回报，也不是状态本身固有的分数。改变策略、奖励或折扣因子都会改变 $v_\pi$ ；同一状态在谨慎策略下可能安全而高值，在冒险策略下可能低值。

若 $|R_t|\le R_{\max}$ 且 $\gamma<1$ ，则所有策略都有统一界

|v_\pi(s)|\le\frac{R_{\max}}{1-\gamma}, \qquad |q_\pi(s,a)|\le\frac{R_{\max}}{1-\gamma}.

这不仅保证条件期望存在，也为动态规划初始化、误差证书和随机近似噪声控制提供尺度。若奖励整体加上常数 $c$ ，继续型折扣任务的每个策略价值整体加 $c/(1-\gamma)$ ，动作的相对排序不变；但有状态依赖终止时，剩余步数不同会破坏这一简单平移。

直觉

$v_\pi$ 回答“到了这里并继续照这套规则做，平均还能得到多少”； $q_\pi$ 则回答“先试这个动作，再照规则做，会怎样”。正因为 $q_\pi$ 把第一个动作拆出来，比较 $q_\pi(s,a)$ 就能改进策略； $v_\pi$ 更适合概括策略在状态上的总体前景。

优势函数使用同一状态的平均行为作基线。正优势表示某动作优于策略在该状态的平均选择，而非表示其绝对回报为正。这个中心化性质既服务于策略改进，也为策略梯度估计提供一种常用基线；实际方差取决于任务与采样。

例子与边界

考虑一个状态 $s$ ，动作“离开”立即得 $2$ 后终止；动作“等待”立即得 $0$ 并确定回到 $s$ 。策略每次以 $1/2$ 选两者，取 $\gamma=1/2$ 。由一次展开，

v_\pi(s)=\tfrac12\cdot2+\tfrac12\bigl(0+\tfrac12v_\pi(s)\bigr),

故 $v_\pi(s)=4/3$ 。两个动作值为

q_\pi(s,\mathrm{leave})=2, \qquad q_\pi(s,\mathrm{wait})=\tfrac12v_\pi(s)=\tfrac23.

它们按策略平均确为 $4/3$ ，优势分别是 $2/3$ 与 $-2/3$ 。这个例子还显示：等待的即时奖励虽为零，动作值并非零，因为它保留了未来机会。

若策略从未访问某状态， $v_\pi(s)$ 作为“从该状态重新启动”的数学量仍可定义，但单靠该策略的一条长轨迹通常无法估计它。若回报不可积，条件期望可能不存在；若观测把多个隐状态合并，同一个观测上的单一价值会依赖隐藏状态的后验，不能当作真正的 Markov 状态值。

推论与应用

把回报的一步递归代入定义，得到Bellman 期望方程；把策略也纳入优化，则得到Bellman 最优性方程。这两种方程把无限轨迹问题化为局部的一步一致性条件。

模型已知时可解线性方程或做动态规划，模型未知时可用蒙特卡洛回报、时序差分学习或函数逼近估计价值。策略梯度定理则用 $q_\pi$ 给每次动作的对数概率梯度加权。不同算法共享价值对象，但采样分布、偏差和收敛保证不能互相照搬。

参考资料

Richard S. Sutton and Andrew G. Barto, Reinforcement Learning: An Introduction, 2nd ed., MIT Press, 2018, Sec. 3.5.
Martin L. Puterman, Markov Decision Processes, Wiley, 1994, Sec. 6.1.
Dimitri P. Bertsekas and John N. Tsitsiklis, Neuro-Dynamic Programming, Athena Scientific, 1996, Sec. 2.2.

形式陈述 ​

反向链接

形式陈述