折扣回报 | Codeboy's Blog

形式陈述

给定同一概率空间上的实值奖励随机变量序列 $(R_{t+1})_{t\ge0}$ ，从时刻 $t$ 起的无限时域折扣回报是加权级数

G_t=\sum_{k=0}^{\infty}\gamma^kR_{t+k+1},\qquad 0\le\gamma<1.

下标约定很重要：动作 $A_t$ 之后收到的是 $R_{t+1}$ 。若 $|R_t|\le R_{\max}$ ，级数绝对收敛且 $|G_t|\le R_{\max}/(1-\gamma)$ 。随机奖励也可无界。一个明确的充分条件是

\sum_{k=0}^{\infty}\gamma^k\mathbb E|R_{t+k+1}|<\infty.

Tonelli 定理把非负绝对值和的期望写成上式，故级数几乎必然绝对收敛且其和可积；Fubini 定理再允许交换有符号奖励的期望与求和。只控制各项带符号均值不够：取 $\gamma=1/2$ 、 $R_{k+1}$ 等概率为 $\pm2^k$ ，每项均值都是零，折扣后的项却始终为 $\pm1$ ，甚至不趋于零。

几何权重给出一步递归

G_t=R_{t+1}+\gamma G_{t+1}.

Bellman 方程正是对这条轨迹恒等式取适当的条件期望，而不是额外假设。有限整数时域 $T\ge1$ 、 $0\le t<T$ 的回报允许 $0\le\gamma\le1$ ，写成 $G_t^{(T)}=\sum_{k=0}^{T-t-1}\gamma^kR_{t+k+1}$ ，终点后的续值为零；若终点还有残值，必须显式加入而不能悄悄丢弃。

折扣因子有两种常见解释。它既可表示对迟到收益的时间偏好，也可通过独立的随机终止实现同一期望目标：先保留当前第一笔奖励，再在每笔奖励之后以概率 $1-\gamma$ 终止，奖励 $R_{t+k+1}$ 的保留概率就是 $\gamma^k$ 。在上述可积条件下，未折扣随机时域回报的期望等于无限折扣回报的期望；两者并非逐轨迹相同的随机量。

直觉

回报把整条未来压缩为现在可比较的一个数。几何折扣让遥远奖励逐渐变轻，也使“从下一时刻重新开始”只差一个固定因子 $\gamma$ ，从而出现可递归求解的结构。若随意使用非几何权重，这种时间一致的一步分解一般会消失。

$\gamma$ 同时调节有效视野和数值条件。当 $0<\gamma<1$ 时，连续尺度上解 $\gamma^k=e^{-1}$ 得 $k=-1/\log\gamma$ ；仅在 $\gamma$ 接近一时它才近似 $1/(1-\gamma)$ ，因此 $\gamma=0.99$ 的有效视野远长于 $0.9$ 。统一回报上界也随 $1/(1-\gamma)$ 增长，依赖压缩率的误差保证随之变弱。实际回报方差还取决于不同时刻奖励的协方差，并不必然随 $\gamma$ 单调增加。

例子与边界

设从当前起依次获得奖励 $2,-1,3$ ，随后进入零奖励吸收状态，取 $\gamma=1/2$ ，则

G_t=2+\tfrac12(-1)+\tfrac14(3)=\tfrac94.

下一时刻回报为 $G_{t+1}=-1+\frac12\cdot3=\frac12$ ，所以递归核验为 $2+\frac12G_{t+1}=9/4$ 。若只观察前两项，截断值为 $3/2$ ，漏掉的第三项恰是 $3/4$ ；第三笔奖励应乘 $\gamma^2$ ，提前截断就会漏去这一项。

一般地，奖励绝对值不超过 $R_{\max}$ 时，截掉前 $n$ 项之后的尾部不超过

\frac{\gamma^nR_{\max}}{1-\gamma}.

这个界适合决定模拟长度，却不说明随机估计的方差。若 $\gamma=1$ 且任务可能永不终止，级数可能发散；即使正负奖励相消，条件收敛也不足以支持任意换序和期望操作。终止几乎必然还不总能保证期望回报有限，需要控制终止时间和奖励尾部。

推论与应用

在MDP中固定平稳策略，从状态 $s$ 启动，或先固定动作 $a$ 再继续该策略，对回报取期望，就得到状态值与动作值函数。递归式再经马尔可夫性质把未来压到下一状态，产生 Bellman 期望方程；若在首个动作上取最大值，则产生最优性方程。

折扣还为规划误差提供统一尺度：若每一步奖励近似误差不超过 $\varepsilon$ ，最坏累计影响至多 $\varepsilon/(1-\gamma)$ 。在平均奖励、风险敏感效用或有限时域约束中，目标并非同一个折扣和；算法名称即使相同，也必须重新核对它优化的回报定义。

参考资料

Richard S. Sutton and Andrew G. Barto, Reinforcement Learning: An Introduction, 2nd ed., MIT Press, 2018, Secs. 3.4–3.5.
Martin L. Puterman, Markov Decision Processes, Wiley, 1994, Secs. 5.3 and 6.1.
Dimitri P. Bertsekas and John N. Tsitsiklis, Neuro-Dynamic Programming, Athena Scientific, 1996, Sec. 2.1.

形式陈述 ​

反向链接

形式陈述