Q-learning 算法

一次经验告诉算法“采取了什么”，目标却问“到了下一状态后，若从此采取当前看来最好的动作，会值多少”。这把探索行为和被优化的贪心策略分开，使任意充分覆盖的数据都有机会改进同一个最优动作值表。

最大值也会带来选择偏差：带噪估计中最大的那一个往往恰好被高估。Double Q-learning 用不同估计器选择与评价动作来减轻这一偏差，但不改变基本离策略思想。

实际采取的下一动作只决定以后采到哪条数据，不进入当前 backup；行为与备份目标的这层分离正是离策略性的核心。

与 SARSA 的配对算例中，从 $(s,a)$ 获得 $0$ 到 $u$，当前 $Q(s,a)=1$，而 $Q(u,\mathrm{safe})=2,Q(u,\mathrm{risky})=5$；行为这次实际选择了 safe。取 $\gamma =0.9,\alpha =1/2$，Q-learning 不使用实际下一动作，其目标为

于是

和 SARSA 的 $1.4$ 不同，是因为这里估计“到 $u$ 后转为贪心”的反事实续程。若 risky 从未在 $u$ 被尝试，其数值 $5$ 可能只是初始化幻觉；无限访问条件正是为了最终纠正这种幻觉。

经典保证不覆盖常见的“致命三元组”。线性函数逼近下，离策略 Q-learning 已可发散；深度网络加入目标网络、回放和梯度裁剪能改善实践，却没有把表格定理自动搬过来。有限数据、固定步长或不断变化的环境也只允许误差界或跟踪分析，不能宣称几乎必然到达 $q_{\ast }$。

若 $Q$ 已精确等于 $q_{\ast }$，逐状态取最大动作得到最优策略。训练期间仍需探索，否则未选择动作没有更新；部署阶段是否保留探索取决于环境是否继续变化。离线数据中，最大化可能挑中数据支持之外的动作，产生外推误差，这是覆盖条件的有限样本版本。

价值迭代公理库价值迭代Value iteration · Bellman value iteration · 值迭代反复施加最优 Bellman 算子逼近最优价值，并从近似值提取近似贪心策略。用完整模型计算下一状态期望，Q-learning 用一个实际样本作随机近似。DQN 再用神经网络表示 $Q$；Double DQN、dueling 架构等修补具体误差来源，但不改变目标里的最优 Bellman backup。