离线拟合 Q 迭代

第一轮标签只有即时奖励，第二轮才把已学到的下一状态价值往回传。更远处的奖励随迭代进入更上游的动作值。这个传播机制与价值迭代公理库价值迭代Value iteration · Bellman value iteration · 值迭代反复施加最优 Bellman 算子逼近最优价值，并从近似值提取近似贪心策略。相同，区别在于这里用有限转移生成标签，并用回归器把观察到的位置扩展到其他位置。

回归器因此承担两项任务：拟合可见标签，以及在数据未覆盖的位置作出预测。前一项可由训练损失检查，后一项需要结构和覆盖条件。动作最大化又会主动选择看起来最高的预测，所以未覆盖位置上的高估可能被后续标签反复传播。

固定旧函数也使任务分工清楚：本轮先规定标签，再求一个监督拟合问题。每轮重复使用同一批样本节省了环境交互，却没有制造新的独立观测。

三条数据，两轮完整回归 ​

考虑两个非终止状态：在 $s_0$ 可收割得 $5$ 后终止，或培育得 $0$ 后到 $s_1$；在 $s_1$ 只有出售，得 $8$ 后终止。取 $\gamma =4/5$，日志恰好包含上述三条确定性转移。

使用无约束表格函数，每个合法状态—动作对有独立参数。三条日志覆盖全部合法对，因此平方损失的最小者逐项等于冻结标签：

第一轮的贪心策略收割，价值为 $5$；第二轮改为培育，价值为 $32/5$，提升 $7/5$。再次备份保持不变，所以 $Q_2=Q_{\ast }$。这里两轮精确结束依靠确定性、无环结构、全覆盖和自由表格拟合；一般日志上的一次零训练损失不具备同样含义。

若转移随机，一对 $(s,a)$ 的一条记录仅是一份随机结果，并不等于该对的期望备份。即使每对都出现一次，仍不能把该日志当成完整已知模型。

未覆盖动作的不可识别 ​

只有一次决策，日志中始终选择 safe，观察奖励 $1$ 并终止。两个候选环境都产生这份日志：在环境 $M_0$ 中，未观察的 risky 奖励为 $0$；在 $M_2$ 中，其奖励为 $2$；risky 也立即终止。

只接触这些日志的任何学习器，在两个环境中都必须给出相同的输出分布。记最终选择 risky 的概率为 $p$，包括学习器的随机性，则相对最优策略的期望损失分别为

所以最坏环境的期望损失至少为 $1/2$，与日志重复了多少次无关。缺少关于 risky 的观测或额外结构时，仅靠更充分拟合 safe 不能判断哪个环境为真。

同一例子中，表格拟合只约束 $Q(\mathrm{safe})=1$，可以任意设 $Q(\mathrm{risky})=M$ 而保持训练损失为零。在 $M_0$ 中，真实终止备份是 $TQ(\mathrm{risky})=0$，故全域误差至少为 $|M|$。这直接表明训练均方误差不能替代 ${ϵ}_j$。

重用标签的统计边界 ​

从第二轮开始，生成标签所用的 $Q_k$ 已经依赖整份数据。虽然回归阶段把它冻结，统计上它并不独立于同一份日志。对一个预先固定目标成立的集中界，不能直接逐轮代入这些数据选择出的目标；需要统一控制函数类、使用新的独立数据或其他适用论证。

离线评价另有自己的目标：离策略评价公理库离策略评价与逐步重要性采样Off-policy evaluation · OPE · Per-decision importance sampling · PDIS · 离策略评估用行为策略记录的轨迹评价固定目标策略，证明前缀权重的无偏性，并计算长期权重和回报协方差的代价。估计一个给定策略的价值，本页则利用日志选择策略。训练后再用同一数据评价，还要处理策略选择带来的依赖；训练回归分数本身不是部署性能的验证。

从单轮误差到动作值误差 ​

对任意 $Q,\tilde{Q}$，最大值的差不超过最大逐项差，故

利用 $T{Q}_{\ast }=Q_{\ast }$，加减 $T{Q}_{j-1}$，得到

逐轮展开即得形式陈述中的和式。若所有 ${ϵ}_j\le ϵ$，则

当 $Q_0=0$、奖励绝对值不超过 $R_{max}$ 时，$e_0\le R_{max}/(1-\gamma )$。迭代可以压低初始项，却不能靠增加轮数消除持续存在的备份误差。

从动作值误差到贪心策略损失 ​

固定 $Q=Q_K$、$e=e_K$ 与贪心策略 $\pi ={\pi }_K$。在状态 $s$ 选择一个最优动作 $a_{\ast }$，由 $Q(s,\pi (s))\ge Q(s,a_{\ast })$ 得

记 $\mathrm{\Delta }=V_{\ast }-V^{\pi }\ge 0$。策略价值方程给出

取最大值得 $\Vert \mathrm{\Delta }{\Vert }_{\mathrm{\infty }}\le 2e+\gamma \Vert \mathrm{\Delta }{\Vert }_{\mathrm{\infty }}$，移项便得到 $2e/(1-\gamma )$。这里输入是动作值误差，不能直接照搬状态值贪心界前面的 $\gamma$ 常数。

该证明逐路径适用于拟合输出，所以不需要声明日志 IID。但若要给 ${ϵ}_j$ 建立高概率上界，就必须另外给出数据采样、函数类、优化误差及分布覆盖条件。两层论证应分别完成。

计算账本与停止含义 ​

令 $N_{\mathrm{nt}}$ 为非终止日志条数，$A$ 为最大合法动作数，$c_k$ 为一次 $Q_k$ 求值的成本，$C_{\mathrm{fit},k}(N)$ 为本轮完整回归成本。一次标签生成至多调用旧函数 $N_{\mathrm{nt}}A$ 次，因此 $K$ 轮总成本为

存储包括日志、$N$ 个标签、旧/新模型及回归器工作空间。输出策略在一个新状态决策需至多 $A$ 次最终函数求值。离线阶段新增的环境转移数为零；反复使用 $KN$ 条次日志不等于获得 $KN$ 个新样本。

固定轮数是计算预算。训练损失很小或相邻模型变化很小，均不能单独宣称已接近最优策略。Q-learning公理库Q-learning 算法Q-learning · Watkins Q-learning · Q 学习用下一状态动作值的最大值构造离策略 TD 目标，随机近似最优动作值 Bellman 不动点。的表格访问与步长定理也不自动适用于这套有限日志回归程序。

自测 ​

若每轮全域备份误差至多 $0.01$、$\gamma =0.9$，当初始项可忽略时，动作值误差上界趋于 $0.1$，相应策略损失界趋于 $2$。这个上界可能很松，但它显示两次长时域放大来自不同步骤；把 $0.01$ 直接称为策略误差会遗漏两层传播。