赌博机重要性加权估计

有 $K$ 个臂且 $p_{t,i}=1/K$ 时，若选中臂 $i$，估计为 $K{\ell }_{t,i}$；否则为零。它的条件均值仍是 ${\ell }_{t,i}$，却以低概率取大值。稀疏观测在平均意义上恢复了整行，单轮误差却可能很大。

二阶矩与探索 ​

直接计算得

$p_{t,i}$ 越小，二阶矩越大；若为零，估计甚至不可定义。显式均匀探索能给概率下界，implicit exploration 则改变分母、引入偏差以控制尾部；它们不是本页无偏恒等式的一部分。规范损失版 EXP3 可不混合探索：概率加权二阶矩的条件均值为 $\sum _i{p}_{t,i}{\ell }_{t,i}^2/p_{t,i}=\sum _i{\ell }_{t,i}^2\le K$，足以支持其固定比较器期望界。

可测性与边界 ​

${\mathcal{G}}_t$ 是分析用信息，学习器并不观察整行 ${\ell }_t$。若只条件于过去，塔式法则给出 $\mathbb{E}[{\hat{\ell }}_{t,i}\mid {\mathcal{F}}_{t-1}]=\mathbb{E}[{\ell }_{t,i}\mid {\mathcal{F}}_{t-1}]$；只有损失已对过去可测时，右端才直接等于 ${\ell }_{t,i}$。这是条件期望理路条件期望Conditional expectation以信息分组的加权平均建立条件期望直觉，再连接测度定义、最小均方预测、塔式性质和可计算反例。中可测性条件的实际用途。若对手看见 $I_t$ 后才选损失，$\text{Pr}(I_t=i\mid {\mathcal{G}}_t)=p_{t,i}$ 可能失效。该估计只完成反馈重建，不自动证明 EXP3 的遗憾界。

例如 $p_t=(1/4,3/4)$、${\ell }_t=(1,1/3)$。选臂 1 时估计为 $(4,0)$，选臂 2 时为 $(0,4/9)$；按概率平均得到 $(1,1/3)$，第一坐标二阶矩为 $4$。这个有限枚举同时检查无偏性与小概率导致的大二阶矩。

同一逆 propensity 思路也用于上下文 bandit 的离线策略评价。若日志策略缺乏 overlap，估计器要么无定义、要么方差巨大；裁剪和 doubly robust 修正会交换偏差与方差，必须单独计入误差。