赌博机重要性加权估计

有 $K$ 个臂且 $p_{t,i}=1/K$ 时，若选中臂 $i$，估计为 $K{\ell }_{t,i}$；否则为零。它的均值仍是 ${\ell }_{t,i}$，却以低概率取大值。这不是换数字的演示，而是揭示 bandit 反馈的核心代价：为了从稀疏观测恢复全向量，必须支付方差。

二阶矩与探索 ​

直接计算得

$p_{t,i}$ 越小，二阶矩越大；若为零，估计甚至不可定义。EXP3 等算法因而混入显式均匀探索以给概率下界，或使用 implicit exploration 的有偏/平滑估计来控制尾部。无偏不等于低误差，势函数证明必须保留这一方差项。

可测性与边界 ​

$p_t$ 必须相对过去可测，$I_t$ 再按该分布抽样，才能写出上述条件期望公理库条件期望Conditional expectation给定子 σ-代数后可测、并在所有已知事件上保持原积分的随机变量。。若损失会在看见当轮随机动作后再被对手选择，需明确 adversary 类型，简单条件无偏式可能改变。该估计只完成反馈重建；EXP3 的权重更新与 regret 推导是下一层内容，不能由“无偏”一句话自动得到。

EXP3 把该估计送入指数权重势函数：一阶项因条件无偏恢复真实损失，二阶项则留下约 $1/p_{t,i}$ 的方差代价。显式或隐式探索正是为了控制这一代价，而不是额外的经验技巧。

同一逆 propensity 思路也用于上下文 bandit 的离线策略评价。若日志策略缺乏 overlap，估计器要么无定义、要么方差巨大；裁剪和 doubly robust 修正会交换偏差与方差，必须单独计入误差。