对抗赌博机模型

未见坐标通常用重要性加权公理库赌博机重要性加权估计importance-weighted bandit estimator · inverse propensity estimator把单个被选臂的反馈放大为完整损失向量的条件无偏估计。

估计；条件期望等于 ${\ell }_{t,i}$，但 $p_{t,i}$ 太小时方差很大，所以算法必须保留探索。与随机 bandit公理库随机赌博机与伪遗憾Stochastic bandit · Pseudo-regret每个臂从固定分布独立取样时，以均值差和选择次数表达期望损失。不同，这里没有固定均值和 gap，不能使用 ${\mathrm{\Delta }}_i$ 分解。与专家全信息模型相比，缺失反馈使典型遗憾从 $\sqrt{T\log K}$ 恶化到 $\sqrt{TK}$ 量级。

无偏性可直接核验：条件于历史，

但二阶矩为 ${\ell }_{t,i}^2/p_{t,i}$，概率越小方差越大；若 $p_{t,i}=0$，估计器甚至无定义。这就是 Exp3 一类算法混入探索质量的定量原因。

反应式对手为何使问题退化 ​

对手若看见本轮 $I_t$ 后再设损失，可令被选臂损失 1、其余为 0；算法每轮损失 1，而事后至少有某臂只被选约 $T/K$ 次，产生线性遗憾。Non-anticipating 条件正是排除这种读心式环境，不等于假设损失随机或温和。

对自适应对手，比较向量 ${\ell }_t$ 可能依赖过去随机历史，因此期望条件要逐轮处理；把所有损失当成预先固定后直接应用独立集中并不合法。条件无偏性与鞅集中都必须相对正确的历史过滤陈述，不能用一个脱离历史的固定样本方差替代。

随机 bandit 的固定均值和 gap 在这里不存在；把 ${\mathrm{\Delta }}_i$ 分解或 IID 置信半径原样搬来，等于悄悄改变环境权限。反过来，允许对手依赖过去不等于允许它读取尚未实现的本轮随机动作，两个自适应层次必须分开。

EXP3公理库EXP3 算法EXP3 · Exponential-weight algorithm for Exploration and Exploitation以重要性加权损失替代完整反馈，将指数权重方法转化为具有平方根期望遗憾的对抗赌博机算法。的势函数与专家 Hedge 相似，但用 ${\hat{\ell }}_{t,i}$ 代替完整损失。无偏估计让一阶项恢复真实损失，二阶项则累积约 $K$ 的方差代价，优化学习率后出现 $O(\sqrt{TK\log K})$ 量级。相较全信息专家问题公理库专家建议预测Prediction with expert advice在全信息反馈下组合多个专家，并与事后最好的固定专家比较。多出的 $\sqrt{K}$，正是隐藏坐标的价格；若要高概率而非期望保证，还需显式探索或带偏估计来控制重尾。