不确定性下的乐观原则

已充分观测的动作区间会变窄，少观测动作的上界仍高，于是算法会自然地去检查那些“可能很好，但证据还不够”的方向。持续积累较差结果会降低动作的竞争力，减少后续探索频率；UCB 仍可能再次检查它，并不由一次失败就永久淘汰。若结果良好，探索也避免了过早把真正的优胜者排除。

这个原则把探索成本记在不确定性本身上。算法不是先划出纯探索阶段再永久利用，而是在每轮让估计值与置信宽度共同竞价。被选择的动作同时获得数据，因而它的探索奖金会逐步下降；这种选择与收缩的闭环，正是乐观法能够把长期试错控制成次线性遗憾的原因。

两臂的选择 ​

考虑两臂当前经验均值分别为 $0.55$ 与 $0.40$，半径为 $0.05$ 与 $0.25$。贪心会选第一臂；乐观上界分别为 $0.60$ 与 $0.65$，因此先试观测少的第二臂。若它实际较差，足够多的新样本会降低其上界和被选频率；若实际更好，这次探索避免了长期锁定错误臂。

置信失配与算法边界 ​

置信集失配会破坏整个链条。重尾、非平稳或自适应选择若未被构造区间的方法处理，乐观值只是数值较大的启发式。该原则也不绑定某个 UCB 公式；线性 bandit 与强化学习使用不同几何的 $C_t$，共同点是“覆盖、乐观选择、被选择后收缩”。

它与 Thompson sampling 的接口也不同：后者从后验或代理分布采样参数，不逐轮最大化置信集上界。两者都以不确定性驱动探索，但“随机概率匹配”不能被重述成确定的 UCB 乐观选择；各自保证依赖不同的校准条件。

乐观原则的遗憾证明通常利用一条“夹逼”：在置信好事件上，真实最优动作的价值不超过其乐观值，而算法选择动作的乐观值又不小于它；因此瞬时遗憾至多是所选动作置信宽度的若干倍。随后累计这些宽度，并证明被选择次数越多宽度越小。若每轮遗憾有确定上界 $B$，概率至多 $\delta$ 的覆盖失败事件对期望遗憾的贡献才可直接界为 $B\delta T$；无界损失还需额外控制。

在有限臂问题中，这一模板给出 UCB 一类算法；在线性赌博机中，标量区间被参数置信椭球替代，累计宽度由椭圆势控制；在强化学习中，乐观对象扩展为转移与价值函数，覆盖必须跨状态、动作和决策步同时成立。应用对象虽不同，证明责任始终是覆盖是否可信、乐观优化是否可解、访问数据后宽度是否真的收缩。