Thompson Sampling

每轮抽取的参数样本可以看成一个仍与历史相容的可能世界。算法在该世界中贪心，因此某臂被探索的频率，正好匹配它当前仍有多大概率是真正最优；数据逐渐排除世界时，行动概率也随之后验收缩。

这种探索不是强制轮换，也不是每次都对均值做乐观修正。不确定性宽的臂偶尔会抽到高值而被选择，持续失败则同时压低后验均值与尾部；探索强度由完整后验形状决定。

Bernoulli–Beta 实例 ​

设臂 $i$ 的奖励为 Bernoulli$({\mu }_i)$，并置独立先验

若截至当前臂 $i$ 得到 $s_i$ 次成功、$f_i$ 次失败，则共轭后验为

每轮独立抽取

并选择最大者。实现只需维护每臂两个计数；未选择臂的后验不变，因为本轮没有观察它的奖励。

起始采用 Beta$(1,1)$ 时，两臂都完全不确定。某臂连续成功会使其后验右移，但另一臂只要仍宽，就保留抽到较大值的机会。随着失败累积，宽度和均值共同下降，探索概率自然减少。

与 UCB 的几何差别 ​

UCB 为每个臂构造乐观上界，选择上界最大者；Thompson Sampling 抽取整个可能世界，再在该世界中贪心。前者的探索由确定的置信半径触发，后者由最优事件的后验概率触发。在线性或组合动作中，抽一个参数向量还能保留各动作收益的相关结构，而逐动作置信上界可能需要额外优化。

两者都会把不确定性转成探索，但 Thompson 抽样本身并不要求每次样本都乐观，不能解释为“随机 UCB 常数”。后验尾部来自完整似然和先验，置信上界通常针对 frequentist coverage 设计；二者校准标准不同。

先验与近似后验 ​

一个有信息但正确的先验能减少早期探索；一个过度自信且错误的先验可能长期压制最佳臂。只要先验对真实参数附近仍有足够质量，数据通常能逐渐纠正它，但纠正速度会进入有限时域表现。把先验设为数据拟合后的尖峰、却仍按预先指定先验分析，会重复使用证据。

非共轭模型需要近似后验采样。MCMC、Laplace 或变分近似引入新的计算误差，实际动作分布不再是精确 posterior sampling。此时既要评估奖励模型错设，也要评估后验近似对探索概率的影响。

边界 ​

对抗 bandit 没有固定参数后验可学，朴素 Thompson Sampling 不具备 EXP3 的最坏序列保证。非平稳奖励也会让全部历史的标准 Bayes 更新过度自信，需要遗忘、滑窗或动态模型；这些是模型改变，不是调大先验方差即可完全解决。

Thompson Sampling 最小化的是累计遗憾时的动作选择。若目标是固定置信最佳臂识别，后验停止规则和错误校准需要单独设计，普通 posterior probability 超过 $0.95$ 不自动是 frequentist 5% 错误保证。

Bernoulli–Beta 共轭模型把后验采样化为每臂维护成功与失败计数；更一般的线性、广义线性或组合 bandit 则通过抽取一个共享参数向量，保留动作收益之间的相关结构。这是逐臂独立置信区间不一定能直接表达的优势。

有限时保证必须区分精确后验、近似后验与模型错设。MCMC 或变分误差会改变实际行动分布，错误先验可能延迟最优臂被采样，非平稳环境则使“所有历史来自同一参数”的更新前提失效；这些影响需要各自的稳定性或遗憾分析。