PAC-Bayes 框架

对象与概念图像 ​

PAC-Bayes 不直接给单个参数贴“贝叶斯”标签，而是在假设空间上比较两份分布：训练前固定的先验 $P$，以及看过样本后选择的后验 $Q_S$。后验若远离先验，就为这种数据驱动的集中付出 $\mathrm{KL}(Q_S\Vert P)$；若经验风险低且移动代价不大，便可得到总体风险保证。

Gibbs 风险 ​

每次预测先抽取 $h\sim Q$ 再用 $h$ 预测，这定义 Gibbs predictor。其总体和经验风险分别为

$$R_D(Q)={\mathbb{E}}_{h\sim Q}{R}_D(h),{\hat{R}}_S(Q)={\mathbb{E}}_{h\sim Q}{\hat{R}}_S(h).$$

它们不同于参数均值 $\overline{h}={\mathbb{E}}_{Q}h$ 的风险，也不同于多数投票的风险；只有在线性或凸性等额外条件下才能比较。

一类规范界 ​

对 $[0,1]$ 损失，许多 PAC-Bayes 定理具有如下结构：训练前固定且独立于 $S$ 的 $P$，则以概率至少 $1-\delta$，对所有后验 $Q$ 同时有

$$\mathrm{kl}({\hat{R}}_S(Q)\Vert R_D(Q))\le \frac{\mathrm{KL}(Q\Vert P)+\log \left(C_m/\delta \right)}{m},$$

其中左侧是 Bernoulli 参数之间的二元 KL，$C_m$ 的具体形式随定理版本而变。证明通常对固定 $h$ 的指数矩取先验平均，再用 change-of-measure 不等式把 $P$ 换成任意 $Q$，最后用 Markov 界形成对所有 $Q$ 的共同事件。

有限类例子 ​

若 $\mathcal{H}$ 有限且 $P$ 均匀，取点质量后验 $Q={\delta }_h$，则

$$\mathrm{KL}({\delta }_h\Vert P)=\log |\mathcal{H}|.$$

这恢复有限类的 Occam/编码复杂度。若 $Q$ 把质量分散在许多先验已经认为合理的假设上，KL 还会利用局部结构，而不是只看全类大小。

边界与辨析 ​

标准先验必须在观察训练样本前确定。用同一数据调出先验再直接代入会破坏证明；可采用独立数据划分或专门的数据依赖先验定理。$Q$ 可以只是为获得风险界而设计的随机化预测器，不必解释成主观参数不确定性；反之，普通贝叶斯后验公理库Bayes 定理Bayes' theorem · Bayes' rule用先验概率和似然反转条件概率，得到观察证据后的后验概率。也不会自动满足某个 PAC-Bayes 界。KL 为无穷时界仍形式正确但没有信息，这要求 $Q$ 对 $P$ 绝对连续。

参考资料

• David McAllester, A PAC-Bayesian Tutorial with a Dropout Bound, 2013.
• David McAllester, Some PAC-Bayesian Theorems, COLT, 1999.