PAC-Bayes 泛化界

框架入口 ​

设假设空间为 $H$，损失 $\ell (h,z)\in [0,1]$。先验分布 $P$ 在观察样本前固定；样本 $S\sim D^m$ 后可任意选择后验 $Q=Q(S)$。定义 Gibbs 风险

$$R_D(Q)={\mathbb{E}}_{h\sim Q}{R}_D(h),{\hat{R}}_S(Q)={\mathbb{E}}_{h\sim Q}{\hat{R}}_S(h).$$

PAC-Bayes 不是唯一一条带固定常数的不等式，而是一套证明模板：先在数据无关的 $P$ 下控制某个风险函数的指数矩，再支付 $\mathrm{KL}(Q\Vert P)$，把控制转移到可依赖数据的 $Q$。本页解释这套共同结构；具体 Bernoulli-kl 定理、常数和数值反演见PAC-Bayes-kl 界公理库PAC-Bayes-kl 界PAC-Bayes kl bound · Seeger bound · PAC-Bayes-kl bound以 Bernoulli 相对熵直接约束 Gibbs 分类器的经验风险和总体风险，保留接近零风险时的非对称几何。。

换测度模板 ​

令 $F_S(h)$ 是待控制的样本—假设函数。若能证明

$${\mathbb{E}}_S{\mathbb{E}}_{h\sim P}{e}^{F_S(h)}\le C_m,$$

则 Markov 不等式给出一个概率至少 $1-\delta$ 的样本事件。在该事件上，变分换测度不等式对所有 $Q\ll P$ 同时给出

$${\mathbb{E}}_{h\sim Q}{F}_S(h)\le \mathrm{KL}(Q\Vert P)+\log \frac{C_m}{\delta }.$$

这个模板没有预先决定 $F_S$。选择线性风险差会导向次高斯型界；选择经验风险与总体风险的二元相对熵，会导向 PAC-Bayes-kl；margin、非有界损失或局部化先验则需要各自的指数矩。常数必须跟随所证明的 $C_m$，不能从另一版本移植。

证明的三道门 ​

第一道门是对固定 $h$ 建立浓缩或指数矩控制，再对 $h\sim P$ 积分。第二道门是使用

$${\mathbb{E}}_{h\sim Q}\phi (h)\le \mathrm{KL}(Q\Vert P)+\log {\mathbb{E}}_{h\sim P}{e}^{\phi (h)}.$$

把先验平均转成后验平均。第三道门取决于具体版本：可能利用凸性聚合 Gibbs 风险，也可能优化温度或反演一个标量不等式。高概率事件在选择 $Q$ 之前已经对所有换测度成立，因此 $Q$ 可以在看过数据后选择；这正是 PAC-Bayes 不需要对不可数多个 posterior 做普通并集界的原因。

风险对象与边界 ​

公式直接控制的是每次先采 $h\sim Q$ 再预测的 Gibbs 分类器。确定性多数投票 $\mathrm{sign}{\mathbb{E}}_{Q}h(x)$ 的风险不是同一个量；从 Gibbs 到投票需要另加 C-bound、margin 或简单但可能松的比较。本页也不是 Bayesian 后验正确性的陈述，$P,Q$ 可以只是构造泛化证书的分布。

若 $Q$ 把质量放在 $P$ 的零质量区域，$Q\ll ̸P$，则 $\mathrm{KL}(Q\Vert P)=\mathrm{\infty }$，界为空。用同一数据挑 prior 再声称它“观察样本前固定”同样无效；数据依赖 prior 需要样本切分、层次先验或额外复杂度校正。无界损失则要使用具有矩条件的专门 PAC-Bayes 版本。

参考资料

• David McAllester, “PAC-Bayesian Model Averaging,” 1999.
• Matthias Seeger, “PAC-Bayesian Generalisation Error Bounds for Gaussian Process Classification,” 2002.
• John Langford and Matthias Seeger, PAC-Bayes-kl bounds.