PAC-Bayes 泛化界

这套证明可以理解成先搭一座只依赖先验的桥，再让数据依赖后验付费过桥。固定先验使指数矩能够在抽样前控制；后验看过数据后可以集中到经验表现好的区域，但每偏离先验一步，就在 KL 项里留下可量化的信息代价。

证明的三道门 ​

第一道门是对固定 $h$ 建立浓缩或指数矩控制，再对 $h\sim P$ 积分。第二道门是使用

把先验平均转成后验平均。第三道门取决于具体版本：可能利用凸性聚合 Gibbs 风险，也可能优化温度或反演一个标量不等式。高概率事件在选择 $Q$ 之前已经对所有换测度成立，因此 $Q$ 可以在看过数据后选择；这正是 PAC-Bayes 不需要对不可数多个 posterior 使用普通并集界公理库并集界Union bound · Boole 不等式多个坏事件中至少一个发生的概率，不超过各事件概率之和。的原因。

有限类中的编码代价 ​

若 $H$ 有限、$P$ 在其中均匀分布，并把 $Q$ 取成某个假设 $h$ 上的点质量，则换测度代价退化为 $\log |H|$。这与有限类并集界得到的复杂度同阶，却来自同一个先验平均事件；若后验在先验已经重视的一簇低经验风险假设间分散，KL 还能反映这片局部结构，而不只看全类基数。

Gibbs 风险与确定性预测器 ​

公式直接控制的是每次先采 $h\sim Q$ 再预测的 Gibbs 分类器。确定性多数投票 $\mathrm{sign}{\mathbb{E}}_{Q}h(x)$ 的风险不是同一个量；从 Gibbs 到投票需要另加 C-bound、margin 或简单但可能松的比较。本页也不是 Bayesian 后验正确性的陈述，$P,Q$ 可以只是构造泛化证书的分布。

绝对连续与数据依赖先验 ​

若 $Q$ 把质量放在 $P$ 的零质量区域，$Q\ll ̸P$，则 $\mathrm{KL}(Q\Vert P)=\mathrm{\infty }$，界为空。用同一数据挑 prior 再声称它“观察样本前固定”同样无效；数据依赖 prior 需要样本切分、层次先验或额外复杂度校正。无界损失则要使用具有矩条件的专门 PAC-Bayes 版本。

把 $F_S$ 取成经验 Bernoulli 风险与总体 Bernoulli 风险的二元 KL，可得到 PAC-Bayes-kl 界，并通过一维反演生成后验 $Q$ 的数值风险证书。改用线性风险差及次高斯指数矩，会得到更直观但可能较松的平方根型上界；两种版本的常数与假设必须跟随各自的 $C_m$。

由于共同事件覆盖所有 $Q$，训练后可以最小化“经验 Gibbs 风险加 KL 复杂度”的证书来选择后验。这一优化既可用于有限模型加权，也可用于连续权重分布；实际输出若是后验均值或多数投票，还必须补上从 Gibbs 风险到确定性预测器的转换。

margin 界、局部化先验和非有界损失版本都沿用同一三步骨架，却更换指数矩与最后的风险转换。应用时应先选定真正要控制的预测器和损失，再选择相匹配的 PAC-Bayes 定理，而不是从一个熟悉公式反推问题设定。