PAC-Bayes 框架

先验可以看作训练前分配给各类解释的编码预算，后验则是数据出现后真正想使用的随机化预测器。若后验集中到先验原本认为极不可能的区域，它需要更多信息才能被数据“指定”，于是 KL 项变大；若它主要重排先验已经覆盖的合理假设，复杂度代价就较小。

共同高概率事件是框架的关键。证明先在与数据无关的 $P$ 下控制平均指数矩，再用 change of measure 把任意数据依赖 $Q$ 的期望搬回 $P$；KL 正是这次搬运的价格。因为事件对所有 $Q$ 同时成立，看到数据后才能在经验风险与 KL 之间优化，而不需要再为后验选择做一次并集界。

有限类恢复 Occam 复杂度 ​

若 $\mathcal{H}$ 非空且有限且 $P$ 均匀，取点质量后验 $Q={\delta }_h$，则

这恢复有限类的 Occam/编码复杂度。若 $Q$ 把质量分散在许多先验已经认为合理的假设上，KL 还会利用局部结构，而不是只看全类大小。

先验依赖与预测器辨析 ​

标准先验必须在观察训练样本前确定。用同一数据调出先验再直接代入会破坏证明；可采用独立数据划分或专门的数据依赖先验定理。$Q$ 可以只是为获得风险界而设计的随机化预测器，不必解释成主观参数不确定性；普通贝叶斯后验理路Bayes 定理Bayes' theorem · Bayes' rule用先验与证据在各假设下的可能性反转条件方向，得到归一化后验。若定义在同一假设空间且满足这里的采样、损失与先验条件，也属于共同事件覆盖的后验；Bayes 公式本身并不保证这些条件。KL 为无穷时界没有信息；有限 KL 要求 $Q\ll P$，而绝对连续本身仍不保证 KL 有限。

把规范不等式对总体风险反解，就得到可直接计算的PAC-Bayes 泛化界理路PAC-Bayes 泛化界PAC-Bayes bound · PAC-Bayes proof template以先验到数据依赖后验的 KL 散度支付换测度代价，将先验下的指数矩控制转成同时覆盖所有 Gibbs 后验的泛化证书。。经验风险推动后验靠近训练表现好的假设，KL 项阻止它无代价地集中到先验几乎不支持的区域；二者合起来形成一种由定理本身给出的正则化目标。

有限类上，点质量后验恢复 $\log |\mathcal{H}|$ 复杂度；连续参数模型中，选择带非零方差的后验可以保持对先验的绝对连续，并让界利用参数附近一整片低损失区域。神经网络中的 PAC-Bayes 分析常据此研究权重扰动后的 Gibbs 风险，而不是只给一个确定权重向量套公式。

框架也适合比较不同先验知识或压缩方案，但先验必须与训练样本保持定理要求的独立性。若要用数据选择先验，应使用独立样本、分层先验或专门的数据依赖先验界，并把新增的信息代价明确写入结论。