形式陈述
本页给出经验风险一致收敛公理库经验风险的一致收敛Uniform convergence of empirical risks以高概率同时控制整个假设类的经验风险与总体风险偏差。在二元 VC 类上的规范实现。设 ，损失是二元误分类损失。样本 ，其中 ；记
若 的 VC 维为 ，并满足通常的可测性条件，则存在普适常数 ，使任意 下，以至少 的概率
（当 时把增长函数直接以上界 处理）。这里常数与对数内的数字取决于采用单边还是双边不等式；不变的核心是 的量级。
证明链
令 是与 独立、同分布的 ghost sample。对固定 ，总体风险是 上经验风险的条件期望；对称化公理库对称化与 Ghost Samplesymmetrization · ghost sample用独立幽灵样本和随机符号，把未知总体均值偏差化为可分析的经验过程。把未知的 换成可比较的 。一个标准版本给出
其中 足够大时成立；小样本区间可吸收到常数中。
条件于合并后的 个输入点， 虽可能无限，却只能产生至多 种标注向量。对每一种向量，随机交换每对 等价于加入独立符号，Hoeffding 集中给出指数尾界；再对这些标注模式使用并集界公理库并集界Union bound · Boole 不等式多个坏事件中至少一个发生的概率，不超过各事件概率之和。，得到
最后由 Sauer–Shelah 引理公理库Sauer–Shelah 引理Sauer's lemma · Sauer–Shelah–Perles lemma把有限 VC 维转化为假设类在有限样本上的多项式标注数上界。，当 时 。取对数并令右侧不超过 ，便得到所述界。三步各有单一职责：ghost sample 消掉未知期望，增长函数把无限类压成有限模式，集中与并集界控制所有模式同时偏离。
直觉
证明依次完成三次降维：ghost sample 把未知总体期望变成两份经验量之差，增长函数把无限类缩成合并样本上的有限标注模式，集中与并集界再同时控制这些模式。任何一步都不能由另外两步代替。
例子与边界
在 上，仿射半空间的 VC 维是 。法向量与截距是任意精度的实数，候选分类器不可数；但在 个观测点上，它们能留下的二元切分只有多项式级别。于是泛化代价取决于 与样本量，而不取决于参数写到多少位。这正是 VC 理论把“无限参数集合”换成“有限样本上的可区分行为”的意义。
如果 ，不可知情形的 ERM 满足
所以要超额风险至多 ，朴素界通常需要 为 。可实现情形利用“经验错误为零”的单边事件可得到 依赖；若直接套本页双边平方根界，只会给出较松的 。
边界与区分
本页不是 VC 类最优样本复杂度公理库VC 类的样本复杂度界VC sample complexity bounds · PAC optimal sample complexity区分二元 VC 类的教材式 ERM 上界、分布无关最优上界与配套下界，明确可实现和不可知情形的不同精度次数。：它证明一种统一控制机制，不保证每个学习器都达到最优速率。固定 的大数定律也不足以替代它，因为 ERM 的 正由同一份数据选择。
可测性并非装饰。若 对应的随机变量不可测，概率陈述需要外概率、可数稠密子类或其他可分性条件。数据依赖的随机假设类也不能原样代入：必须先条件化到能保持证明成立的信息，或改用稳定性、条件 Rademacher 复杂度等工具。
推论与应用
把上界代入 ERM 比较链，可得到不可知学习的教材式 样本量；可实现一致学习改用单侧幸存事件后得到更快的 依赖。最优 VC 样本复杂度需要更精细的算法与分析，不能把本页统一偏差界当成最终下界。
仿射半空间、阈值与其他已知 VC 维的二元类都可直接获得分布无关泛化证书。若输出是实值、损失无界或类由数据构造，则需转向伪维、Rademacher 或稳定性等匹配工具。
参考资料
- Vladimir Vapnik and Alexey Chervonenkis, “On the Uniform Convergence of Relative Frequencies of Events to Their Probabilities,” 1971.
- Anselm Blumer, Andrzej Ehrenfeucht, David Haussler, and Manfred Warmuth, “Learnability and the Vapnik–Chervonenkis Dimension,” 1989.
- Shai Shalev-Shwartz and Shai Ben-David, Understanding Machine Learning, Cambridge University Press, 2014, chapters 6–7.
