Skip to content

有限假设类泛化界

Finite-class generalization bound

固定假设的集中加上对有限类并集,得到同时成立的风险偏差界。

条目类型
定理

形式陈述

H有限假设集合,损失在 [0,1],样本 IID。对固定 hHoeffding 不等式控制其泛化间隙坏事件;再对全部 h 使用并集界

Pr(suphH|R(h)R^(h)|>ε)2|H|e2mε2.

令右边为 δ,以至少 1δ 概率,

hH:|R(h)R^(h)|log(2|H|/δ)2m.

因此 ERM 的类内超额风险至多上式右端的两倍。候选数以 log|H| 而非 |H| 进入样本量。

直觉

有限性让数据依赖选择变成可枚举的多重比较:每个固定候选失败的概率指数下降,而同时保护所有候选只需支付候选数的对数。可实现设定还能把双边风险估计换成“坏规则是否零错幸存”的单侧事件。

例子与边界

可实现的一侧快界

若存在零风险目标,任何错误率大于 εhm 个样本上保持零错误的概率至多 (1ε)memε。并集后,m(log|H|+log(1/δ))/ε 足以排除所有坏的一致假设。这是 1/ε,不能与一般双边估计的 1/ε2 混淆。

类必须在看见样本前固定。连续或无限类的 |H| 可能无穷;需要增长函数、VC 或覆盖数替代全局计数,而不是把浮点参数精度随意当成类大小。

|H|=1000m=5000δ=0.05,双边偏差上界约为

log(40000)100000.0326.

因此 ERM 的类内超额风险由这条通用论证控制在约 0.0652。这是最坏情形保证;候选损失高度相关时,并集界可能很松,实际 gap 更小并不反驳定理。

数据依赖地生成候选类会破坏“预先固定”的证明。例如先在训练数据上搜索一百万个特征,再只把最好的十个称作 H,不能把 |H|=10 代回上界;选择过程已经看过其余候选。可用独立样本完成筛选,或把整个搜索空间纳入复杂度控制。

推论与应用

点质量先验下的 PAC-Bayes 复杂度会恢复 log|H|,而无限二元类可用样本上的增长函数替代全局基数。二者说明真正支付的是数据能够区分的候选信息量,不一定是参数空间的表面大小。

该界也是有限模型选择和离散超参数网格的基础证书。候选若由同一数据生成,必须把生成过程一并计数或用独立样本隔离,否则事后缩小集合不会追回已经发生的选择偏差。

参考资料
  • Blumer et al., “Learnability and the VC Dimension,” 1989.
  • Shalev-Shwartz, Ben-David, Understanding Machine Learning, Cambridge University Press, 2014, Ch. 6.
关系图谱14 个相邻概念 · 2 类关系

拖动节点调整位置。

显示关系

显示:依赖

  1. 前置三跳
  2. 前置二跳
  3. 前置一跳
  4. 当前条目
  5. 后续一跳
  6. 后续二跳
  7. 后续三跳
文字版关系按与当前条目的最短距离分组
类型化关系