“本页的归一化投票 margin 与 fat shattering 尺度相关但不等同;前者评价一个 boosting 组合在标注样本上的分布,后者评价整个实值函数类在任意点集上的尺度化打散能力。”
形式陈述 ​
设
对所有
这一定义要求阈值两侧各留出
直觉
伪维只问能否跨过每个点自己的阈值,跨过
它与分类器的几何间隔相似但不相同。这里的
例子与边界
范数受限线性类 ​
令
若
(还应与空间维数取最小值)。这说明即使环境维数巨大,只要参数半径、输入半径和要求的分辨率固定,有效复杂度仍有限。反过来,在足够高维空间取近似正交的输入,并让
边界与相邻概念 ​
若只要求
输出范围和范数约束至关重要。所有实值函数组成的类在任何尺度都能对任意有限点集指定巨大正负值,fat 维无穷。有限 fat 维常进入实值学习的覆盖数与 margin 泛化界,但本定义本身既不是风险界,也不保证计算上能找到相应预测器。
推论与应用
在固定尺度上,fat-shattering 维可控制实值函数类的覆盖数与统一偏差;当尺度随 margin 选择时,它又连接到间隔泛化界。相比伪维,它保留了“需要分辨多细”的信息,因此适合噪声或有限精度下的学习分析。
范数受限线性类的
参考资料
- Noga Alon, Shai Ben-David, Nicolò Cesa-Bianchi, and David Haussler, “Scale-Sensitive Dimensions, Uniform Convergence, and Learnability,” 1997.
- Martin Anthony and Peter Bartlett, Neural Network Learning: Theoretical Foundations, Cambridge University Press, 1999.