Skip to content

Fat-shattering 维

Fat-shattering dimension · fat dimension

以尺度参数衡量实值函数类在逐点阈值两侧保留固定间隔并实现全部符号模式的能力。

条目类型
定义

形式陈述

本页在实数值函数类上为无尺度阈值打散加入可观测间隔。

FRX,尺度 γ>0。点集 {x1,,xm}F 在尺度 γ fat-shatter,是指存在逐点阈值 r1,,rmR,使对每个符号向量 s{1,+1}m,都能找到 fsF 满足

si=+1fs(xi)ri+γ,si=1fs(xi)riγ

对所有 i 同时成立。fatγ(F) 是可被如此打散的点集最大大小;若任意大有限点集都可打散,则定义为

这一定义要求阈值两侧各留出 γ,所以正负候选值至少相隔 2γ。有的文献把总间隔记作 γ,在两侧写 γ/2;比较公式时必须先核对 convention。

直觉

伪维只问能否跨过每个点自己的阈值,跨过 1012 与跨过 10 都算一次。fat-shattering 维把分辨率放回问题:观察或预测精度若只有 γ,落在阈值附近的细小摆动不应被当作可稳定区分的模式。随着 γ 增大,条件更严格,因此 fatγ(F) 单调不增。

它与分类器的几何间隔相似但不相同。这里的 γ 位于函数输出轴上,且阈值 ri 可逐点变化;只有给定输入范数、参数范数和 score 归一化后,才能把它解释为几何距离。

例子与边界

范数受限线性类

X 位于 Hilbert 空间中,xR

F={xw,x:wB}.

m 个点在尺度 γ 被打散,考虑所有符号向量并利用线性对偶与随机符号平均,可以推出

γmBR,fatγ(F)(BRγ)2

(还应与空间维数取最小值)。这说明即使环境维数巨大,只要参数半径、输入半径和要求的分辨率固定,有效复杂度仍有限。反过来,在足够高维空间取近似正交的输入,并让 w 沿符号和方向变化,可得到同量级的下界,故平方依赖不是单纯证明伪影。

边界与相邻概念

若只要求 f(xi)ri<ri 而没有两侧间隔,就回到伪维式打散。不能直接把 γ=0 代入定义并宣布等于伪维:弱/严格不等号、函数值恰落阈值及极限交换都会造成差异;稳妥关系是把伪维看作无尺度阈值能力,并研究 γ0 时 fat 维的行为。

输出范围和范数约束至关重要。所有实值函数组成的类在任何尺度都能对任意有限点集指定巨大正负值,fat 维无穷。有限 fat 维常进入实值学习的覆盖数与 margin 泛化界,但本定义本身既不是风险界,也不保证计算上能找到相应预测器。

推论与应用

在固定尺度上,fat-shattering 维可控制实值函数类的覆盖数与统一偏差;当尺度随 margin 选择时,它又连接到间隔泛化界。相比伪维,它保留了“需要分辨多细”的信息,因此适合噪声或有限精度下的学习分析。

范数受限线性类的 (BR/γ)2 量级说明维度、函数幅度与分辨率必须共同报告。若 score 可任意缩放而分类器不变,应先固定归一化,否则 fat 维中的 γ 没有可比较语义。

参考资料
  • Noga Alon, Shai Ben-David, Nicolò Cesa-Bianchi, and David Haussler, “Scale-Sensitive Dimensions, Uniform Convergence, and Learnability,” 1997.
  • Martin Anthony and Peter Bartlett, Neural Network Learning: Theoretical Foundations, Cambridge University Press, 1999.
关系图谱7 个相邻概念 · 1 类关系

拖动节点调整位置。

显示关系

显示:依赖

  1. 前置三跳
  2. 前置二跳
  3. 前置一跳
  4. 当前条目
  5. 后续一跳
  6. 后续二跳
  7. 后续三跳
文字版关系按与当前条目的最短距离分组