Skip to content

定义Definition

Fat-shattering 维

施工中 · 内容逐步修订

Fat-shattering dimension · fat dimension

以尺度参数衡量实值函数类在逐点阈值两侧保留固定间隔并实现全部符号模式的能力。

形式陈述 ​

本页在实数值函数类上为无尺度阈值打散加入可观测间隔。

设非空 F⊆RX,尺度 γ>0。点集 {x1,…,xm} 被 F 在尺度 γ fat-shatter,是指存在逐点阈值 r1,…,rm∈R,使对每个符号向量 s∈{−1,+1}m,都能找到 fs∈F 满足

si=+1⇒fs(xi)≥ri+γ,si=−1⇒fs(xi)≤ri−γ

对所有 i 同时成立。fatγ(F) 是可被如此打散的点集最大大小;若任意大有限点集都可打散,则定义为 ∞。

这一定义要求阈值两侧各留出 γ,所以正负候选值至少相隔 2γ。有的文献把总间隔记作 γ,在两侧写 γ/2;比较公式时必须先核对 convention。

直觉

伪维只问能否跨过每个点自己的阈值,跨过 10−12 与跨过 10 都算一次。fat-shattering 维把分辨率放回问题:观察或预测精度若只有 γ,落在阈值附近的细小摆动不应被当作可稳定区分的模式。随着 γ 增大,条件更严格,因此 fatγ(F) 单调不增。

它与分类器的几何间隔相似但不相同。这里的 γ 位于函数输出轴上,且阈值 ri 可逐点变化;只有给定输入范数、参数范数和 score 归一化后,才能把它解释为几何距离。

例子与边界

范数受限线性类 ​

令 X 位于实 Hilbert 空间中,‖x‖≤R,

F={x↦⟨w,x⟩:‖w‖≤B}.

若 m 个点在尺度 γ 被打散,每个符号向量 s 的见证都满足 ∑isi(fs(xi)−ri)≥mγ。对符号平均,固定阈值项的期望为零,所以经验 Rademacher 复杂度至少为 γ。另一方面,线性对偶与 Cauchy–Schwarz 不等式给出

mγ≤BEs‖∑isixi‖≤B∑i‖xi‖2≤BRm,故fatγ(F)≤(BRγ)2

(还应与空间维数取最小值)。这说明即使环境维数巨大,只要参数半径、输入半径和要求的分辨率固定,有效复杂度仍有限。反过来,若输入域包含 xi=Rei 这样 m 个正交向量,且 m≤(BR/γ)2,取阈值全为零、ws=(γ/R)∑isiei,便有 ‖ws‖=γm/R≤B,且 fws(xi)=γsi。当 R>0 且空间维数足够时,这给出相应的下界;它不是对任意给定的小输入域都作同样承诺。

边界与相邻概念 ​

若只要求 f(xi)≥ri 或 <ri 而没有两侧间隔,就回到伪维式打散。不能直接把 γ=0 代入定义并宣布等于伪维:弱/严格不等号、函数值恰落阈值及极限交换都会造成差异;稳妥关系是把伪维看作无尺度阈值能力,并研究 γ↓0 时 fat 维的行为。

输出范围和范数约束至关重要。所有实值函数组成的类在任何尺度都能对任意有限点集指定巨大正负值,fat 维无穷。有限 fat 维常进入实值学习的覆盖数与 margin 泛化界,但本定义本身既不是风险界,也不保证计算上能找到相应预测器。

推论与应用

在固定尺度上,fat-shattering 维可控制实值函数类的覆盖数与统一偏差;当尺度随 margin 选择时,它又连接到间隔泛化界。相比伪维,它保留了“需要分辨多细”的信息,因此适合噪声或有限精度下的学习分析。

范数受限线性类的 (BR/γ)2 量级说明维度、函数幅度与分辨率必须共同报告。若 score 可任意缩放而分类器不变,应先固定归一化,否则 fat 维中的 γ 没有可比较语义。

参考资料
  • Noga Alon, Shai Ben-David, Nicolò Cesa-Bianchi, and David Haussler, “Scale-Sensitive Dimensions, Uniform Convergence, and Learnability,” 1997.
  • Martin Anthony and Peter Bartlett, Neural Network Learning: Theoretical Foundations, Cambridge University Press, 1999.
关系图谱8 个相邻概念 · 2 类关系

拖动节点调整位置。

显示关系

显示:依赖

  1. 前置三跳
  2. 前置二跳
  3. 前置一跳
  4. 当前条目
  5. 后续一跳
  6. 后续二跳
  7. 后续三跳
文字版关系按与当前条目的最短距离分组
类型化关系