Skip to content

间隔泛化界

Margin generalization bound · 间隔风险界

以样本中的低间隔比例和归一化范数半径控制线性分类器的总体分类错误。

条目类型
定理

形式陈述

带标签间隔

二分类器只记录 signf(x) 时,训练点位于决策边界哪一侧已经足够决定训练错误,却不足以描述扰动后的可靠性。带标签间隔

yf(x)

同时记录方向和距离:它为负表示误分类,接近零表示判断脆弱,较大的正值表示该点在函数尺度下远离边界。间隔泛化界用训练样本中“小于某个阈值 γ 的比例”替代纯训练错误。

线性间隔界

X 位于 Hilbert 空间,xR,考虑齐次线性打分

fw(x)=w,x,wB.

对样本 S=((xi,yi))i=1m,定义经验低间隔率

R^γ(w)=1mi=1m1{yiw,xiγ}.

一个标准的Rademacher 泛化界版本表明:对任意固定 γ>0,以至少 1δ 的概率,同时对所有 wB

R0-1(w)R^γ(w)+2BRγm+3log(2/δ)2m.

常数随 ramp loss 的具体定义而变化,稳定的结构是:总体错误不超过经验低间隔率,加上由归一化半径 BR/γ 和置信度产生的复杂度项。

推导骨架

取截断 ramp 函数

ϕγ(u)={1,u0,1u/γ,0<u<γ,0,uγ.

它夹住 0–1 损失与低间隔指示函数:

1{u0}ϕγ(u)1{uγ}.

函数 ϕγ1/γ-Lipschitz。对线性打分类应用收缩引理,并利用

R^S({xw,x:wB})BRm,

即可把 ramp loss 的总体均值控制为经验均值加 BR/(γm)。最后用上面的夹逼回到分类错误。这条证明清楚说明了 1/γ 来自代理函数斜率,而不是凭经验加入的惩罚。

直觉

训练错误只看点是否越过边界,间隔还看它离边界多远。Ramp loss 把“负间隔必错、足够大正间隔可靠”之间的区域铺成一段斜坡;斜坡越窄,越接近 0–1 损失,却也因 Lipschitz 常数 1/γ 更大而提高复杂度代价。

界中的两项由此形成真实权衡:提高 γ 会降低 BR/(γm),却可能把更多训练点计入低间隔率。选择间隔不是单纯追求最大几何距离,而是在样本分布的间隔尾部与函数类波动之间找平衡。

例子与边界

数值尺度与归一化

若将 w 乘以常数 c>0,分类标签完全不变,原始间隔却也乘以 c。因此单说“间隔很大”没有尺度意义;必须同时固定 w、输入半径 R,或使用几何间隔

yw,xw.

BR/γ 在同步缩放 wγ 时保持不变,正是界中真正的无量纲复杂度。单独放大参数不会改善泛化界,因为范数与间隔会同时放大。

考虑二维中两条都正确分类全部训练点的直线。第一条贴近一簇样本,第二条穿过两类之间的宽走廊。两者训练错误都是零,但在同一范数归一化下,第二条允许选择更大的 γ,同时仍保持 R^γ=0

界因此能够区分两个零训练误差解:它比较的是样本到边界的归一化余量,以及这份余量能覆盖多少训练点。视觉上的“更居中”只有转化为更好的间隔分布后,才会进入定理。

数据后选择 γ

上式对预先固定的 γ 成立。若看完数据后在连续多个阈值中选择最漂亮的一个,必须为这次选择付费。常见做法是只考虑 dyadic 网格 γj=2j,再分配失败概率 δj 并取并集界;结果多出很小的对数项。直接把训练后最优 γ 代入固定阈值定理,会遗漏选择偏差。

与其他间隔理论的边界

本页控制的是线性或 Lipschitz 打分类的测试错误。Boosting 间隔理论研究加权基学习器组合,归一化方式与复杂度项不同;不能只因都出现 yf(x) 就复用同一公式。Fat-shattering 维则把实值类在尺度 γ 上的组合复杂度抽象出来,可覆盖超出 Hilbert 线性类的模型。

大间隔也不自动解决标签噪声。若训练集中有离群标记,强迫所有点获得正大间隔可能需要巨大范数并恶化 BR/γ;软间隔方法允许一部分低间隔点,正是经验项与复杂度项之间的权衡。该界是泛化保证,不说明寻找最优 w 的算法一定高效。

推论与应用

当训练样本全部达到间隔 γ 时,经验低间隔率为零,界直接给出由 BR/γ 控制的测试错误。反过来,有少量噪声或边界点时,不必强行把最小间隔做正;保留低间隔率能把这些点的代价显式留在经验项中。

同一证明模板可推广到一般实值函数类:先选择夹住目标错误的 Lipschitz 代理,再以 Rademacher 复杂度或尺度敏感的 fat-shattering 维控制代理损失。推广时必须重新计算输出范围、Lipschitz 常数与所用范数,不能只替换分类器名称。

参考资料
  • Peter L. Bartlett, “The Sample Complexity of Pattern Classification with Neural Networks: The Size of the Weights Is More Important than the Size of the Network,” IEEE Transactions on Information Theory 44(2), 1998.
  • Vladimir Vapnik, Statistical Learning Theory, Wiley, 1998, margin and structural-risk chapters.
  • Mehryar Mohri, Afshin Rostamizadeh, and Ameet Talwalkar, Foundations of Machine Learning, 2nd ed., MIT Press, 2018, margin-bound chapters.
关系图谱15 个相邻概念 · 2 类关系

拖动节点调整位置。

显示关系

显示:依赖

  1. 前置三跳
  2. 前置二跳
  3. 前置一跳
  4. 当前条目
  5. 后续一跳
  6. 后续二跳
  7. 后续三跳
文字版关系按与当前条目的最短距离分组
类型化关系