线性分类器与几何间隔

函数间隔随参数单位一起变化，几何间隔则把这份任意缩放除掉，只保留样本到决策面的真实余量。$R/\gamma$ 因而不是“模型有多少参数”，而是数据尺度、所选范数与分类面共同形成的难度；同一组标签在不同特征缩放下可以有完全不同的 margin 保证。

不可分数据的最小间隔非正，需要 slack、代理损失或只统计多数点的 margin 分布。参数个数相同的两个分隔面可有迥异 margin；几何余量描述数据与规则的配合，不只是类的全局容量。

缩放不变性的直接检验 ​

在 ${\mathbb{R}}^2$ 中取 $w=(1,1),b=-1$。正样本 $x=(1,1)$ 的函数间隔为 $1$，几何间隔为 $1/\sqrt{2}$；把参数改成 $(10w,10b)$ 后函数间隔变成 10，几何间隔仍为 $1/\sqrt{2}$。这直接检验了为什么不除以范数会得到可任意操纵的“信心”。

若已知 $\Vert x_i\Vert \le R$ 且存在单位向量以 margin $\gamma >0$ 分开数据，感知机分析给错误数至多 $(R/\gamma {)}^2$：每次错误使参数朝真方向至少前进 $\gamma$，参数范数平方却至多增加 $R^2$，再以 Cauchy–Schwarz 比较两种增长。该证明要求可分和正 margin；在含噪样本上原界没有有限结论。

范数决定 margin 的几何。若输入使用 ${\ell }_1$ 范数，则对偶参数范数是 ${\ell }_{\mathrm{\infty }}$；欧氏公式中的点到超平面距离不能不加修改地搬过去。特征重缩放同样会改变 $R$ 与 $\gamma$：把某坐标乘一千会改变几何难度，即使可分标签不变，因此预处理属于模型规范的一部分。

Perceptron 算法公理库Perceptron 算法Perceptron · 感知机算法对误分类样本沿标签方向更新线性权重的基础在线分类算法。用正 margin 推出有限错误次数，间隔泛化界公理库间隔泛化界Margin generalization bound · 间隔风险界以样本中的低间隔比例和归一化范数半径控制线性分类器的总体分类错误。把 $R/\gamma$ 转成 IID 风险控制，Boosting margin 理论公理库Boosting 的间隔理论Boosting margin theory · Boosting margin bound用加权投票的归一化训练间隔分布和基分类器复杂度控制总体分类错误，而不直接依赖 boosting 轮数。则研究组合分类器在训练样本上的间隔分布。它们共享缩放不变的几何量，却使用不同的信息协议和概率结论。

Margin 与 VC 维回答不同层次。所有仿射半空间的 VC 维只依赖维度，而半径—间隔界会随具体样本的 $R/\gamma$ 改变；后者可在高维但大间隔数据上更有信息。软间隔 SVM 允许违例并惩罚 slack，不能继续声称最小几何 margin 为正。