线性分类器与几何间隔

函数间隔随参数单位一起变化，几何间隔则把这份任意缩放除掉，只保留样本到决策面的真实余量。$R/\gamma$ 因而不是“模型有多少参数”，而是数据尺度、所选范数与分类面共同形成的难度；同一组标签在不同特征缩放下可以有完全不同的 margin 保证。

不可分数据的最小间隔非正，需要 slack、代理损失或只统计多数点的 margin 分布。参数个数相同的两个分隔面可有迥异 margin；几何余量描述数据与规则的配合，不只是类的全局容量。

缩放不变性的直接检验 ​

在 ${\mathbb{R}}^2$ 中取 $w=(1,1),b=-1$。正样本 $x=(1,1)$ 的函数间隔为 $1$，几何间隔为 $1/\sqrt{2}$；把参数改成 $(10w,10b)$ 后函数间隔变成 10，几何间隔仍为 $1/\sqrt{2}$。这直接检验了为什么不除以范数会得到可任意操纵的“信心”。

距离公式也能用移动量检查。上述正样本到边界的最近欧氏位移为 $v=(-1/2,-1/2)$：移动后得到 $(1/2,1/2)$，确实满足 $x_1+x_2=1$，而 $\Vert v{\Vert }_2=1/\sqrt{2}$。若改用 ${\ell }_1$ 距离，可只把第一坐标减少 $1$，距离为 $1$；对偶公式也给 $1/\Vert (1,1){\Vert }_{\mathrm{\infty }}=1$。同一个超平面具有不同范数下的不同距离。

感知机的经典平方界使用欧氏几何：若 $\Vert x_i{\Vert }_2\le R$ 且存在欧氏单位向量以 margin $\gamma >0$ 齐次分开数据，按非正间隔规则更新 $M$ 次后的权重满足 $⟨w_M,u⟩\ge M\gamma$ 与 $\Vert w_M{\Vert }_2^2\le M{R}^2$。Cauchy–Schwarz 不等式理路Cauchy–Schwarz 不等式Cauchy–Schwarz inequality · 柯西–施瓦茨不等式内积的绝对值不超过两向量范数之积，且等号精确刻画线性相关。给 $M\gamma \le R\sqrt{M}$，于是 $M\le (R/\gamma {)}^2$。实际二元预测错误数不超过更新数；按本页的平票规则，零分数且标签为 $+1$ 时预测正确，仍会触发一次更新。带 bias 时须先在增广空间验证同样条件；不能把一般范数距离公式直接当作任意范数下标准感知机的同一错误界。含噪或不可分数据不满足正间隔条件，原证明不再给有限错误次数。

范数决定 margin 的几何。若输入使用 ${\ell }_1$ 范数，则对偶参数范数是 ${\ell }_{\mathrm{\infty }}$；欧氏公式中的点到超平面距离不能不加修改地搬过去。特征重缩放同样会改变 $R$ 与 $\gamma$：把某坐标乘一千会改变几何难度，即使可分标签不变，因此预处理属于模型规范的一部分。

Perceptron 算法理路Perceptron 算法Perceptron · 感知机算法对误分类或零间隔样本沿标签方向更新线性权重的基础在线分类算法。用正 margin 推出有限错误次数，间隔泛化界理路间隔泛化界Margin generalization bound · 间隔风险界以样本中的低间隔比例和归一化范数半径控制线性分类器的总体分类错误。把 $R/\gamma$ 转成 IID 风险控制，Boosting margin 理论理路Boosting 的间隔理论Boosting margin theory · Boosting margin bound用加权投票的归一化训练间隔分布和基分类器复杂度控制总体分类错误，而不直接依赖 boosting 轮数。则研究组合分类器在训练样本上的间隔分布。它们共享缩放不变的几何量，却使用不同的信息协议和概率结论。

Margin 与 VC 维回答不同层次。所有仿射半空间的 VC 维只依赖维度，而半径—间隔界会随具体样本的 $R/\gamma$ 改变；后者可在高维但大间隔数据上更有信息。软间隔 SVM 允许违例并惩罚 slack，不能继续声称最小几何 margin 为正。