Hinge 损失

零一损失只问符号是否错误，hinge 还要求正确点越过安全带 $u=1$。在安全带之外梯度为零；带内每减少一单位 margin 就线性付一单位代价。这个分段线性形状把最大间隔约束变成可优化的凸惩罚，并让违反量直接对应 soft-margin SVM 的 slack。

Hinge 在 SVM 中的角色是损失、次梯度和 margin 归一化。它对分类是否校准、代理超额风险如何控制零一风险，已由分类代理损失与校准公理库分类代理损失与校准classification calibration · classification surrogate loss说明可优化代理风险在什么条件下能够控制二分类的零一超额风险。处理；这里不把优化几何重新包装成校准定理。

取三个 $(y,t)$ 为 $(1,2)$、$(-1,-1/4)$、$(1,1/2)$。margin 分别是 $2,1/4,1/2$，损失为

平均损失为 $5/12$。前一点已越过安全带，分数方向的次梯度为 0；后二点均在带内，次梯度分别为 $-y=1$ 与 $-y=-1$。若把所有分数乘 4，margin 变为 $8,1,2$，经验 hinge 变成 0，但参数范数也放大；只报训练 hinge 而忽略正则项会遗漏代价。

与 slack 的联系可逐点复算：

所以

消去 slack 后就是 $\frac{1}{2}\Vert w{\Vert }^2+C\sum _i[1-y_i{t}_i{]}_{+}$。若改写为 $\frac{\lambda }{2}\Vert w{\Vert }^2+\frac{1}{m}\sum _i{\ell }_i$，整体除以 $\lambda$ 得 $C=1/(m\lambda )$；这一定标关系将在 soft-margin SVM 中保持一致。

Hinge 不光滑却有次梯度，并非“无法做梯度优化”。它也不是概率评分规则：大量正 margin 都有零损失，不能从最优分数唯一恢复 $\text{Pr}(Y=1\mid X=x)$。对严重异常点，损失随负 margin 线性无界，仍可能受离群点影响。

线性或 RKHS 分数加平方范数正则得到凸目标；有限样本时表示定理给核展开，soft-margin 原始问题则给等价 slack 形式。支持向量正是落在 margin 上或违反 margin、因而在最优性条件中可能有非零乘子的样本。

由于 hinge 对 margin 是 1-Lipschitz，复合函数类的 Rademacher 分析可用收缩引理把损失波动控制回分数类；常数仍会乘上输入半径与范数约束。若不限制分数类，仅凭损失凸和 Lipschitz 并不能得到有限的分布无关泛化保证。

平方 hinge $[1-u{]}_{+}^2$ 更平滑但改变对违例的惩罚与对偶约束；logistic 损失处处非零且有概率链接。替换损失不是纯实现细节，必须重新核对 Lipschitz 常数、鲁棒性、最优性条件和正则参数尺度。