软间隔支持向量机

$C$ 是每单位训练违反相对于模型范数的价格。$C$ 大时模型更愿意增大 $\Vert w\Vert$ 以修复训练 margin；$C$ 小时更愿意接受 slack 来换宽而平缓的分类面。它不是“允许错误的比例”，也不能脱离损失的求和或平均 convention 单独解释。

slack 细分三种情况：${\xi }_i=0$ 且 margin 大于 1 的点在安全带外；$0<{\xi }_i<1$ 的点仍分类正确但进入安全带；${\xi }_i>1$ 的点被误分类。等于 1 时分数为零，分类 tie 如何处理还需实现约定。

取同一输入 $x=0$ 的两个样本，标签分别为 $+1$ 与 $-1$。任何特征映射都给相同分数 $b$；令 $w=0$，最小 slack 和为

当 $-1\le b\le 1$ 时该和恒为 2，故目标为 $2C$，而零 slack 不可能。这个可复算反例说明软间隔能处理逻辑上不可分的数据，也说明最优 bias 可以不唯一；算法不能从目标中恢复互相矛盾的标签规律。

再看两个线性点 $(-1,-1)$ 与 $(1,+1)$。对称解令 $b=0,w\ge 0$，目标为

在 $w<1$ 区间求导得 $w=2C$。所以 $C<1/2$ 时 $w^{\ast }=2C$、每点 slack 为 $1-2C$；$C\ge 1/2$ 时取 $w^{\ast }=1$，与硬间隔解一致。相同结论将在对偶中表现为乘子上界 ${\alpha }_i\le C$ 是否截住 $1/2$。

特征尺度或核整体缩放会改变范数项，故同一个数值 $C$ 不再代表同一权衡。类别权重可写成样本依赖的 $C_i$，但它改变目标，不能在报告中仍称为统一 $C$。训练 hinge 很小也不保证总体分类误差小，仍需泛化分析和独立验证。

软间隔原始问题是凸二次规划；消去 slack 后可用次梯度或其他凸优化方法，转到对偶后只出现 Gram 矩阵。KKT 条件把样本分为 ${\alpha }_i=0$、$0<{\alpha }_i<C$ 与 ${\alpha }_i=C$ 三类，并给出支持向量和 bias 的恢复规则。

有限 $C$ 使任意标签数据都有可行点，例如取 $w=b=0,{\xi }_i=1$。可行不等于统计上合适：异常点、类别代价、核带宽和 $C$ 共同决定解，交叉验证必须避免把测试数据用于选择这些量。