软间隔支持向量机

$C$ 是每单位训练违反相对于模型范数的价格。$C$ 大时模型更愿意增大 $\Vert w\Vert$ 以修复训练 margin；$C$ 小时更愿意接受 slack 来换宽而平缓的分类面。它不是“允许错误的比例”，也不能脱离损失的求和或平均 convention 单独解释。

在取最小可行 slack 时，可分三种情况：${\xi }_i=0$ 且 margin 大于 1 的点在安全带外；$0<{\xi }_i<1$ 的点仍分类正确但进入安全带；${\xi }_i>1$ 的点被误分类。等于 1 时分数为零，分类 tie 如何处理还需实现约定。

取同一输入 $x=0$ 的两个样本，标签分别为 $+1$ 与 $-1$。任何特征映射都使两个样本的分数相同；取 $w=0$ 时，共同分数为 $b$，最小 slack 和为

当 $-1\le b\le 1$ 时该和恒为 2，故目标为 $2C$。任意共同分数的两个 hinge 之和都至少为 $2$，范数项又非负，因此这确是最优值，而零 slack 不可能。这个可复算反例说明软间隔能处理逻辑上不可分的数据，也说明最优 bias 可以不唯一；算法不能从目标中恢复互相矛盾的标签规律。

再看两个线性点 $(-1,-1)$ 与 $(1,+1)$。对称解令 $b=0,w\ge 0$，目标为

在 $w<1$ 区间求导得 $w=2C$。所以 $C<1/2$ 时 $w^{\ast }=2C$；选择 $b=0$ 时每点 slack 为 $1-2C$，但所有 $|b|\le 1-2C$ 都给出同一最优值，bias 不唯一；$C\ge 1/2$ 时取 $w^{\ast }=1$，与硬间隔解一致。相同结论将在对偶中表现为乘子上界 ${\alpha }_i\le C$ 是否截住 $1/2$。

特征尺度或核整体缩放会改变范数项，故同一个数值 $C$ 不再代表同一权衡。类别权重可写成样本依赖的 $C_i$，但它改变目标，不能在报告中仍称为统一 $C$。训练 hinge 很小也不保证总体分类误差小，仍需泛化分析和独立验证。

软间隔原始问题是凸优化模型理路凸优化问题Convex optimization problem在凸可行域上最小化凸目标且不等式约束为凸函数的优化模型。中的二次规划；消去 slack 后可用次梯度或其他凸优化方法，转到对偶后只出现 Gram 矩阵。KKT 条件理路KKT 条件Karush–Kuhn–Tucker conditions · KKT conditions用可行性、乘子符号、互补松弛与驻点方程刻画约束最优性的条件。把样本分为 ${\alpha }_i=0$、$0<{\alpha }_i<C$ 与 ${\alpha }_i=C$ 三类，并给出支持向量和 bias 的恢复规则。

将 $w$ 正交投影理路Hilbert 空间投影定理Hilbert projection theorem · Projection theoremHilbert 空间中每个闭线性子空间都给出唯一的正交分解与最近点投影。到有限个训练特征的线性包，不改变训练分数、$b$ 或 slack，并使范数不增。因而即使特征空间无限维，存在性和 KKT 计算也可在有限维中进行。两类都出现时，给定目标上界同时限制 $w,\xi$，两类约束再限制 $b$，由有限维的Heine–Borel 定理理路Heine–Borel 定理Heine–Borel theorem欧氏空间子集紧致当且仅当它闭且有界。，这些闭水平集紧；极值定理理路极值定理Extreme value theorem连续实值函数在非空紧空间上取得最大值和最小值。保证最优值达到。只有一类时取 $w=0$ 和适当 $b$，即可令所有 slack 为零。

有限 $C$ 使任意标签数据都有可行点，例如取 $w=b=0,{\xi }_i=1$。可行不等于统计上合适：异常点、类别代价、核带宽和 $C$ 共同决定解，交叉验证必须避免把测试数据用于选择这些量。