最大间隔对偶

对偶变量衡量每个 margin 约束对最优分类面的“拉力”。等式 $\sum _i{\alpha }_i{y}_i=0$ 让两类总拉力平衡，这是未惩罚 bias 的驻点条件；权向量则是加权特征差。Gram 矩阵记录这些拉力组合的平方范数，因此无需显式特征坐标。

上界 ${\alpha }_i\le C$ 来自 slack 的单位价格：单个样本不能以超过 $C$ 的对偶拉力无限支配分类面。硬间隔没有 slack 价格，故没有盒上界。把两套对偶混写会同时破坏 primal 参数含义和 KKT 分类。

对两个线性样本 $(-1,-1)$、$(1,+1)$，约束 $y^{\mathrm{\top }}\alpha =0$ 给 ${\alpha }_1={\alpha }_2=a$。由于 $YKY$ 的四项都等于 1，对偶成为

因此 $a^{\ast }=min\{1/2,C\}$。若 $C=1/5$，则 $a=1/5$、$w=2/5$、$b=0$，两个 margin 都为 $2/5$，各有 slack $3/5$。原始值为

对偶值 $2/5-2/25=8/25$，可精确核对强对偶与全部缩放。若 $C\ge 1/2$，上界不再活跃，恢复硬间隔 $w=1$。

KKT 条件公理库KKT 条件Karush–Kuhn–Tucker conditions · KKT conditions用可行性、乘子符号、互补松弛与驻点方程刻画约束最优性的条件。还给

所以 ${\alpha }_i=0$ 强制 ${\xi }_i=0$ 且 $y_i{f}_i\ge 1$，一般严格位于 margin 外，退化时也可恰落边界；$0<{\alpha }_i<C$ 强制 ${\xi }_i=0$ 且 $y_i{f}_i=1$；${\alpha }_i=C$ 的点可能在 margin 内或被误分，也可能恰落边界。最后一种不能仅凭 ${\alpha }_i=C$ 判为训练错误。

PSD 的 $K$ 使对偶目标凹。若用不定相似度，二次项可破坏凹性，通用 QP 结论不再成立。若没有任何 $0<{\alpha }_i<C$ 的支持向量，不能用单点等式唯一恢复 $b$；应从所有 KKT 不等式求可行区间或按优化器约定选择。

求得 $\alpha$ 后，

只有 ${\alpha }_i>0$ 的点参与预测，从而解释“支持向量”。稀疏性来自盒约束与互补松弛，不是所有核方法的共同性质；核岭回归通常使用全部训练点。

软间隔问题有凸目标和仿射约束，且存在严格可行 slack，因而满足 Slater 条件并有强对偶。强对偶保证最优值相同，不保证 $\alpha$、$b$ 或原始变量都唯一；奇异 Gram、重复点和没有自由支持向量时尤其要区分这些层次。

计算中可同时评估原始可行值与对偶可行值；二者之差非负，并在精确最优时为零。这提供停止准则，但前提是两边使用同一个 $\frac{1}{2}$、$C$、bias 与核缩放 convention。把不同定标的目标相减所得数字没有对偶间隙含义。