Skip to content

定理Theorem

KKT 条件

Karush–Kuhn–Tucker conditions · KKT conditions

用可行性、乘子符号、互补松弛与驻点方程刻画约束最优性的条件。

形式陈述 ​

设变量 x 位于 Rn 的开集 U,目标与约束函数均在 U 上为 C1。考虑下述约束优化问题

minxf0(x),fi(x)≤0 (i=1,…,m),hj(x)=0 (j=1,…,p),

并定义 L(x,λ,ν)=f0(x)+∑iλifi(x)+∑jνjhj(x)。点 (x∗,λ∗,ν∗) 满足 KKT 条件,指以下四项同时成立:

  1. 原始可行:fi(x∗)≤0 且 hj(x∗)=0;
  2. 对偶可行:λi∗≥0;
  3. 互补松弛:λi∗fi(x∗)=0;
  4. 驻点:∇f0(x∗)+∑iλi∗∇fi(x∗)+∑jνj∗∇hj(x∗)=0。

三种结论必须分开。一般光滑问题的局部最优点只有在适当约束资格(如 LICQ 或 MFCQ)下才必有 KKT 乘子。若 U 凸、f0,fi 凸且 hj 仿射,也就是处在凸优化结构中,则任何满足 KKT 的点都是全局最优解,这是充分性。若该凸问题还满足 Slater 条件并且最优解存在,则最优点存在乘子并满足 KKT,因而 KKT 成为充要证书。

凸问题的证书为何是全局的 ​

固定一组 KKT 乘子,凸函数 x↦L(x,λ∗,ν∗) 的梯度在 x∗ 为零,所以 x∗ 是它在 U 上的全局最小点。原始可行与互补松弛给出

g(λ∗,ν∗)=L(x∗,λ∗,ν∗)=f0(x∗).

再用弱对偶,这两个可行值只能分别是对偶与原问题的最优值。这里充分性不需要 Slater;Slater 用于从已知最优点反过来保证乘子存在。

非凸时,驻点不保证 L 的全局最小。例如无约束问题 minx(x2−1)2 的 x=0 满足驻点条件,值为 1,但全局最小值是 0,在 x=±1 取得。不能把这个 KKT 点当作零间隙证书。

直觉

在最优点处,目标梯度不能指向任何可行的一阶下降方向。活跃约束 fi(x∗)=0 的梯度是边界法向量,乘子把这些法向量与等式约束法向量组合起来,恰好抵消目标梯度;不活跃约束还有余量,不应贡献阻力,所以互补松弛迫使对应乘子为零。约束资格保证这些一阶法向量确实足以描述局部可行几何。

例子与边界

考虑 minx(x−a)2,约束 x≥0,写作 f1(x)=−x≤0。KKT 驻点为 2(x−a)−λ=0,另有 x≥0、λ≥0、λx=0。若 a>0,最优点 x∗=a,约束不活跃且 λ∗=0;若 a<0,最优点 x∗=0,约束活跃且 λ∗=−2a>0。同一问题清楚展示了乘子何时消失、何时承担边界法向力。

约束资格不能删。对 minxx,约束 x2≤0,唯一可行点 x∗=0 当然是最优点;但驻点方程要求 1+λ⋅2x∗=0,即 1=0,不存在任何 KKT 乘子。失败原因是活跃约束在原点的梯度为零,无法表达真实可行集。由此不能笼统宣称“KKT 当且仅当最优”。

推论与应用

Fisher 市场均衡把 KKT 条件转成完整的市场证书:供给乘子成为商品价格,非负分配的互补松弛保证买家只购买效用价格比最高的商品。将驻点等式乘以实际购买量并求和,会导出每个买家恰好花完预算;反过来,最优需求与商品出清也能重建全部 KKT 条件。

在上述凸问题中,KKT 的驻点先保证 Lagrange 函数达到全局下确界,再由原始可行、对偶可行与互补松弛使两侧目标相等,形成可核验的原始—对偶证书。在线性与二次规划中,活跃集法通过阻挡步长与乘子符号增删工作约束;中心路径把互补乘积暂时改为小正数,原始—对偶内点法则对三组残差联合取 Newton 步。在支持向量机中,互补松弛区分支持向量与非支持样本。对不可微凸问题,驻点方程需改用次梯度;若定义域边界没有显式列为约束,还应加入相应法锥。

模型预测控制提供一份可手算的二次规划证书:对 xk+1=xk+uk,取两步预测、x0=3、Q=R=1、零终端成本与 |uk|≤1,目标是 18+6u0+2u02+u12。计划 (−1,0) 的梯度为 (2,0),配上约束 −u0−1≤0 的乘子二、其余乘子零,便满足全部条件,唯一最优值为 14。执行首项后必须重求解;本次 KKT 最优性与保证以后仍可行的终端条件,是两份需要分别核验的证书。

参考资料
  • Stephen Boyd and Lieven Vandenberghe, Convex Optimization, Cambridge University Press, 2004, §5.5, KKT optimality conditions.
  • Stanford EE364a, Duality, KKT conditions, Slater's condition, and optimality certificates, accessed 2026.
  • Jorge Nocedal and Stephen J. Wright, Numerical Optimization, 2nd ed., Springer, 2006, Ch. 12, constraint qualifications and first-order conditions.
关系图谱24 个相邻概念 · 2 类关系

拖动节点调整位置。

显示关系

显示:依赖

  1. 前置三跳
  2. 前置二跳
  3. 前置一跳
  4. 当前条目
  5. 后续一跳
  6. 后续二跳
  7. 后续三跳
文字版关系按与当前条目的最短距离分组
类型化关系