序列二次规划

约束曲面先被切平面替代。目标的线性项决定沿切平面的推动，二次项衡量沿这张局部约束几何移动的成本。曲面本身也在弯，因此正确的二阶信息来自目标与约束共同组成的 Lagrangian，而不只是 ${\mathrm{\nabla }}^{2}f$。

QP 给出在直线约束上合理的步，真实曲面却在步末偏离那条直线。即使从可行点出发，新点一般也会不可行；小步的误差是二阶量，但大步的二阶量可以很大。外层的作用是同时管理目标下降和真实违约。

一步 QP，完整步被拒绝，半步通过 ​

取

从可行点 $z_0=(3/5,4/5)$ 与乘子 ${\lambda }_0=1/5$ 出发。此时

QP 要求 $(3/5)p_x+(4/5)p_y=0$。解块方程得到

核对 $J_{0}p=0$，但完整候选 $z_0+p=(5/3,0)$ 的真实约束误差为 $16/9$。对单位圆，因 $c(z_0)=0,J_{0}p=0$，恰有

采用精确 ℓ1 罚公理库精确 ℓ1 罚函数Exact l1 penalty以约束违背的绝对值和正部构造有限参数即可精确的罚函数，并说明乘子阈值、非光滑最优性与局部全局边界。作验收函数 $\mathrm{\Phi }(z)=f(z)+2|c(z)|$。当前点的函数值为 $\mathrm{\Phi }(z_0)=13/5$。完整候选虽然把目标降到 $1/9$，违约罚金却使 $\mathrm{\Phi }(z_0+p)=11/3$，所以拒绝。

取半步，得到 $z_{+}=(17/15,2/5)$、$c(z_{+})=4/9$、$f(z_{+})=41/45$，于是 $\mathrm{\Phi }(z_{+})=9/5$。在当前可行点，方向导数为

以 Armijo 系数 ${10}^{-1}$ 检查半步：

因此半步通过。新点仍不在圆上，下一轮必须重新计算约束与 Jacobian，不能宣布可行性已经恢复。

若只用目标 Hessian ​

本例 ${\mathrm{\nabla }}^{2}f=2I$。若把它替换进同一个 QP，方向变成 $(32/25,-24/25)$，长度为 $8/5$，比 Lagrangian 步的 $4/3$ 更大。这个方向依然满足切线约束，但完整步的圆约束误差为 $64/25$。忽略约束曲率改变了算法，即使偶尔仍能下降，也不再是对完整 KKT 方程的精确 Newton 步。

最优点为 $(1,0)$，对应 ${\lambda }_{\ast }=1$。目标 Hessian 是 $2I$，而该点 Lagrangian Hessian 是 $4I$；约束曲率在极限处也没有自动消失。

从 KKT Newton 方程推导 SQP ​

等式KKT 方程公理库KKT 条件Karush–Kuhn–Tucker conditions · KKT conditions用可行性、乘子符号、互补松弛与驻点方程刻画约束最优性的条件。写作

它的 Jacobian 为

对 $F=0$ 作Newton 迭代公理库Newton 非线性方程法Newton's method · Newton-Raphson method · Newton method for nonlinear systems在当前点解一阶线性化方程来修正非线性方程的近似解，并分析其局部二次收敛与失效边界。，未知量是 $(p,\delta \lambda )$。把第一行的 $J_c^T\lambda$ 移项，并令 $\hat{\lambda }=\lambda +\delta \lambda$，就得到前面 QP 的块方程。这一步直接解释了为何二阶块必须是 ${\mathrm{\nabla }}^{2}L$。

设解处 $J_c$ 满行秩，并且 $B_{\ast }={\mathrm{\nabla }}_{xx}^{2}L(x_{\ast },{\lambda }_{\ast })$ 在 $\ker J_c$ 上正定。若块矩阵把 $(u,v)$ 映为零，第二行给出 $J_{c}u=0$；第一行左乘 $u^T$ 得 $u^T{B}_{\ast }u=0$，故 $u=0$，再由满行秩得 $v=0$。因此 KKT Jacobian 非奇异。若它在邻域内 Lipschitz 连续，精确完整步从足够近的初值出发便有局部至少二次的误差上界。仅有 $C^2$ 连续性时，不能凭空添加同样的二次速率。

全局化需要额外规则 ​

对等式罚函数 ${\mathrm{\Phi }}_{\rho }=f+\rho \Vert c{\Vert }_1$，QP 的线性化约束给出 $Jp=-c$，其方向导数满足

若 $B\succ 0$ 且 $\rho >\Vert \hat{\lambda }{\Vert }_{\mathrm{\infty }}$，由 QP 驻点式可得

除非方向与违约都为零。这为回溯验收提供下降方向。原始精确 Lagrangian Hessian 未必全空间正定；全局化版本可以作曲率修正，或使用明确的信赖域 QP。修改后的算法要按自己的假设分析。

线性化还可能根本不可行。例如 $c(x)=x^2-1$ 在 $x=0$ 给出 $-1+0p=0$，无解。此时应触发约束恢复或弹性 QP，而不是尝试求一个不存在的方向。即使靠近正则解，ℓ1 验收也可能因二阶约束误差拒绝完整 Newton 步，即 Maratos 现象；二阶校正可用于恢复快速局部行为。前面的局部完整步定理不自动保证任意罚函数线搜索最终都接受一步。

计算与终止 ​

等式版本直接稠密分解的成本为 $O((n+m{)}^3)$；不等式 QP 还有工作集或内点迭代的成本。拟 Newton 版本可用BFGS公理库BFGS 更新BFGS update · Broyden-Fletcher-Goldfarb-Shanno update以满足割线方程的对称秩至多二的修正更新 Hessian 或逆 Hessian 正定近似。近似 Lagrangian 曲率，但梯度差应在同一个新乘子下比较两个原变量位置，而不是机械使用目标梯度差。

最终需要检查真实原约束、乘子符号、互补性和 Lagrangian 驻点残差。QP 内层已经收敛，只说明局部模型被解好；一个很小的阻尼步，也可能只是罚函数或线性化出了问题。记录这两层状态，才能判断应继续 SQP、改善内层精度，还是进入约束恢复。