精确 ℓ1 罚函数

二次罚靠离开约束一定距离来产生反向斜率；绝对值罚在约束上就能提供一整段斜率。只要这段斜率足以抵消目标在约束法向上的推动，最优点就能准确停在约束上，不必等参数趋于无穷。

乘子衡量放松约束带来的边际收益。罚率超过这一收益时，微小违约赚到的目标改善不足以付罚金。ℓ1 违约对应乘子的 ℓ∞ 阈值，来自不等式 $|{\lambda }^{T}c|\le \Vert \lambda {\Vert }_{\mathrm{\infty }}\Vert c{\Vert }_1$；更换违约范数，也会更换相应的对偶范数。

阈值恰好是二 ​

考虑 $f(x)=(x-2{)}^2/2$、约束 $x=0$。原解为零，驻点式 $-2+\lambda =0$ 给出 ${\lambda }_{\ast }=2$。罚目标为

在 $x>0$ 分支，导数为 $x-2+\rho$，所以候选 $x=2-\rho$ 只有在 $\rho <2$ 时适用。在 $x<0$ 分支，导数为 $x-2-\rho$，其零点不在负半轴。最后检查尖点：

因此唯一最小点是 $x_{\rho }=max(2-\rho ,0)$。例如 $\rho =1$ 时为一，$\rho =2$ 和三时均为零。严格凸的平方项使本例在临界参数处仍唯一。

对比二次罚公理库二次罚函数法与病态性Quadratic penalty method将等式违背的平方加入目标，通过增大罚参数逼近可行解，并量化有限罚参数的偏差与内层 Hessian 的病态性。：$f(x)+\mu x^2/2$ 的最小点为 $2/(1+\mu )$，对所有有限 $\mu$ 都大于零。这是不同的法向斜率机制，不是求解器容差造成的区别。

为什么一般定理要求严格超过阈值 ​

取 $f(x)=-x$、约束 $x=0$。最优乘子为一。当 $\rho =1$ 时，$P_1(x)=-x+|x|$ 在整个 $[0,\mathrm{\infty })$ 上都等于零，所以包含无数不可行最小点；当 $\rho >1$ 时，两侧斜率都指向零，才只留下原解。

精确罚也不是“所有驻点都可行”。对非凸约束，罚目标仍可能有不可行驻点；对 $f(x)=-x^4,c(x)=x$，任何有限 $\rho$ 的罚目标在远处都趋于负无穷，虽然零附近存在精确的局部最低点。局部精确性不能替代全局可解性。

全局解集相同的短证明 ​

凸性和 KKT 保证 $L(x,{\lambda }_{\ast },{\nu }_{\ast })\ge f(x_{\ast })$ 对所有 $x$ 成立。逐项比较有

第二式在 $g_j\le 0$ 时左侧为 $-{\nu }_{\ast ,j}{g}_j\ge 0$，在 $g_j>0$ 时直接成立。相加得到

原问题的任意最优点可行，罚目标等于 $f(x_{\ast })$；而 $\rho >M$ 时，任何不可行点都有严格更大的罚目标。于是两个最优解集一致。证明同时给出违约证书：若 $P_{\rho }(x)-f(x_{\ast })\le \epsilon$，则 $v(x)\le \epsilon /(\rho -M)$。数值近似最小化仍只得到近似可行，精确性定理没有消除求解误差。

非凸等式问题中的局部版本 ​

设仅有光滑等式 $c(x)=0$，$J_c(x_{\ast })$ 满行秩，$(x_{\ast },{\lambda }_{\ast })$ 满足驻点式，而且

这是约束切空间上的二阶充分条件。可选一个足够大的有限 $a>0$，使 ${\mathrm{\nabla }}_{xx}^{2}L+a{J}_c^T{J}_c$ 正定：罚项控制法向，原来的二阶条件控制切向。因此 $x_{\ast }$ 是 $L(x,{\lambda }_{\ast })+a\Vert c(x){\Vert }^2/2$ 的严格局部最小点。

当 $\rho >\Vert {\lambda }_{\ast }{\Vert }_{\mathrm{\infty }}$ 时，在充分小的邻域内，

因为线性违约项压过二次小量。把这项加回前述严格局部最小关系，便证明 $x_{\ast }$ 也是 $P_{\rho }$ 的严格局部最小点。这里的局部结论由明确的正则性和二阶条件支撑，没有使用非凸问题的全局对偶下界。

怎样把精确罚用于算法 ​

罚率往往未知，可以用当前 QP 或 KKT 乘子估计作线索，再检查约束是否改善。固定点处的绝对值尖角不宜直接交给假设处处二阶光滑的 Newton 程序。对仿射约束，可以引入 $u_i\ge \pm c_i(x)$ 与 $w_j\ge g_j(x),w_j\ge 0$，最小化 $f(x)+\rho \sum _i{u}_i+\rho \sum _j{w}_j$；这样用额外变量显式表示非光滑项。

序列二次规划公理库序列二次规划Sequential quadratic programming · SQP将非线性约束线性化，以 Lagrangian 的曲率构造局部 QP，并通过乘子更新和罚函数验收控制真实约束误差。常把 $P_{\rho }$ 用作步长验收函数，同时计入目标与违约。它在此是一种求解工具。Lasso公理库Lasso 的最优性与对偶间隙Lasso optimality conditions · Lasso duality gap · Lasso primal-dual certificate从残差相关性核验 Lasso 的零与非零坐标，并用可行对偶值认证剩余优化误差。中的 ℓ1 则是希望保留的建模惩罚；虽然某些一维子问题都出现软阈值公理库近端算子Proximal operator · Proximity operator在降低凸函数值与保持靠近输入点之间取得精确平衡的单值算子。，两者对参数和最终目标的含义不同。