拉格朗日乘子法

在约束曲面内，只允许沿可行切向量移动。若 $v\in T_{x^{\ast }}M$，局部极值要求方向导数

为零。于是目标梯度垂直于整个切空间。

约束正则性通过隐函数定理公理库隐函数定理Implicit function theorem当相关偏导块可逆时，方程组局部可把部分变量表示为其余变量的函数。保证 $M$ 在 $x^{\ast }$ 附近是一张光滑的 $(n-m)$ 维曲面，并且

它的正交补由 $\mathrm{\nabla }{g}_1(x^{\ast }),\dots ,\mathrm{\nabla }{g}_m(x^{\ast })$ 张成。因此，“目标梯度垂直于所有可行方向”恰好等价于“目标梯度是约束梯度的线性组合”。乘子就是这组展开系数。

二维图像中，约束曲线与目标函数等高线在极值点相切；两条曲线的法向量因而共线。更一般地，$m$ 个约束的梯度共同张成法空间。这个几何解释比记忆联立方程更稳固，因为它直接说明正则性为何必要、乘子为何出现。

在单位圆

上极值化 $f(x,y)=x+y$。令 $g(x,y)=x^2+y^2-1$，乘子方程为

因此 $x=y$。与约束联立得到

比较函数值后，前者给出最大值 $\sqrt{2}$，后者给出最小值 $-\sqrt{2}$。乘子方程只负责定位可能发生相切的位置；极值类型仍需比较函数值或使用二阶条件。

正则性不能省略。约束

只包含原点，但 $\mathrm{\nabla }g(0,0)=0$。对 $f(x,y)=x$，原点在这个单点约束集上同时是极大与极小，却不存在 $\lambda$ 满足

这不是定理失效，而是约束表示在该点退化。带尖点的曲线和冗余约束会产生类似问题。

反方向也不成立。约束 $y=0$ 下考察 $f(x,y)=x^3$，原点满足乘子方程，却不是局部极值。必要条件只排除了可行的一阶下降方向；当一阶项消失时，还要检查更高阶行为。

不等式约束需要KKT 条件公理库KKT 条件Karush–Kuhn–Tucker conditions · KKT conditions用可行性、乘子符号、互补松弛与驻点方程刻画约束最优性的条件。。此时必须同时处理乘子的符号、互补松弛和约束资格，不能把 $g_i(x)\le 0$ 直接当成等式约束。活跃约束决定局部法空间，非活跃约束的乘子应为零。

把驻点方程与约束方程联立，会得到 $n+m$ 个未知数的非线性系统。数值上可以使用Newton 法公理库Newton 非线性方程法Newton's method · Newton-Raphson method · Newton method for nonlinear systems在当前点解一阶线性化方程来修正非线性方程的近似解，并分析其局部二次收敛与失效边界。或序列二次规划求解，但仍需另行处理初值、Jacobian 奇异、全局化与候选点筛选。拉格朗日乘子法是一套结构条件，不是自动保证收敛的算法。

在线性代数中，在单位球面上极值化对称二次型

会得到

乘子正是特征值，目标值则是 Rayleigh 商。最大、最小特征值的变分刻画由此出现。

在统计与信息论中，归一化、矩约束和守恒条件经常通过乘子进入最优化。最大熵问题在固定期望约束下导出指数族分布。若进一步把乘子视为对偶变量，并要求得到全局下界证书，就进入拉格朗日对偶公理库拉格朗日对偶Lagrange duality通过拉格朗日函数构造原问题下界的对偶问题，并研究弱对偶、强对偶与最优性条件。；那里的弱对偶、强对偶和 KKT 充分性需要凸性与约束资格，不能由本页的一阶必要条件直接推出。

在灵敏度分析中，若约束写为 $g_i(x)=c_i$，适当正则条件下，最优值对 $c_i$ 的一阶变化由相应乘子描述。乘子因此具有“影子价格”解释，但符号取决于 Lagrangian 的约定，使用经济含义前必须统一正负号。