下降引理

在当前点只看到切平面时，真正函数可能向上弯曲；下降引理用曲率预算 $L$ 给切平面罩上一顶二次抛物帽，保证图像不会穿出。沿负梯度方向，线性项贡献 $-\alpha \Vert \mathrm{\nabla }f(x){\Vert }^2$，二次帽则收回 $L{\alpha }^2\Vert \mathrm{\nabla }f(x){\Vert }^2/2$。只要前者占优，就得到可核验的下降。

这条论证解释了为什么固定步长与 $L$ 成反比，也解释了边界 $2/L$：步长太大时，局部下降方向可能跨过谷底，二次曲率造成的反弹抵消一阶收益。常用 $1/L$ 不是唯一可行值，而是让保证式中的下降量达到最大。引理约束单步函数值，不承诺序列收敛到极小点；要从“每步下降”推到“全局最优速率”，还需要下界、凸性或强凸性等额外结构。

取一维二次函数 $f(x)=2x^2$，其梯度 $4x$ 的最小 Lipschitz 常数为 $L=4$。从 $x=1$ 以 $\alpha =1/L=1/4$ 更新得到 $y=0$，引理的保证为

此例恰好取等号。若误把常数估成 $\hat{L}=2$ 并取步长 $1/\hat{L}=1/2$，则 $y=-1$、$f(y)=2$，实际没有下降；基于错误常数的伪计算却会声称 $f(y)\le -2$。这不是保守程度差异，而是前提已被破坏。

对非凸函数 $f(x)=\sin x$，梯度 $\cos x$ 为 $1$-Lipschitz，故同一引理仍成立，说明它不是凸优化专属定理。但下降序列可能停在局部极小点，不能据此得到全局最优。若梯度只在某个邻域 Lipschitz，更新跨出邻域后也不能继续套用同一个 $L$。例如用 $g+e$ 代替精确梯度 $g=\mathrm{\nabla }f(x)$，并取 $y=x-(g+e)/L$，代入同一上界、展开平方可得

这里仍须 $y\in C$、$L>0$。若误差与真实梯度一样大，保证下降量就可能归零。这解释了接近驻点时为什么需要更精确的梯度，而不能把精确公式原样套给随机或有限差分梯度。

令 $g=\mathrm{\nabla }f(x)$。关于步长 $\alpha$ 的保证下降量

当 $L>0$ 时，它在 $\alpha =1/L$ 处最大，值为 $\Vert g{\Vert }^2/(2L)$。于是梯度下降理路梯度下降法Gradient descent method · Euclidean steepest descent method反复沿当前负梯度方向取步以降低可微目标的基础一阶算法。只要使用正的有效常数就获得单调函数值序列；对有下界的非凸目标，固定用 $\alpha =1/L$ 时，求和得到 $\sum _{k=0}^{N-1}\Vert \mathrm{\nabla }f(x_k){\Vert }^2\le 2L(f(x_0)-inff)$，从而推出 $\sum _k\Vert \mathrm{\nabla }f(x_k){\Vert }^2<\mathrm{\infty }$，进而梯度范数趋零，但仍不等于迭代点或全局最优值收敛。

回溯线搜索可以不预先知道全局 $L$：从候选步长开始缩小，直到实际函数值满足同型二次上界。近端梯度分析则把线性项与光滑部分的二次帽，加上非光滑部分的近端最优性不等式。加速法也依赖二次上模型，不过其函数值未必逐步单调；不能用本引理单独解释动量序列的整体势函数下降。