Lipschitz 梯度

梯度是局部最陡方向，Lipschitz 条件限制这个方向场转动和伸缩的速度。移动距离 $r$ 时，斜率最多改变 $Lr$；于是当前梯度在附近不会突然翻转成任意大的向量。一阶 Taylor 余项因此能被统一的二次量控制，这比“梯度连续”强得多：连续性只保证每个点附近能控制变化，却不给所有位置共用的线性模数。

$L$ 可以理解为最坏曲率尺度，而不是平均曲率。优化算法用 $1/L$ 一类步长，是因为必须对最坏方向安全；若大多数方向平缓但有一个方向曲率很大，那个方向仍决定全局固定步长。常数也依赖坐标。令 $g(z)=f(sz)$，其中 $s\ne 0$，则 $\mathrm{\nabla }g(z)=s\mathrm{\nabla }f(sz)$，所以原来的常数 $L$ 变为 $s^{2}L$。变量缩放两次进入估计：一次来自链式法则，一次来自点间距离。范数选择与目标乘常数也会改变它。报告“梯度是 Lipschitz 的”却不说明区域和范数，往往不足以复核步长结论。

对 $n\ge 1$ 的二次函数 $f:{\mathbb{R}}^n\to \mathbb{R}$、$f(x)=\frac{1}{2}{x}^{\mathrm{\top }}Ax+b^{\mathrm{\top }}x$，其中 $A=A^{\mathrm{\top }}$，有

故最小欧氏常数是 $\Vert A{\Vert }_2=\underset{i}{max}|{\lambda }_i(A)|$。零维情形的梯度映射及其算子范数均为零，不使用空特征值列表上的最大值。取 $A=\mathrm{diag}(3,-1)$，则 $L=3$。沿 $e_1$ 方向比值为 $3$，沿 $e_2$ 为 $1$；同时 $e_2^{\mathrm{\top }}A{e}_2=-1<0$，所以该函数非凸。这一例子把“梯度变化有上界”与“曲率非负”明确分开。

$f(x)=x^4$ 的梯度 $4x^3$ 在 $[-R,R]$ 上可取 $L=12R^2$，因为 $|f^{″}(x)|\le 12R^2$；在整条实线上没有有限常数。即使处处可微也未必满足该条件：$f(x)=|x{|}^{3/2}$ 的导数在零点连续，但 $|f^{\prime }(t)-f^{\prime }(0)|/|t|=3/(2\sqrt{|t|})$ 无界，所以任何包含零点的邻域都没有有限 $L$。$f(x)=|x|$ 则更早就失败，因为零点根本没有梯度。另一个易错边界是只沿迭代轨迹采样斜率差：有限个观测比值都小于 $\hat{L}$，并不能证明未访问区域也满足该上界。若把真实 $L$ 错估得过小，所有依赖二次余项的下降证书都会失效；回溯搜索的用途正是动态扩大估计，直到局部不等式真正通过。

沿线段写 $d=y-x$，微积分基本定理理路微积分基本定理Fundamental theorem of calculus积分与求导在适当连续性条件下互为逆过程。给

用 Lipschitz 条件和对偶 Hölder 不等式估计被积函数为 $Lt\Vert d{\Vert }^2$，积分得到余项绝对值至多 $L\Vert d{\Vert }^2/2$。取上侧就是下降引理理路下降引理Descent lemma · Quadratic upper-bound lemma以 Lipschitz 梯度常数给出函数相对一阶模型的全局二次上界。；这一证明只用梯度 Lipschitz，不用凸性。若再加凸性，则一阶余项非负，并可得到更强的余单调关系。

数值上，$L$ 控制显式梯度更新的稳定区间、加速方法的动量参数以及复合方法的前向步。局部 Lipschitz 梯度只支持留在相应邻域内的结论；要证明全局迭代，必须另证所有点不离开该区域，或用线搜索逐步验证局部模型。梯度范数小也不由本条件单独推出接近全局最优：在非凸例子中，它至多提示接近驻点。