光滑凸函数

凸性说切平面永远位于图像下方，$L$-光滑性则说图像离开切平面的速度至多像曲率为 $L$ 的抛物面。二者合起来，把未知函数在当前点附近夹在“支撑平面”和“支撑平面加二次帽”之间。因此只知道 $f(x)$ 与 $\mathrm{\nabla }f(x)$，也能预先控制走一步后的最坏函数值，而不必猜测整张图像。

“光滑”在这里不是“有任意多阶导数”的口语。它要求梯度在整个讨论域上有统一变化上界；$C^{\mathrm{\infty }}$ 函数也可能没有全局有限的 $L$。反过来，梯度 Lipschitz 只控制曲率上界，并不强迫曲率为正；凸性是另一个独立条件。缩放目标也会缩放常数：若 $f\in {\mathcal{F}}_L$ 且 $a>0$，则 $af\in {\mathcal{F}}_{aL}$，所以步长不能脱离目标尺度讨论。

余单调不等式还有一个算法直觉：梯度差不会主要横着摆动，而是必须在位移方向上支付足够内积。这正是映射 $I-\mathrm{\nabla }f/L$ 非扩张的来源。它比单纯的 $\Vert \mathrm{\nabla }f(x)-\mathrm{\nabla }f(y)\Vert \le L\Vert x-y\Vert$ 多用了凸性，不能移植到一般非凸光滑函数。

对 $n\ge 1$，考虑 ${\mathbb{R}}^n$ 上的二次函数

满足 $\mathrm{\nabla }f(x)=Qx+b$，最小的非负梯度 Lipschitz 界是 ${\lambda }_{max}(Q)$。若 $Q=0$，这个最优界为零，而本页定义要求的任意正 $L$ 都有效。取 $Q=\mathrm{diag}(1,4)$、$b=(-2,0{)}^{\mathrm{\top }}$，则 $L=4$，唯一极小点为 $(2,0)$。沿 $e_2$ 方向有

所以常数 $4$ 不是松估计；沿 $e_1$ 的比值仅为 $1$。在 $x=(0,1)$ 处，切平面余量对增量 $h=(2,-1)$ 恰为 $\frac{1}{2}{h}^{\mathrm{\top }}Qh=4$，而二次上界给 $\frac{L}{2}\Vert h{\Vert }^2=10$，可直接核对夹逼。

边界要分三种。$f(x)=x^4$ 凸且无限可微，但 $f^{″}(x)=12x^2$ 无全局上界，因此在 $\mathbb{R}$ 上不属于任何 ${\mathcal{F}}_L$；限制到 $(-R,R)$（$R>0$）后才可取 $L=12R^2$。$f(x)=|x|$ 凸却在零点不可微，也不属于本页函数类。$f(x)=\sin x$ 的导数是 $1$-Lipschitz，却不是凸函数，说明 Lipschitz 梯度本身不能推出全局最优结构。若 $L$ 被低估，基于二次上界选择的固定步长就可能失去下降保证；若高估很多，结论仍正确但迭代会不必要地保守。

对定义在整个 ${\mathbb{R}}^n$ 上的 $L$-光滑凸函数，取梯度步 $x^{+}=x-\mathrm{\nabla }f(x)/L$，二次上界立刻给

若函数只定义在开凸集 $C$ 上，还须先保证 $x^{+}\in C$。例如 $f(x)=x$ 在 $(0,1)$ 上满足任意正 $L$ 的梯度 Lipschitz 界，但从 $x=1/2$ 取 $L=1$ 会走到 $-1/2$，已经离开定义域。这条可观测下降把函数值差、梯度范数和迭代复杂度连接起来，是后续梯度下降收敛定理理路梯度下降收敛定理Gradient descent convergence theorem · Convergence rate of gradient descent分别给出光滑凸与光滑强凸目标上梯度下降的次线性和几何函数值收敛率。的基本接口。若再有强凸下界，曲率被 $\mu I$ 与 $LI$ 双向夹住，条件数 $\kappa =L/\mu$ 才出现；只有光滑凸性时，极小点可以不唯一，不能宣称迭代点按几何速度收敛。

余单调性还说明 $\mathrm{\nabla }f/L$ 是 firmly nonexpansive，从而可用固定点几何分析梯度映射。复合优化中，光滑部分适合显式梯度步，非光滑但 prox 易算的部分适合隐式近端步；加速方法则利用同一个二次上模型，却以额外序列组织历史信息。所有这些算法都需要分别说明输入、步长和停止准则，函数类定义本身不包含某一种实现。