次梯度与次微分

形式陈述 ​

设 $f:X\to \mathbb{R}\cup \{+\mathrm{\infty }\}$ 是实内积空间上的 proper 凸函数公理库凸函数Convex function函数在任意凸组合处不超过相同权重下函数值的凸组合。，且 $x\in \mathrm{dom}f$。若向量 $g$ 对所有 $y\in X$ 都满足

$$f(y)\ge f(x)+⟨g,y-x⟩,$$

则称 $g$ 是 $f$ 在 $x$ 处的次梯度。所有次梯度组成次微分

$$\partial f(x)=\{g:f(y)\ge f(x)+⟨g,y-x⟩\text{对所有 }y\}.$$

若 $f$ 在 $x$ 的开邻域可微，则 $\partial f(x)=\{\mathrm{\nabla }f(x)\}$。对 proper 凸函数，

$$0\in \partial f(x)⟺x\in \mathrm{argmin}f,$$

因为次梯度不等式在 $g=0$ 时正是全局最小性。次微分可以为空；在有限维中，proper 凸函数在定义域相对内部的点具有非空次微分，但定义域边界没有这一无条件保证。

直觉 ​

普通梯度用切平面描述光滑图像的局部一阶变化；次梯度要求更强：对应的仿射平面必须从下方支撑整张凸图像。尖点可能容纳一整束支撑斜率，所以“次梯度”通常不是唯一向量。它也不是任意方向导数：方向导数描述沿某个方向怎样变化，次梯度则同时对所有 $y$ 给出一条全局下界。正因为约束是全局的，包含零斜率便足以认证全局最优。

例子与边界 ​

对 $f(x)=|x|$，当 $x>0$ 时 $\partial f(x)=\{1\}$，当 $x<0$ 时为 $\{-1\}$。在尖点 $x=0$，不等式 $|y|\ge gy$ 对所有 $y$ 成立恰要求 $g\in [-1,1]$，故

$$\partial |\cdot |(0)=[-1,1].$$

区间包含零，所以零点是全局最小点；这比给 $|x|$ 人为指定一个“导数”更准确。

边界处次微分确实可能为空。令 $f(x)=-\sqrt{x}$（$x\ge 0$），并在 $x<0$ 取 $+\mathrm{\infty }$；这是 proper 闭凸函数。若 $g\in \partial f(0)$，则对所有 $y>0$ 要有 $-\sqrt{y}\ge gy$，即 $g\le -1/\sqrt{y}$，不存在有限 $g$ 能对趋近零的所有 $y$ 成立。非凸函数也有 Clarke 次微分等广义概念，但它们使用不同定义与演算规则，不属于本页对象。

推论与应用 ​

Fenchel–Young 不等式公理库凸共轭与 Fenchel–Young 不等式Convex conjugate · Fenchel conjugate · Fenchel–Young inequality以线性函数的最佳配对代价定义共轭，并导出原变量与对偶变量间的基本不等式。取等当且仅当 $g\in \partial f(x)$，这把支撑斜率与对偶变量精确对应。约束集的指标函数之次微分是法锥，于是约束最优性可统一写成“目标次微分加法锥包含零”。近端算子公理库近端算子Proximal operator · Proximity operator在降低凸函数值与保持靠近输入点之间取得精确平衡的单值算子。的最优性条件 $(x-y)/\lambda \in \partial f(y)$ 又把不可微最小化转成一个次微分关系。次梯度法、稀疏正则化和凸对偶都依赖这一接口，但非光滑处的次梯度不唯一意味着算法还需要明确选择规则与步长条件。

参考资料

• R. Tyrrell Rockafellar, Convex Analysis, Princeton University Press, 1970，§§23–25, subgradients and subdifferentiation。
• Stephen Boyd and Lieven Vandenberghe, Convex Optimization, Cambridge University Press, 2004，§3.1.3 and §5.5, first-order conditions and optimality。