Moreau 包络 | Codeboy's Blog

形式陈述

设 $f:\mathbb R^n\to\mathbb R\cup\{+\infty\}$ 为 proper、下半连续凸函数， $\lambda>0$ 。它的 Moreau 包络定义为

e_\lambda f(x) =\inf_y\left\{f(y)+\frac1{2\lambda}\|y-x\|_2^2\right\}.

二次项使关于 $y$ 的子问题强凸，故极小点唯一，并等于近端算子 $p(x)=\operatorname{prox}_{\lambda f}(x)$ 。包络处处有限且连续可微，梯度为

\nabla e_\lambda f(x)=\frac1\lambda\bigl(x-p(x)\bigr).

由于 prox firmly nonexpansive， $I-p$ 也 firmly nonexpansive，因此包络具有常数 $1/\lambda$ 的Lipschitz 梯度。此外

e_\lambda f(x)\le f(x),\qquad \inf e_\lambda f=\inf f,\qquad \operatorname*{argmin}e_\lambda f=\operatorname*{argmin}f.

当 $\lambda\downarrow0$ 时，二次惩罚迫使 $p(x)$ 靠近 $x$ ，包络从下方点态逼近 $f$ ； $\lambda$ 越大则平滑越强、下偏越明显。

直觉

在每个查询点 $x$ ，包络不直接读取 $f(x)$ ，而是在所有候选 $y$ 中寻找“函数值低且离 $x$ 不太远”的最佳折中。最优候选 $p(x)$ 给包络值，位移 $x-p(x)$ 则给斜率。即使原函数有尖角，二次惩罚使最优候选随 $x$ 稳定移动，于是尖角被圆滑成可微过渡区。

$\lambda$ 同时控制两件相反的事：小 $\lambda$ 保真但梯度常数 $1/\lambda$ 大，数值步长更受限；大 $\lambda$ 更平滑却把函数压得更低。包络并不是对数据做局部平均，而是一次精确的最小化卷积，所以它能保留全局极小点。计算梯度也并非免费：公式要求能够计算 prox；若近端子问题本身困难，写出光滑包络并没有消除计算成本。

例子与边界

取一维 $f(y)=|y|$ 。近端点是软阈值

p(x)=\operatorname{sign}(x)\max\{|x|-\lambda,0\},

代回可得 Huber 型包络

e_\lambda f(x)= \begin{cases} \dfrac{x^2}{2\lambda},&|x|\le\lambda,\\[4pt] |x|-\dfrac\lambda2,&|x|>\lambda. \end{cases}

其导数在内区间为 $x/\lambda$ ，外区间为 $\operatorname{sign}(x)$ ，在 $x=\pm\lambda$ 连续；斜率变化的最大比值正是 $1/\lambda$ 。例如 $\lambda=2,x=3$ 时， $p(x)=1$ ，包络值 $1+(3-1)^2/4=2$ ，也等于 $3-1$ ，可直接复算。

若 $f=\delta_C$ 是非空闭凸集的指标函数，则 $e_\lambda f(x)=\operatorname{dist}(x,C)^2/(2\lambda)$ ，把硬约束变成平方距离。凸性不可随意删除：非凸 $f$ 的近端点可能多值，包络也可能不可微。即使在凸情形， $e_\lambda f(x)\le f(x)$ 不表示它在每一点都近似良好；靠近陡峭跳变或取大 $\lambda$ 时偏差可以显著。包络保留极小点，但不保留所有函数值、Hessian 或统计解释。

推论与应用

梯度公式把不可微最优性变成光滑残差：

\nabla e_\lambda f(x)=0 \Longleftrightarrow x=\operatorname{prox}_{\lambda f}(x) \Longleftrightarrow 0\in\partial f(x).

因此可用 $\|x-p(x)\|/\lambda$ 衡量离凸极小点的程度。对集合指标函数，这就是点到其投影的缩放向量；对 $|x|$ ，它在尖角附近线性连续地替代不连续的符号次梯度。Moreau 分解还把 $f$ 与其凸共轭的 prox 连接起来，形成原—对偶残差分解。

需要区分包络梯度下降与近端梯度法。前者对整个 $f$ 计算 prox 后沿 $e_\lambda f$ 的梯度移动；后者针对 $g+h$ ，只对 $h$ 取 prox、对光滑的 $g$ 取显式梯度。二者都出现 $x-\operatorname{prox}(x)$ ，但子问题、固定点和收敛常数不同。Moreau 平滑还用于单调算子的 Yosida 逼近和增广 Lagrangian 分析，不过必须把 prox 求解误差纳入最终证书。

参考资料

Jean-Jacques Moreau, “Proximité et dualité dans un espace hilbertien,” Bulletin de la Société Mathématique de France 93, 1965, 273–299。
Heinz H. Bauschke and Patrick L. Combettes, Convex Analysis and Monotone Operator Theory in Hilbert Spaces, 2nd ed., Springer, 2017，Ch. 12 and Proposition 12.30，Moreau envelopes and gradients。
Neal Parikh and Stephen Boyd, Proximal Algorithms, Foundations and Trends in Optimization 1(3), 2014，§§3.1–3.2，Moreau envelope and decomposition。

形式陈述 ​

反向链接

形式陈述