近端算子

形式陈述 ​

设 $H$ 为实 Hilbert 空间，$f:H\to \mathbb{R}\cup \{+\mathrm{\infty }\}$ 是 proper、下半连续的凸函数，$\lambda >0$。$f$ 的近端算子定义为

$${\mathrm{prox}}_{\lambda f}(x)=\underset{y\in H}{\mathrm{argmin}}\{f(y)+\frac{1}{2\lambda }\Vert y-x{\Vert }^2\}.$$

二次项使目标函数 $1/\lambda$-强凸，并在这些假设下保证极小点存在且唯一，所以 prox 是单值映射。记 $y={\mathrm{prox}}_{\lambda f}(x)$，利用次微分公理库次梯度与次微分Subgradient · Subdifferential以全局仿射下界刻画凸函数在不可微点的支撑斜率集合。最优性条件可得

$$0\in \partial f(y)+\frac{1}{\lambda }(y-x)⟺\frac{x-y}{\lambda }\in \partial f(y).$$

等价地，$P={\mathrm{prox}}_{\lambda f}=(I+\lambda \partial f{)}^{-1}$，即次微分算子的 resolvent。映射 $P$ 还是 firmly nonexpansive：

$$\Vert P(x)-P(z){\Vert }^2\le ⟨P(x)-P(z),x-z⟩.$$

直觉 ​

直接最小化 $f$ 只在意把函数值压低，二次项则为离输入 $x$ 太远收取代价。$\lambda$ 决定两者权衡：小 $\lambda$ 把新点紧紧拴在 $x$ 附近，大 $\lambda$ 更愿意为降低 $f$ 走远。它是投影的函数化推广——投影要求回到一个集合，prox 允许用任意闭凸函数为不同位置设置连续代价。与显式梯度步不同，prox 在新点 $y$ 处满足隐式最优性关系，因此即使 $f$ 不可微也仍有精确定义。

例子与边界 ​

若 $f={\delta }_C$ 是非空闭凸集 $C$ 的指标函数，那么优化只允许 $y\in C$，故

$${\mathrm{prox}}_{\lambda {\delta }_C}(x)=P_C(x),$$

而且结果与 $\lambda$ 无关。对一维 $f(y)=|y|$，逐区间检查最优性条件得到软阈值

$${\mathrm{prox}}_{\lambda |\cdot |}(x)=\mathrm{sign}(x)max\{|x|-\lambda ,0\}.$$

它在 $|x|\le \lambda$ 时直接返回零，展示了 ${\ell }_1$ 正则如何产生稀疏性。

若删去凸性，二次项未必能压过 $f$ 的非凸形状，argmin 可能有多个值。例如 $f(y)=0$ 在 $y=\pm 1$、其他位置为适当更大值时，输入 $x=0$ 可有两个同样好的近端点。即使在凸情形，定义良好也不等于存在便宜的闭式算法；某个函数的 prox 是否易算是额外的计算事实。最后，$x-\lambda \mathrm{\nabla }f(x)$ 是梯度步，一般不等于 ${\mathrm{prox}}_{\lambda f}(x)$。

推论与应用 ​

近端算子的固定点正是 $f$ 的最小点，因为 $x={\mathrm{prox}}_{\lambda f}(x)$ 等价于 $0\in \partial f(x)$。反复应用这个固定点关系便得到近端点方法公理库近端点方法Proximal point method · Proximal point algorithm反复精确求解带二次稳定项的子问题以逼近闭凸函数最小点的方法。。指标函数的特例把投影算法纳入同一语言，软阈值则构成稀疏回归与信号去噪的基本步骤。借助凸共轭公理库凸共轭与 Fenchel–Young 不等式Convex conjugate · Fenchel conjugate · Fenchel–Young inequality以线性函数的最佳配对代价定义共轭，并导出原变量与对偶变量间的基本不等式。还可得到 Moreau 分解，在适当缩放下把 $f$ 与 $f^{\ast }$ 的两个 prox 组合为输入 $x$；这些关系使原问题和对偶问题之间能够直接传递算法信息。

参考资料

• Neal Parikh and Stephen Boyd, Proximal Algorithms, Foundations and Trends in Optimization 1(3), 2014，§§1–2, proximal operators and examples。
• Heinz H. Bauschke and Patrick L. Combettes, Convex Analysis and Monotone Operator Theory in Hilbert Spaces, 2nd ed., Springer, 2017，Chs. 12 and 23。