形式陈述
设 为实 Hilbert 空间, 是 proper、下半连续的凸函数,。 的近端算子定义为
二次项使目标函数 -强凸,并在这些假设下保证极小点存在且唯一,所以 prox 是单值映射。记 ,利用次微分公理库次梯度与次微分Subgradient · Subdifferential以全局仿射下界刻画凸函数在不可微点的支撑斜率集合。最优性条件可得
等价地,,即次微分算子的 resolvent。映射 还是 firmly nonexpansive:
直觉
直接最小化 只在意把函数值压低,二次项则为离输入 太远收取代价。 决定两者权衡:小 把新点紧紧拴在 附近,大 更愿意为降低 走远。它是投影的函数化推广——投影要求回到一个集合,prox 允许用任意闭凸函数为不同位置设置连续代价。与显式梯度步不同,prox 在新点 处满足隐式最优性关系,因此即使 不可微也仍有精确定义。
例子与边界
若 是非空闭凸集 的指标函数,那么优化只允许 ,故
而且结果与 无关。对一维 ,逐区间检查最优性条件得到软阈值
它在 时直接返回零,展示了 正则如何产生稀疏性。
若删去凸性,二次项未必能压过 的非凸形状,argmin 可能有多个值。例如 在 、其他位置为适当更大值时,输入 可有两个同样好的近端点。即使在凸情形,定义良好也不等于存在便宜的闭式算法;某个函数的 prox 是否易算是额外的计算事实。最后, 是梯度步,一般不等于 。
推论与应用
近端算子的固定点正是 的最小点,因为 等价于 。反复应用这个固定点关系便得到近端点方法公理库近端点方法Proximal point method · Proximal point algorithm反复精确求解带二次稳定项的子问题以逼近闭凸函数最小点的方法。。指标函数的特例把投影算法纳入同一语言,软阈值则构成稀疏回归与信号去噪的基本步骤。借助凸共轭公理库凸共轭与 Fenchel–Young 不等式Convex conjugate · Fenchel conjugate · Fenchel–Young inequality以线性函数的最佳配对代价定义共轭,并导出原变量与对偶变量间的基本不等式。还可得到 Moreau 分解,在适当缩放下把 与 的两个 prox 组合为输入 ;这些关系使原问题和对偶问题之间能够直接传递算法信息。
参考资料
- Neal Parikh and Stephen Boyd, Proximal Algorithms, Foundations and Trends in Optimization 1(3), 2014,§§1–2, proximal operators and examples。
- Heinz H. Bauschke and Patrick L. Combettes, Convex Analysis and Monotone Operator Theory in Hilbert Spaces, 2nd ed., Springer, 2017,Chs. 12 and 23。