Skip to content

算法Algorithm

前向—后向算子分裂

Forward-backward splitting · Forward backward operator splitting

把极大单调包含拆成一次便宜的显式余单调步和一次预解步,以直接Fejér不等式证明收敛,并用非梯度旋转和步长端点说明边界。

整个平衡关系的隐式方程可能很难解,但其中一部分容易直接求值,另一部分容易求预解。前向—后向分裂让它们各做擅长的事。需要检查的是显式部分能否安全前进;“它单调而且Lipschitz”还不够抵住旋转。

形式陈述 ​

一次显式求值与一次隐式求解 ​

在有限维实欧氏空间中,设 A:Rd⇉Rd 为极大单调算子。设 B:Rd→Rd 全域单值,并存在 β>0使

(1)⟨Bx−By,x−y⟩≥β‖Bx−By‖2.

式(1)称 β-余单调性,也称逆强单调性。假定零点集 Z={x:0∈Ax+Bx} 非空,固定 0<γ<2β,从任意 x0执行

(2)xk+1=JγA(xk−γBxk),JγA=(I+γA)−1.

极大单调性保证预解全域单值,每轮可执行。更新点收敛到 Z中的某一点。本页不要求 A或B来自凸目标,因此一般输出是包含关系的解,而不是某个未定义函数的极小点。

直接由预解定义可见,式(2)的固定点恰好满足 −Bx∈Ax。单调性、零点存在、步长和计算精确性分别承担不同责任,不能彼此替代。

直觉

余单调比单调Lipschitz多付了什么 ​

由Cauchy–Schwarz不等式,式(1)推出 ‖Bx−By‖≤‖x−y‖/β。它不仅限制输出差的长度,还要求这份输出差沿位移方向支付足够正内积。

对普通旋转 J(x1,x2)=(−x2,x1),内积 ⟨Jh,h⟩=0,长度却为 ‖h‖,所以没有任何正 β使式(1)成立。另一方面,全空间上的$L$-光滑凸函数梯度具有 β=1/L的余单调性,因而允许作为这里的显式部分。

从预解稳定性得到一条完整预算 ​

固定任意零点 z,一轮记 p=JγA(x−γBx)、d=x−p、b=Bx−Bz。预解牢固非扩张性给

‖p−z‖2≤‖x−z‖2−‖d‖2−2γ⟨p−z,b⟩.

将 p−z=x−z−d代入,并使用式(1),得到

(3)‖p−z‖2≤‖x−z‖2−‖d‖2−2γβ‖b‖2+2γ⟨d,b⟩=‖x−z‖2−(1−γ2β)‖d‖2−2γβ‖b−d2β‖2.

这项配方解释了步长上界:严格小于 2β时,距离减少必须支付一份正的位移平方。舍去最后一项并求和,轨道有界,且 xk+1−xk→0。

映射 T=JγA(I−γB)连续,因为预解非扩张、B为Lipschitz。有限维Bolzano–Weierstrass定理给出聚点 x¯;位移趋零使 Tx¯=x¯。式(3)对该零点仍成立,因此到 x¯的距离非增且沿子列趋零,整列便趋于 x¯。这个证明只调用有限维紧致性,不声称任意Hilbert空间中有范数收敛。

例子与边界

没有凸势的显式部分仍然可用 ​

取 A=0,B=I+J,即 B(x1,x2)=(x1−x2,x1+x2)。对任意差 h,

⟨Bh,h⟩=‖h‖2,‖Bh‖2=2‖h‖2.

所以最大可用余单调系数是 β=1/2。B的矩阵不对称,不能是可微标量势的梯度;这个例子已超出凸目标近端梯度的定义。

取 γ=1/2,x0=(1,0),因 JγA=I,有

x1=(1/2,−1/2),x2=(0,−1/2),x3=(−1/4,−1/4),x4=(−1/4,0).

每轮平方长度乘 1/2。阻尼部分 I支付旋转部分 J产生的长度,恰好使显式步稳定;若删掉阻尼只留 J,同样步长的长度反而每轮乘 5/4。

端点不能照抄,缩小步长也不能只看位移 ​

令 A=0,B=I,则 β=1。在端点 γ=2,更新为 xk+1=−xk,非零初值不收敛;超过端点则发散。此反例说明一般定理需要严格不等式,不是每个具体问题在端点都会失败。

若 B=0而A(x)={1},则任意正 β都满足式(1),预解也处处存在,但零点集为空,迭代 xk+1=xk−γ持续平移。若擅自将固定步长换成可求和的小步长,又可能因为总推进有限而停在非解处,已有近端梯度页给出了这样的明确反例。

公式中的预解也不保证廉价。若计算 JγA需要内层迭代,存在唯一性不等于已经完成一次精确调用;近似误差须另外控制。

推论与应用

残差应在正确位置认证 ​

预解最优性给

ap=x−pγ−Bx∈Ap.

于是

(4)rp=x−pγ+Bp−Bx∈Ap+Bp,‖rp‖≤(1γ+1β)‖x−p‖.

这一项是在新点 p上的实际包含残差;仅报旧点位移并省掉步长,会把缩小步长误当作更接近平衡。由式(3),前 N轮中最小的位移平方满足

min0≤k<N‖xk−xk+1‖2≤‖x0−z‖2N(1−γ/(2β)).

给定一个已知的初始距离上界,就能把它与式(4)合成至少一个预测点的残差证书;它不是无需距离信息的目标函数误差界。

当 A=∂h,B=∇g,其中 hproper闭凸、g全域光滑凸时,JγA是近端算子,式(2)严格化为近端梯度法。此时才能另用目标结构证明函数值结论。更一般的 A可能是法锥或非次微分关系,B也可像阻尼旋转那样没有势。

每轮需要一次 B、一次 JγA及 O(d)向量运算和存储。若还要计算式(4),需新点处的 Bp,它可与下一轮共享。若只能提供单调Lipschitz条件而没有余单调性,可考虑Tseng校正:它用第二次场求值换取更弱的结构条件,更新式和残差位置也随之改变。

参考资料
  • Ernest K. Ryu and Stephen Boyd, A Primer on Monotone Operator Methods, Applied and Computational Mathematics15(1),3–43,2016,§7.1及§5的显式映射条件;本文在一般余单调假设下由式(3)直接配方证明。
  • Patrick L. Combettes and Jean-Christophe Pesquet, Fixed Point Strategies in Data Science,作者稿,§IV-A,Problem47与Proposition50(PDF第8–9页),一般余强单调前向部分的分裂。本文专限固定步长、精确更新和有限维点收敛,并自行保留完整配方余量。
关系图谱9 个相邻概念 · 3 类关系

拖动节点调整位置。

显示关系

显示:依赖

  1. 前置三跳
  2. 前置二跳
  3. 前置一跳
  4. 当前条目
  5. 后续一跳
  6. 后续二跳
  7. 后续三跳
文字版关系按与当前条目的最短距离分组
类型化关系