整个平衡关系的隐式方程可能很难解,但其中一部分容易直接求值,另一部分容易求预解。前向—后向分裂让它们各做擅长的事。需要检查的是显式部分能否安全前进;“它单调而且Lipschitz”还不够抵住旋转。
形式陈述
一次显式求值与一次隐式求解
在有限维实欧氏空间中,设 A : R d ⇉ R d 为极大单调算子 理路 单调算子与极大单调性 Monotone operator · Maximal monotone operator · 极大单调算子 用图上的内积不等式统一凸次微分与旋转关系,并以极大性保证稳定隐式步对每个输入都有唯一解。 。设 B : R d → R d 全域单值,并存在 β > 0 使
(1) ⟨ B x − B y , x − y ⟩ ≥ β ‖ B x − B y ‖ 2 . 式(1)称 β -余单调性,也称逆强单调性。假定零点集 Z = { x : 0 ∈ A x + B x } 非空,固定 0 < γ < 2 β ,从任意 x 0 执行
(2) x k + 1 = J γ A ( x k − γ B x k ) , J γ A = ( I + γ A ) − 1 . 极大单调性保证预解全域单值,每轮可执行。更新点收敛到 Z 中的某一点。本页不要求 A 或B 来自凸目标,因此一般输出是包含关系的解,而不是某个未定义函数的极小点。
直接由预解定义可见,式(2)的固定点恰好满足 − B x ∈ A x 。单调性、零点存在、步长和计算精确性分别承担不同责任,不能彼此替代。
直觉
余单调比单调Lipschitz多付了什么
由Cauchy–Schwarz不等式 理路 Cauchy–Schwarz 不等式 Cauchy–Schwarz inequality · 柯西–施瓦茨不等式 内积的绝对值不超过两向量范数之积,且等号精确刻画线性相关。 ,式(1)推出 ‖ B x − B y ‖ ≤ ‖ x − y ‖ / β 。它不仅限制输出差的长度,还要求这份输出差沿位移方向支付足够正内积。
对普通旋转 J ( x 1 , x 2 ) = ( − x 2 , x 1 ) ,内积 ⟨ J h , h ⟩ = 0 ,长度却为 ‖ h ‖ ,所以没有任何正 β 使式(1)成立。另一方面,全空间上的$L$-光滑凸函数 理路 光滑凸函数 Smooth convex function · L-smooth convex function 同时具有凸性与全局 Lipschitz 梯度的函数类,其曲率被零与有限上界夹住。 梯度具有 β = 1 / L 的余单调性,因而允许作为这里的显式部分。
从预解稳定性得到一条完整预算
固定任意零点 z ,一轮记 p = J γ A ( x − γ B x ) 、d = x − p 、b = B x − B z 。预解牢固非扩张性给
‖ p − z ‖ 2 ≤ ‖ x − z ‖ 2 − ‖ d ‖ 2 − 2 γ ⟨ p − z , b ⟩ . 将 p − z = x − z − d 代入,并使用式(1),得到
(3) ‖ p − z ‖ 2 ≤ ‖ x − z ‖ 2 − ‖ d ‖ 2 − 2 γ β ‖ b ‖ 2 + 2 γ ⟨ d , b ⟩ = ‖ x − z ‖ 2 − ( 1 − γ 2 β ) ‖ d ‖ 2 − 2 γ β ‖ b − d 2 β ‖ 2 . 这项配方解释了步长上界:严格小于 2 β 时,距离减少必须支付一份正的位移平方。舍去最后一项并求和,轨道有界,且 x k + 1 − x k → 0 。
映射 T = J γ A ( I − γ B ) 连续,因为预解非扩张、B 为Lipschitz。有限维Bolzano–Weierstrass定理 理路 Bolzano–Weierstrass 定理 Bolzano–Weierstrass theorem 实数空间中的每个有界序列都存在收敛子列。 给出聚点 x ¯ ;位移趋零使 T x ¯ = x ¯ 。式(3)对该零点仍成立,因此到 x ¯ 的距离非增且沿子列趋零,整列便趋于 x ¯ 。这个证明只调用有限维紧致性,不声称任意Hilbert空间中有范数收敛。
例子与边界
没有凸势的显式部分仍然可用
取 A = 0 ,B = I + J ,即 B ( x 1 , x 2 ) = ( x 1 − x 2 , x 1 + x 2 ) 。对任意差 h ,
⟨ B h , h ⟩ = ‖ h ‖ 2 , ‖ B h ‖ 2 = 2 ‖ h ‖ 2 . 所以最大可用余单调系数是 β = 1 / 2 。B 的矩阵不对称,不能是可微标量势的梯度;这个例子已超出凸目标近端梯度的定义。
取 γ = 1 / 2 , x 0 = ( 1 , 0 ) ,因 J γ A = I ,有
x 1 = ( 1 / 2 , − 1 / 2 ) , x 2 = ( 0 , − 1 / 2 ) , x 3 = ( − 1 / 4 , − 1 / 4 ) , x 4 = ( − 1 / 4 , 0 ) . 每轮平方长度乘 1 / 2 。阻尼部分 I 支付旋转部分 J 产生的长度,恰好使显式步稳定;若删掉阻尼只留 J ,同样步长的长度反而每轮乘 5 / 4 。
端点不能照抄,缩小步长也不能只看位移
令 A = 0 , B = I ,则 β = 1 。在端点 γ = 2 ,更新为 x k + 1 = − x k ,非零初值不收敛;超过端点则发散。此反例说明一般定理需要严格不等式,不是每个具体问题在端点都会失败。
若 B = 0 而A ( x ) = { 1 } ,则任意正 β 都满足式(1),预解也处处存在,但零点集为空,迭代 x k + 1 = x k − γ 持续平移。若擅自将固定步长换成可求和的小步长,又可能因为总推进有限而停在非解处,已有近端梯度页 理路 近端梯度法 Proximal gradient method 对复合目标的光滑项取显式梯度步、对非光滑凸项取隐式近端步的算法。 给出了这样的明确反例。
公式中的预解也不保证廉价。若计算 J γ A 需要内层迭代,存在唯一性不等于已经完成一次精确调用;近似误差须另外控制。
推论与应用
残差应在正确位置认证
预解最优性给
a p = x − p γ − B x ∈ A p . 于是
(4) r p = x − p γ + B p − B x ∈ A p + B p , ‖ r p ‖ ≤ ( 1 γ + 1 β ) ‖ x − p ‖ . 这一项是在新点 p 上的实际包含残差;仅报旧点位移并省掉步长,会把缩小步长误当作更接近平衡。由式(3),前 N 轮中最小的位移平方满足
min 0 ≤ k < N ‖ x k − x k + 1 ‖ 2 ≤ ‖ x 0 − z ‖ 2 N ( 1 − γ / ( 2 β ) ) . 给定一个已知的初始距离上界,就能把它与式(4)合成至少一个预测点的残差证书;它不是无需距离信息的目标函数误差界。
当 A = ∂ h , B = ∇ g ,其中 h proper闭凸、g 全域光滑凸时,J γ A 是近端算子 理路 近端算子 Proximal operator · Proximity operator 在降低凸函数值与保持靠近输入点之间取得精确平衡的单值算子。 ,式(2)严格化为近端梯度法 理路 近端梯度法 Proximal gradient method 对复合目标的光滑项取显式梯度步、对非光滑凸项取隐式近端步的算法。 。此时才能另用目标结构证明函数值结论。更一般的 A 可能是法锥或非次微分关系,B 也可像阻尼旋转那样没有势。
每轮需要一次 B 、一次 J γ A 及 O ( d ) 向量运算和存储。若还要计算式(4),需新点处的 B p ,它可与下一轮共享。若只能提供单调Lipschitz条件而没有余单调性,可考虑Tseng校正 理路 Tseng 前向—后向—前向分裂 Forward-backward-forward splitting · Tseng splitting · Modified forward-backward splitting 以一次预解和两次单调Lipschitz场求值修正前后分裂,证明Fejér下降与残差平方率,并说明校正点可能离开约束而预测点仍可行。 :它用第二次场求值换取更弱的结构条件,更新式和残差位置也随之改变。
参考资料