Skip to content

定义Definition

单调算子与极大单调性

Monotone operator · Maximal monotone operator · 极大单调算子

用图上的内积不等式统一凸次微分与旋转关系,并以极大性保证稳定隐式步对每个输入都有唯一解。

形式陈述 ​

设 H 是实Hilbert 空间,A:H⇉H 是集合值算子:每个 x 对应一个集合 Ax⊆H,允许为空。它的图为

graA={(x,u)∈H×H:u∈Ax}.

若任意 (x,u),(y,v)∈graA 都满足

⟨x−y,u−v⟩≥0,

则称 A 为单调算子。若不存在严格包含 graA 的单调图,则称 A 为极大单调算子。这里的极大性按图的包含关系定义;它不要求每个 Ax 非空,也不要求输出的范数很大。

给定 λ>0,定义预解算子(resolvent)

JλA=(I+λA)−1,p∈JλAx⟺x∈p+λAp.

其定义域是 ran(I+λA)。逆号表示关系的逆,尚不能据此假定每个输入都有解。Minty 定理给出精确的存在性条件:对单调算子 A,极大单调性等价于对某个 λ>0 有 ran(I+λA)=H;此时该等式对每个 λ>0 都成立。

单调性怎样保证解唯一且稳定 ​

设 p∈JλAx、q∈JλAy。将 (x−p)/λ∈Ap 与 (y−q)/λ∈Aq 代入单调性,得到

0≤⟨p−q,x−p−y+qλ⟩, ‖p−q‖2≤⟨p−q,x−y⟩ .

令 x=y,便有 p=q,所以 JλA 在其定义域上单值。再用 Cauchy–Schwarz 不等式可得 ‖p−q‖≤‖x−y‖,即输入扰动不会被放大。框内更强的不等式称为牢固非扩张性。这一推导负责唯一性和稳定性;极大单调算子的全域存在性则由 Minty 定理保证。

满射性怎样排除图的缺口 ​

Minty 定理的“满射推出极大”方向可以直接证明。假设 I+λA 满射,且点 (r,u) 能加入图而不破坏单调性。由满射性,存在 p 和 v∈Ap 使

r+λu=p+λv.

新点与 (p,v) 之间的单调性要求

0≤⟨r−p,u−v⟩=−‖r−p‖2λ.

因此 r=p、u=v,新点原本就在图中。这证明了极大性。反方向在一般 Hilbert 空间中需要额外论证,本页引用 Minty 定理,不把稳定性不等式当成存在性证明。

直觉

在实直线上,单调条件就是 (x−y)(u−v)≥0:横坐标向右移动时,纵坐标不能向下。集合值写法允许同一横坐标对应一整段竖直线;同一位置的两个输出不会违反单调性,因为横坐标之差为零。高维没有统一的“向右、向上”,内积不等式要求输出之差在输入之差方向上的分量非负,却允许垂直方向上的变化。

极大性描述这张图是否还留有可填补的点。例如在直线上,只保留 x<0 时的输出 −1 和 x>0 时的输出 1,所得图单调,却缺少 x=0 处的全部点 (0,u),−1≤u≤1。填满这条竖直线段后得到绝对值的次微分。若试图加入 u>1,它会与某个正横坐标的点冲突;若加入 u<−1,则会与负横坐标的点冲突。极大性要求填补所有与已有图相容的点,而不是把每处多值压成一个值。

预解算子给图换了一种读法:对给定输入 x,寻找图上的 (p,u) 使 x=p+λu。在直线上,这是图与斜率为 −1/λ 的直线 u=(x−p)/λ 求交。单调图与这条下降直线至多相交一次,极大性保证每条这样的直线都能碰到图。求得的 p=x−λu 使用新位置 p 上的输出 u∈Ap,所以它是一种隐式更新。

例子与边界

单调而不极大:只有一个图点 ​

取 H=R,令 graA={(0,0)}。单调性显然成立,但 ran(I+λA)={0}:只有输入零能求出预解值。把所有 (x,0) 加入图仍然单调,所以原图不是极大的。这也说明“有解时唯一”与“每次都能更新”是两个不同结论。

完整算例:旋转关系的隐式步 ​

在 R2 中取单值线性算子

A=(0−110),A(x1,x2)=(−x2,x1).

它将向量逆时针旋转 90∘。对任意 d=x−y,⟨d,Ad⟩=0,所以 A 单调。它却不是强单调的:强单调要求某个 m>0 使该内积至少为 m‖d‖2,而任何非零 d 都不满足。

极大性也能直接检验。若 (z,w) 与所有已有图点都相容,就特别要与 (z+th,A(z+th)) 相容,其中 h∈R2、t∈R 任意。于是

0≤⟨−th,w−Az−tAh⟩=−t⟨h,w−Az⟩.

正负两种 t 迫使 ⟨h,w−Az⟩=0 对每个 h 成立,故 w=Az。无法加入新点,所以 A 极大单调。

现在真正求解隐式步。矩阵 I+λA 的行列式为 1+λ2,因此

JλA=11+λ2(1λ−λ1),JλATJλA=11+λ2I.

令 θ=arctan⁡λ、q=(1+λ2)−1/2,这个矩阵就是先顺时针旋转 θ,再将长度乘以 q。由矩阵表达式还有

‖JλAd‖2=‖d‖21+λ2=⟨JλAd,d⟩.

因此牢固非扩张不等式在这里取等,预解算子同时又是严格收缩。这并未使原算子变成强单调:原图的内积仍恒为零。

取 λ=1,从 x0=(1,0) 开始迭代 xk+1=JAxk,逐次相乘得到

x1=(1/2,−1/2),x2=(0,−1/2),x3=(−1/4,−1/4).

每一步顺时针转 45∘,长度乘以 1/2;更完整地,

xk=2−k/2(cos⁡(kπ/4),−sin⁡(kπ/4)),‖xk‖=2−k/2⟶0.

Ax=0 的唯一解是零,因而我们已明确求出了隐式迭代的全部轨道及其终点。作为对照,显式更新 xk+1=(I−λA)xk 满足

‖(I−λA)x‖2=(1+λ2)‖x‖2.

对任意固定正步长和非零初值,显式迭代的长度都几何增长。这里造成隐式稳定性的,是在新位置求平衡,而不是原算子具有某种严格向内的方向。

次微分是重要来源,但没有覆盖所有单调算子 ​

设 f 是实 Hilbert 空间上的 proper、下半连续凸函数,proper 指不取 −∞ 且不恒为 +∞。对 u∈∂f(x)、v∈∂f(y),将两条次梯度不等式相加,得到

f(y)≥f(x)+⟨u,y−x⟩,f(x)≥f(y)+⟨v,x−y⟩⟹⟨x−y,u−v⟩≥0.

所以 ∂f 单调。近端算子的存在性和最优性条件又保证:每个输入 z 都有唯一 p 满足 (z−p)/λ∈∂f(p)。于是 I+λ∂f 满射,由前面的短证明可知 ∂f 极大单调,而且

Jλ∂f=proxλf.

上面的旋转算子却不能写成任何这样的 ∂f。假设能够写成,取 x0=0、x1=e1=(1,0)、x2=e2=(0,1)、x3=x0,沿闭合三角形逐条使用次梯度不等式,求和应给出

0=∑i=02(f(xi+1)−f(xi))≥∑i=02⟨Axi,xi+1−xi⟩.

但右侧三项分别是 0、⟨e2,e2−e1⟩=1 和 ⟨−e1,−e2⟩=0,总和为 1,矛盾。这个论证不需要假设 f 可微;它揭示次微分还必须满足沿闭合链的相容性,而普通单调性只检查两个图点。

推论与应用

对任意单调算子,只要预解算子在该点有定义,就有

x=JλAx⟺x∈x+λAx⟺0∈Ax.

因此,求零点可转化为预解算子的固定点问题。A=∂f 时,这正是凸函数的最小化,反复更新便得到近端点方法;旋转例子说明,同一种隐式更新还可以处理没有凸势函数的关系。

若 A 极大单调且存在零点 z,令 p=JλAx,对输入 x,z 使用牢固非扩张性,有 ‖p−z‖2≤⟨p−z,x−z⟩。展开 x−z=(x−p)+(p−z),可推出

 ‖p−z‖2+‖x−p‖2≤‖x−z‖2 .

所以每次精确隐式更新都使到零点的距离不增,并用距离的减少支付本次位移的平方。若反复更新,将这些不等式相加就得到相邻位移平方可求和。一般的全序列收敛还涉及步长条件以及有限维与无限维的区别;二维旋转算例则已由显式公式给出几何速度的范数收敛。

极大性保证每步可解,并不自动保证零点存在。例如 H=R、Ax={1} 时,JλAx=x−λ 对每个输入有定义;由满射性可知 A 极大单调,但 0∉Ax 对所有 x 成立。固定正步长迭代不断向负方向平移,没有固定点可供收敛。这与旋转算例的差别,在于是否存在待求的零点。

参考资料
关系图谱10 个相邻概念 · 2 类关系

拖动节点调整位置。

显示关系

显示:依赖

  1. 前置三跳
  2. 前置二跳
  3. 前置一跳
  4. 当前条目
  5. 后续一跳
  6. 后续二跳
  7. 后续三跳
文字版关系按与当前条目的最短距离分组
类型化关系