形式陈述
设 H 是实Hilbert 空间 公理库 Hilbert 空间 Hilbert space 关于内积诱导范数完备的实或复内积空间。 ,A : H ⇉ H 是集合值算子:每个 x 对应一个集合 A x ⊆ H ,允许为空。它的图为
gra A = { ( x , u ) ∈ H × H : u ∈ A x } . 若任意 ( x , u ) , ( y , v ) ∈ gra A 都满足
⟨ x − y , u − v ⟩ ≥ 0 , 则称 A 为单调算子 。若不存在严格包含 gra A 的单调图,则称 A 为极大单调算子 。这里的极大性按图的包含关系定义;它不要求每个 A x 非空,也不要求输出的范数很大。
给定 λ > 0 ,定义预解算子(resolvent)
J λ A = ( I + λ A ) − 1 , p ∈ J λ A x ⟺ x ∈ p + λ A p . 其定义域是 ran ( I + λ A ) 。逆号表示关系的逆,尚不能据此假定每个输入都有解。Minty 定理 给出精确的存在性条件:对单调算子 A ,极大单调性等价于对某个 λ > 0 有 ran ( I + λ A ) = H ;此时该等式对每个 λ > 0 都成立。
单调性怎样保证解唯一且稳定
设 p ∈ J λ A x 、q ∈ J λ A y 。将 ( x − p ) / λ ∈ A p 与 ( y − q ) / λ ∈ A q 代入单调性,得到
0 ≤ ⟨ p − q , x − p − y + q λ ⟩ , ‖ p − q ‖ 2 ≤ ⟨ p − q , x − y ⟩ . 令 x = y ,便有 p = q ,所以 J λ A 在其定义域上单值。再用 Cauchy–Schwarz 不等式可得 ‖ p − q ‖ ≤ ‖ x − y ‖ ,即输入扰动不会被放大。框内更强的不等式称为牢固非扩张性 。这一推导负责唯一性和稳定性;极大单调算子的全域存在性则由 Minty 定理保证。
满射性怎样排除图的缺口
Minty 定理的“满射推出极大”方向可以直接证明。假设 I + λ A 满射,且点 ( r , u ) 能加入图而不破坏单调性。由满射性,存在 p 和 v ∈ A p 使
r + λ u = p + λ v . 新点与 ( p , v ) 之间的单调性要求
0 ≤ ⟨ r − p , u − v ⟩ = − ‖ r − p ‖ 2 λ . 因此 r = p 、u = v ,新点原本就在图中。这证明了极大性。反方向在一般 Hilbert 空间中需要额外论证,本页引用 Minty 定理,不把稳定性不等式当成存在性证明。
直觉
在实直线上,单调条件就是 ( x − y ) ( u − v ) ≥ 0 :横坐标向右移动时,纵坐标不能向下。集合值写法允许同一横坐标对应一整段竖直线;同一位置的两个输出不会违反单调性,因为横坐标之差为零。高维没有统一的“向右、向上”,内积不等式要求输出之差在输入之差方向上的分量非负,却允许垂直方向上的变化。
极大性描述这张图是否还留有可填补的点。例如在直线上,只保留 x < 0 时的输出 − 1 和 x > 0 时的输出 1 ,所得图单调,却缺少 x = 0 处的全部点 ( 0 , u ) ,− 1 ≤ u ≤ 1 。填满这条竖直线段后得到绝对值的次微分。若试图加入 u > 1 ,它会与某个正横坐标的点冲突;若加入 u < − 1 ,则会与负横坐标的点冲突。极大性要求填补所有与已有图相容的点,而不是把每处多值压成一个值。
预解算子给图换了一种读法:对给定输入 x ,寻找图上的 ( p , u ) 使 x = p + λ u 。在直线上,这是图与斜率为 − 1 / λ 的直线 u = ( x − p ) / λ 求交。单调图与这条下降直线至多相交一次,极大性保证每条这样的直线都能碰到图。求得的 p = x − λ u 使用新位置 p 上的输出 u ∈ A p ,所以它是一种隐式更新。
例子与边界
单调而不极大:只有一个图点
取 H = R ,令 gra A = { ( 0 , 0 ) } 。单调性显然成立,但 ran ( I + λ A ) = { 0 } :只有输入零能求出预解值。把所有 ( x , 0 ) 加入图仍然单调,所以原图不是极大的。这也说明“有解时唯一”与“每次都能更新”是两个不同结论。
完整算例:旋转关系的隐式步
在 R 2 中取单值线性算子
A = ( 0 − 1 1 0 ) , A ( x 1 , x 2 ) = ( − x 2 , x 1 ) . 它将向量逆时针旋转 90 ∘ 。对任意 d = x − y ,⟨ d , A d ⟩ = 0 ,所以 A 单调。它却不是强单调的:强单调要求某个 m > 0 使该内积至少为 m ‖ d ‖ 2 ,而任何非零 d 都不满足。
极大性也能直接检验。若 ( z , w ) 与所有已有图点都相容,就特别要与 ( z + t h , A ( z + t h ) ) 相容,其中 h ∈ R 2 、t ∈ R 任意。于是
0 ≤ ⟨ − t h , w − A z − t A h ⟩ = − t ⟨ h , w − A z ⟩ . 正负两种 t 迫使 ⟨ h , w − A z ⟩ = 0 对每个 h 成立,故 w = A z 。无法加入新点,所以 A 极大单调。
现在真正求解隐式步。矩阵 I + λ A 的行列式为 1 + λ 2 ,因此
J λ A = 1 1 + λ 2 ( 1 λ − λ 1 ) , J λ A T J λ A = 1 1 + λ 2 I . 令 θ = arctan λ 、q = ( 1 + λ 2 ) − 1 / 2 ,这个矩阵就是先顺时针旋转 θ ,再将长度乘以 q 。由矩阵表达式还有
‖ J λ A d ‖ 2 = ‖ d ‖ 2 1 + λ 2 = ⟨ J λ A d , d ⟩ . 因此牢固非扩张不等式在这里取等,预解算子同时又是严格收缩。这并未使原算子变成强单调:原图的内积仍恒为零。
取 λ = 1 ,从 x 0 = ( 1 , 0 ) 开始迭代 x k + 1 = J A x k ,逐次相乘得到
x 1 = ( 1 / 2 , − 1 / 2 ) , x 2 = ( 0 , − 1 / 2 ) , x 3 = ( − 1 / 4 , − 1 / 4 ) . 每一步顺时针转 45 ∘ ,长度乘以 1 / 2 ;更完整地,
x k = 2 − k / 2 ( cos ( k π / 4 ) , − sin ( k π / 4 ) ) , ‖ x k ‖ = 2 − k / 2 ⟶ 0. A x = 0 的唯一解是零,因而我们已明确求出了隐式迭代的全部轨道及其终点。作为对照,显式更新 x k + 1 = ( I − λ A ) x k 满足
‖ ( I − λ A ) x ‖ 2 = ( 1 + λ 2 ) ‖ x ‖ 2 . 对任意固定正步长和非零初值,显式迭代的长度都几何增长。这里造成隐式稳定性的,是在新位置求平衡,而不是原算子具有某种严格向内的方向。
次微分是重要来源,但没有覆盖所有单调算子
设 f 是实 Hilbert 空间上的 proper、下半连续凸函数,proper 指不取 − ∞ 且不恒为 + ∞ 。对 u ∈ ∂ f ( x ) 、v ∈ ∂ f ( y ) ,将两条次梯度不等式 公理库 次梯度与次微分 Subgradient · Subdifferential 以全局仿射下界刻画凸函数在不可微点的支撑斜率集合。 相加,得到
f ( y ) ≥ f ( x ) + ⟨ u , y − x ⟩ , f ( x ) ≥ f ( y ) + ⟨ v , x − y ⟩ ⟹ ⟨ x − y , u − v ⟩ ≥ 0. 所以 ∂ f 单调。近端算子 公理库 近端算子 Proximal operator · Proximity operator 在降低凸函数值与保持靠近输入点之间取得精确平衡的单值算子。 的存在性和最优性条件又保证:每个输入 z 都有唯一 p 满足 ( z − p ) / λ ∈ ∂ f ( p ) 。于是 I + λ ∂ f 满射,由前面的短证明可知 ∂ f 极大单调,而且
J λ ∂ f = prox λ f . 上面的旋转算子却不能写成任何这样的 ∂ f 。假设能够写成,取 x 0 = 0 、x 1 = e 1 = ( 1 , 0 ) 、x 2 = e 2 = ( 0 , 1 ) 、x 3 = x 0 ,沿闭合三角形逐条使用次梯度不等式,求和应给出
0 = ∑ i = 0 2 ( f ( x i + 1 ) − f ( x i ) ) ≥ ∑ i = 0 2 ⟨ A x i , x i + 1 − x i ⟩ . 但右侧三项分别是 0 、⟨ e 2 , e 2 − e 1 ⟩ = 1 和 ⟨ − e 1 , − e 2 ⟩ = 0 ,总和为 1 ,矛盾。这个论证不需要假设 f 可微;它揭示次微分还必须满足沿闭合链的相容性,而普通单调性只检查两个图点。
推论与应用
对任意单调算子,只要预解算子在该点有定义,就有
x = J λ A x ⟺ x ∈ x + λ A x ⟺ 0 ∈ A x . 因此,求零点可转化为预解算子的固定点问题。A = ∂ f 时,这正是凸函数的最小化,反复更新便得到近端点方法 公理库 近端点方法 Proximal point method · Proximal point algorithm 反复精确求解带二次稳定项的子问题以逼近闭凸函数最小点的方法。 ;旋转例子说明,同一种隐式更新还可以处理没有凸势函数的关系。
若 A 极大单调且存在零点 z ,令 p = J λ A x ,对输入 x , z 使用牢固非扩张性,有 ‖ p − z ‖ 2 ≤ ⟨ p − z , x − z ⟩ 。展开 x − z = ( x − p ) + ( p − z ) ,可推出
‖ p − z ‖ 2 + ‖ x − p ‖ 2 ≤ ‖ x − z ‖ 2 . 所以每次精确隐式更新都使到零点的距离不增,并用距离的减少支付本次位移的平方。若反复更新,将这些不等式相加就得到相邻位移平方可求和。一般的全序列收敛还涉及步长条件以及有限维与无限维的区别;二维旋转算例则已由显式公式给出几何速度的范数收敛。
极大性保证每步可解,并不自动保证零点存在。例如 H = R 、A x = { 1 } 时,J λ A x = x − λ 对每个输入有定义;由满射性可知 A 极大单调,但 0 ∉ A x 对所有 x 成立。固定正步长迭代不断向负方向平移,没有固定点可供收敛。这与旋转算例的差别,在于是否存在待求的零点。
参考资料