若一个反馈场既有向内的阻尼,也有沿边界打转的成分,就未必存在一个函数供它逐步下降。变分不等式直接问:有没有一个可行位置,使反馈在每个可行离开方向上的内积都非负?凸优化的一阶条件是重要例子,但旋转平衡同样能放进这个问题。
形式陈述
反馈在解点取值,还是在比较点取值
设 为非空闭凸集理路凸集Convex set任意两点间线段全部包含在集合中的向量空间子集。, 连续,且具有单调性理路单调算子与极大单调性Monotone operator · Maximal monotone operator · 极大单调算子用图上的内积不等式统一凸次微分与旋转关系,并以极大性保证稳定隐式步对每个输入都有唯一解。:
本页的单调变分不等式寻找 ,使
这是 Stampacchia 形式。相应的 Minty 形式为
对每个两式的量词相同,取值位置不同。当前连续、单调条件下二者等价。若 ,其中 凸且可微,(S) 就是凸一阶最优性条件理路一阶最优性条件First-order optimality condition · Variational inequality optimality condition以梯度和所有可行方向的非负内积充要刻画可微凸问题的全局极小点。;一般单调 不必是任何函数的梯度。
用法锥 表示,(S) 也等价于 。法锥在 外取空集,因而包含关系也要求可行。
两种间隙和一个固定点残差
对可行候选 定义
取 可知两者非负;它们可为无穷大。 等价于(S),等价于(M),单调性给 。若 紧且 连续,两个上确界均为有限且达到的最大值。
是关于 的仿射函数族的上确界,故为凸函数。这使预测点的平均容易获得间隙界;并不表示 自己具有一个待最小化的凸势。
直觉
每一项条件在等价证明中做什么
从(S)到(M),单调性给
反向取任意 ,令 ,。凸性保证 。将它代入(M),除以 ,再由连续性令 ,得到 。所以单调性负责第一方向,沿可行线段的连续性负责第二方向。
投影把平衡写成一个可执行等式
记 为非空闭凸集的最近点投影理路Hilbert 空间投影定理Hilbert projection theorem · Projection theoremHilbert 空间中每个闭线性子空间都给出唯一的正交分解与最近点投影。。最近点 的平方距离最优性给
这一式也充分:展开 后,交叉项非负,得到 。令 ,任意 ,便得
满足因此可以计算自然残差 。它为零能认证解;一个小但非零的值究竟对应多小的位置误差,仍取决于额外条件。
例子与边界
旋转盒:没有凸势,也有明确间隙
取 ,。对差向量 有 ,所以场单调;矩阵 不对称,不能是二次凸函数的梯度,事实上也不是任何全域凸函数的次梯度场,单调算子页已给闭合三角形的反证。
对任意 ,利用 及 ,可算出
例如在 ,。原始间隙在 达到 ;Minty间隙也为 。零间隙只在原点出现,故该问题的解唯一。这里恰好能把间隙化为坐标范数,是这个场与盒几何共同造成的,不是一般等式。
连续性与单调性分别不能偷换
令 , 当 , 当 。这个函数单调但在零处不连续。 满足(M),因为 ;但 ,取 即违反(S)。因此 而 ,且整个问题没有(S)解。把零处输出补成区间 会得到另一份集合值模型,不能不声明就换掉原函数。
若改为连续但反单调的 ,原点满足(S),却有 。两种例子分别定位了等价证明的两项假设。
小残差没有无条件的位置解释
取 、,。解为零,但候选 的距离始终为一。对 ,,而 、,都随 变小。反馈的尺度变平时,同一个误差数字不能保持统一的位置含义。
无界域也会改变间隙。例如 ,对非零 的线性上确界 为无穷大;算法仍可收敛到零,但不能套用有限盒的间隙常数。
推论与应用
存在性和定位算法是两件事
若再假设 紧,映射 连续地把 送回自身。Brouwer 不动点定理理路Brouwer 不动点定理Brouwer fixed-point theorem闭球到自身的任意连续映射都有不动点。给出固定点,于是(S)有解。连续性及紧凸域足以完成这项存在性证明,单调性不是此证明必需的条件。
这个证明没有说反复执行该映射会收敛。旋转场在全空间上的直接前向步 满足 ,任意正步长都使非零轨道扩大。外梯度法理路外梯度法Extragradient method · Korpelevich method在同一原锚点上先预测再校正,用两次场求值和投影处理单调旋转,证明有限维点收敛及平均预测点的有界域间隙率。多查询一次预测位置的场,Mirror-Prox理路Mirror-Prox 方法Mirror-Prox method · Mirror extragradient在同一镜像锚点上执行预测与校正,以Bregman三点恒等式证明单调Lipschitz问题的平均间隙率,并完整计算负熵矩阵博弈的双步更新。再改变这两步的几何,以明确的能量估计解决这一算法缺口。
给出间隙数字还须说明它怎样算得。只需一次 和对 的线性最小化;通常另含对比较点 的全局优化,并不因写成sup就自动便宜。本页的盒旋转例两种计算都是 ;一般模型应单列算子求值、投影或间隙子问题的成本。
参考资料