Skip to content

定理Theorem

Newton–Kantorovich半局部收敛定理

Newton–Kantorovich theorem · Kantorovich semilocal convergence

从起点残差、起点Jacobian逆及归一化Lipschitz界计算存在半径与唯一半径,用标量控制序列证明每个Newton步可继续并给出尾界。

形式陈述 ​

从已经知道的起点认证收敛 ​

局部Newton理论假设初值已足够靠近某个未知简单根。本页的半局部版本改从一个给定起点 x0 和它周围可检查的数据出发,先证明这样的根确实存在。[1]

设 F:U→Rn 在开集 U 上连续可微,A0=DF(x0) 可逆。固定向量范数及其诱导矩阵范数,给出 β,L>0,满足

‖A0−1F(x0)‖≤β,h=Lβ<12.

定义

(1)d=1−2h,r−=1−dL,r+=1+dL.

假设闭球 B―(x0,r+)⊂U,且该球内任意 x,y 都满足归一化Jacobian变化界

(2)‖A0−1(DF(x)−DF(y))‖≤L‖x−y‖.

则从 x0 出发的Newton迭代始终定义良好,留在 B―(x0,r−) 内,并收敛到一个根 x∗。它在更大的开球 B(x0,r+) 中是唯一根。

这里选用闭大球上的统一假设,使存在域与唯一域共享清楚的条件;更精细版本可以缩小所需验证区域。L 是经过 A0−1 归一化后的变化常数,不能把未归一化Jacobian的Lipschitz常数原样填入。

可计算的控制序列 ​

令

(3)p(t)=β−t+L2t2,t0=0,tk+1=tk+p(tk)1−Ltk.

有 0=t0<t1<⋯<r−、tk→r−,并且

(4)‖xk+1−xk‖≤tk+1−tk,‖x∗−xk‖≤r−−tk.

控制半径的剩余量还满足

(5)r−−tk+1=L(r−−tk)22(1−Ltk)≤L2d(r−−tk)2.

因此式(4)给出实际可算的尾界,不只是渐近的“二次收敛”。若起点残差已严格为零,可直接报告根;无需为零残差硬套 β>0 的序列。

直觉

标量二次函数 p 的两个根就是两个半径。小根是总允许行程:每个Newton步的长度由标量一步覆盖,全部步长之和不超过 r−。大根控制另一种风险,即离当前根更远的地方可能出现第二个根。

起点残差经过 A0−1 变成一次校正尺度 β;L 衡量沿这段校正走出去时,线性化会变化多快。乘积 h=Lβ 无量纲,比较的是初始缺口和非线性弯曲能否相互抵消,而非只比较一个裸残差阈值。

控制半径与临界速度

图左用 L=1,β=0.3 展示两个半径;图右用本页下方的临界重根模型。两组参数有意分开,严格判据不包含右图的 h=1/2 情形。

证明:标量界怎样让Newton一直走下去 ​

令 G=A0−1F,则 DG(x0)=I。左乘可逆常矩阵不改变根,也不改变Newton步,因为 DG(x)−1G(x)=DF(x)−1F(x)。

当 ‖x−x0‖≤t<r− 时,式(2)给 ‖I−DG(x)‖≤Lt<1。几何级数于是给出

(6)DG(x)−1 存在,‖DG(x)−1‖≤11−Lt.

沿线段积分式(2),还得到余项界

(7)‖G(x+s)−G(x)−DG(x)s‖≤L2‖s‖2.

标量部分只需直接展开二次式:若 0≤t<r−,记 u=t+p(t)/(1−Lt),则 t<u<r−,且

(8)p(u)=L2(u−t)2,r−−u=L(r−−t)22(1−Lt).

由此 tk 单调趋向 r−。现在归纳维持两个不变量

‖xk−x0‖≤tk,‖G(xk)‖≤p(tk).

起点由假设满足。式(6)使下一步可解,且步长至多 p(tk)/(1−Ltk)=tk+1−tk。Newton线性项被抵消后,式(7)与式(8)又给 ‖G(xk+1)‖≤p(tk+1),因此不变量闭合。步长的标量尾和收敛,故 xk 是Cauchy列;极限留在闭小球中,连续性及 p(tk)→0 给出 F(x∗)=0,尾和也就是式(4)。

为什么唯一半径是开的大球 ​

若 F(y)=F(x∗)=0,且 ‖y−x0‖<r+,沿 x∗ 到 y 的线段积分,令 H=∫01DG(x∗+s(y−x∗))ds。有

H(y−x∗)=0,‖H−I‖≤L2(‖x∗−x0‖+‖y−x0‖)<L2(r−+r+)=1.

所以 H 可逆,y=x∗。这里真正用到严格不等式;不能把最后的大开球随意改成闭球。

例子与边界

平方根:误差控制恰好可取等 ​

取 F(x)=x2−2、x0=3/2。有 A0=3、β=1/12、L=2/3,所以

h=1/18,r−=3/2−2,r+=3/2+2.

式(2)在整条实线上成立。第一次Newton步给 x1=17/12,而 t1=1/12;第二次给 x2=577/408。直接代入可核 xk=3/2−tk,于是 xk−2=r−−tk:控制尾界在这个例子中恰为实际误差。

另一根 −2 到起点的距离恰等于 r+,说明大球边界确实可能出现第二根。唯一性定理必须保留开球。

阈值处为何不能继续保证二次速度 ​

考虑 F(x)=x−x2/2−1/2,x0=0。这里 A0=1、β=1/2、L=1,处在 h=1/2 的临界值。Newton轨道精确为

xk=1−2−k.

它趋向重根 1,但只有线性速度;式(5)中的 d 此时为零,不能再用同一二次常数。若把常数项改成 −β,取 β>1/2,则 x−x2/2−β 处处为负,根甚至不存在。这说明对仅给出这组界的数据,阈值限制有实际内容。

本页严格版本未声称每个 h≥1/2 的具体问题都失败;很多函数仍能收敛,只是这些粗界没有给出当前证书。若式(2)只在很小区域成立,也不能先算出较大的 r+,再忽略球必须留在已验证区域中的条件。

推论与应用

式(4)可作认证停止准则:只要可靠地算得 r−−tk≤ε,即得指定范数下的误差界。计算小半径时可改写 r−=2β/(1+d),避免 1−d 在小 h 下的消去。有限精度实现仍须把逆范数、Lipschitz上界和标量根式计算的误差纳入;纸面精确Newton定理也不自动证明任意近似线性求解器的轨道遵守式(4)。

单次Newton步的成本由原算法承担,稠密情形通常为 O(n3);求出可靠的 L,β 可能比更新本身更难。Krawczyk盒证书不追踪整条Newton轨道,而在一个候选盒上检查预条件后的区间Jacobian。两种证书分别回答“这个起点的精确迭代受控吗”和“这个盒内确有唯一根吗”。

参考资料
  • [1] O. P. Ferreira and B. F. Svaiter, “Kantorovich’s Theorem on Newton’s Method”,arXiv:1209.5704,2012上传稿,Theorem 1、§§2–4与Appendix A;归一化条件及标量控制方法。本页取有限维、严格 2Lβ<1、闭大球包含的版本,并直接写出不变量与较大唯一球证明。
  • Peter Deuflhard, Newton Methods for Nonlinear Problems: Affine Invariance and Adaptive Algorithms, Springer, 2011,Ch. 2;半局部Newton理论与仿射不变的误差尺度。
关系图谱17 个相邻概念 · 1 类关系

拖动节点调整位置。

显示关系

显示:依赖

  1. 前置三跳
  2. 前置二跳
  3. 前置一跳
  4. 当前条目
  5. 后续一跳
  6. 后续二跳
  7. 后续三跳
文字版关系按与当前条目的最短距离分组