形式陈述
从已经知道的起点认证收敛
局部Newton理论假设初值已足够靠近某个未知简单根。本页的半局部版本改从一个给定起点 x 0 和它周围可检查的数据出发,先证明这样的根确实存在。[1]
设 F : U → R n 在开集 U 上连续可微,A 0 = D F ( x 0 ) 可逆。固定向量范数及其诱导矩阵范数 理路 矩阵范数与诱导算子范数 Matrix norm · Induced matrix norm · Operator norm of a matrix 用诱导范数和常用可计算矩阵范数度量线性映射的放大能力,并区分算子范数、Frobenius 范数与谱半径。 ,给出 β , L > 0 ,满足
‖ A 0 − 1 F ( x 0 ) ‖ ≤ β , h = L β < 1 2 . 定义
(1) d = 1 − 2 h , r − = 1 − d L , r + = 1 + d L . 假设闭球 B ― ( x 0 , r + ) ⊂ U ,且该球内任意 x , y 都满足归一化Jacobian变化界
(2) ‖ A 0 − 1 ( D F ( x ) − D F ( y ) ) ‖ ≤ L ‖ x − y ‖ . 则从 x 0 出发的Newton迭代 理路 Newton 非线性方程法 Newton's method · Newton-Raphson method · Newton method for nonlinear systems 在当前点解一阶线性化方程来修正非线性方程的近似解,并分析其局部二次收敛与失效边界。 始终定义良好,留在 B ― ( x 0 , r − ) 内,并收敛到一个根 x ∗ 。它在更大的开球 B ( x 0 , r + ) 中是唯一根。
这里选用闭大球上的统一假设,使存在域与唯一域共享清楚的条件;更精细版本可以缩小所需验证区域。L 是经过 A 0 − 1 归一化后的变化常数,不能把未归一化Jacobian的Lipschitz常数原样填入。
可计算的控制序列
令
(3) p ( t ) = β − t + L 2 t 2 , t 0 = 0 , t k + 1 = t k + p ( t k ) 1 − L t k . 有 0 = t 0 < t 1 < ⋯ < r − 、t k → r − ,并且
(4) ‖ x k + 1 − x k ‖ ≤ t k + 1 − t k , ‖ x ∗ − x k ‖ ≤ r − − t k . 控制半径的剩余量还满足
(5) r − − t k + 1 = L ( r − − t k ) 2 2 ( 1 − L t k ) ≤ L 2 d ( r − − t k ) 2 . 因此式(4)给出实际可算的尾界,不只是渐近的“二次收敛”。若起点残差已严格为零,可直接报告根;无需为零残差硬套 β > 0 的序列。
直觉
标量二次函数 p 的两个根就是两个半径。小根是总允许行程:每个Newton步的长度由标量一步覆盖,全部步长之和不超过 r − 。大根控制另一种风险,即离当前根更远的地方可能出现第二个根。
起点残差经过 A 0 − 1 变成一次校正尺度 β ;L 衡量沿这段校正走出去时,线性化会变化多快。乘积 h = L β 无量纲,比较的是初始缺口和非线性弯曲能否相互抵消,而非只比较一个裸残差阈值。
图片加载失败 控制半径与临界速度 图左用 L = 1 , β = 0.3 展示两个半径;图右用本页下方的临界重根模型。两组参数有意分开,严格判据不包含右图的 h = 1 / 2 情形。
证明:标量界怎样让Newton一直走下去
令 G = A 0 − 1 F ,则 D G ( x 0 ) = I 。左乘可逆常矩阵不改变根,也不改变Newton步,因为 D G ( x ) − 1 G ( x ) = D F ( x ) − 1 F ( x ) 。
当 ‖ x − x 0 ‖ ≤ t < r − 时,式(2)给 ‖ I − D G ( x ) ‖ ≤ L t < 1 。几何级数于是给出
存 在 (6) D G ( x ) − 1 存在 , ‖ D G ( x ) − 1 ‖ ≤ 1 1 − L t . 沿线段积分式(2),还得到余项界
(7) ‖ G ( x + s ) − G ( x ) − D G ( x ) s ‖ ≤ L 2 ‖ s ‖ 2 . 标量部分只需直接展开二次式:若 0 ≤ t < r − ,记 u = t + p ( t ) / ( 1 − L t ) ,则 t < u < r − ,且
(8) p ( u ) = L 2 ( u − t ) 2 , r − − u = L ( r − − t ) 2 2 ( 1 − L t ) . 由此 t k 单调趋向 r − 。现在归纳维持两个不变量
‖ x k − x 0 ‖ ≤ t k , ‖ G ( x k ) ‖ ≤ p ( t k ) . 起点由假设满足。式(6)使下一步可解,且步长至多 p ( t k ) / ( 1 − L t k ) = t k + 1 − t k 。Newton线性项被抵消后,式(7)与式(8)又给 ‖ G ( x k + 1 ) ‖ ≤ p ( t k + 1 ) ,因此不变量闭合。步长的标量尾和收敛,故 x k 是Cauchy列;极限留在闭小球中,连续性及 p ( t k ) → 0 给出 F ( x ∗ ) = 0 ,尾和也就是式(4)。
为什么唯一半径是开的大球
若 F ( y ) = F ( x ∗ ) = 0 ,且 ‖ y − x 0 ‖ < r + ,沿 x ∗ 到 y 的线段积分,令 H = ∫ 0 1 D G ( x ∗ + s ( y − x ∗ ) ) d s 。有
H ( y − x ∗ ) = 0 , ‖ H − I ‖ ≤ L 2 ( ‖ x ∗ − x 0 ‖ + ‖ y − x 0 ‖ ) < L 2 ( r − + r + ) = 1. 所以 H 可逆,y = x ∗ 。这里真正用到严格不等式;不能把最后的大开球随意改成闭球。
例子与边界
平方根:误差控制恰好可取等
取 F ( x ) = x 2 − 2 、x 0 = 3 / 2 。有 A 0 = 3 、β = 1 / 12 、L = 2 / 3 ,所以
h = 1 / 18 , r − = 3 / 2 − 2 , r + = 3 / 2 + 2 . 式(2)在整条实线上成立。第一次Newton步给 x 1 = 17 / 12 ,而 t 1 = 1 / 12 ;第二次给 x 2 = 577 / 408 。直接代入可核 x k = 3 / 2 − t k ,于是 x k − 2 = r − − t k :控制尾界在这个例子中恰为实际误差。
另一根 − 2 到起点的距离恰等于 r + ,说明大球边界确实可能出现第二根。唯一性定理必须保留开球。
阈值处为何不能继续保证二次速度
考虑 F ( x ) = x − x 2 / 2 − 1 / 2 ,x 0 = 0 。这里 A 0 = 1 、β = 1 / 2 、L = 1 ,处在 h = 1 / 2 的临界值。Newton轨道精确为
x k = 1 − 2 − k . 它趋向重根 1 ,但只有线性速度;式(5)中的 d 此时为零,不能再用同一二次常数。若把常数项改成 − β ,取 β > 1 / 2 ,则 x − x 2 / 2 − β 处处为负,根甚至不存在。这说明对仅给出这组界的数据,阈值限制有实际内容。
本页严格版本未声称每个 h ≥ 1 / 2 的具体问题都失败;很多函数仍能收敛,只是这些粗界没有给出当前证书。若式(2)只在很小区域成立,也不能先算出较大的 r + ,再忽略球必须留在已验证区域中的条件。
推论与应用
式(4)可作认证停止准则:只要可靠地算得 r − − t k ≤ ε ,即得指定范数下的误差界。计算小半径时可改写 r − = 2 β / ( 1 + d ) ,避免 1 − d 在小 h 下的消去。有限精度实现仍须把逆范数、Lipschitz上界和标量根式计算的误差纳入;纸面精确Newton定理也不自动证明任意近似线性求解器的轨道遵守式(4)。
单次Newton步的成本由原算法承担,稠密情形通常为 O ( n 3 ) ;求出可靠的 L , β 可能比更新本身更难。Krawczyk盒证书 理路 Krawczyk算子 Krawczyk operator · Krawczyk root certificate 把近似逆、中心残差和区间Jacobian组合成根包围,由严格内包含推出加权压缩、存在唯一性,并区分弱包含与未决结果。 不追踪整条Newton轨道,而在一个候选盒上检查预条件后的区间Jacobian。两种证书分别回答“这个起点的精确迭代受控吗”和“这个盒内确有唯一根吗”。
参考资料
[1] O. P. Ferreira and B. F. Svaiter, “Kantorovich’s Theorem on Newton’s Method” ,arXiv:1209.5704,2012上传稿,Theorem 1、§§2–4与Appendix A;归一化条件及标量控制方法。本页取有限维、严格 2 L β < 1 、闭大球包含的版本,并直接写出不变量与较大唯一球证明。
Peter Deuflhard, Newton Methods for Nonlinear Problems: Affine Invariance and Adaptive Algorithms , Springer, 2011,Ch. 2;半局部Newton理论与仿射不变的误差尺度。