Skip to content

迭代收敛阶

Order of convergence · Q-convergence · R-convergence

用相邻迭代误差的渐近幂律区分线性、超线性与二次收敛,并说明实验估阶的边界。

形式陈述

设迭代序列 xk 收敛到 x,并用已经说明的距离或范数定义误差

ek=d(xk,x).

若存在 p1C(0,) 使

limkek+1ekp=C,

则称该序列以 Q-阶 p 收敛,C 是渐近误差常数。p=10<C<1 称 Q-线性收敛;若 ek+1/ek0,称 Q-超线性收敛;p=2 是 Q-二次收敛。这里的误差必须遵守明确的误差度量,否则 C 与实验比较都没有确定含义。

Q-收敛逐步约束真实误差,要求较强。若存在正序列 vk0,使 ekvk 最终成立,而 vk 具有 Q-阶 p,则称 xk 至少以 R-阶 p 收敛。二分法的区间半径严格按 1/2 缩小,因此能给出 R-线性保证;实际中点误差可能因根在区间内的位置而上下波动,不必逐步满足同一个 Q-比值。

知道真解时,可以用

p^k=log(ek+1/ek)log(ek/ek1)

估计渐近阶。真解未知时,常以连续三段更新量代替误差:

p^k=log(xk+1xk/xkxk1)log(xkxk1/xk1xk2).

这个估计要求各比值为正、分母不接近零、迭代已进入渐近区,而且更新量确实与真误差同阶。它是一项实验诊断,不是由少数数据点自动生成的收敛证明。

直觉

收敛阶描述“已经靠近答案以后,旧误差如何变成新误差”。线性收敛大致每步乘一个固定比例;二次收敛大致每步把误差平方,所以足够接近根后正确位数会近似翻倍。这里的“足够接近”不可省略:算法起步时可能绕行、阻尼或暂时停留,只有尾部误差才受渐近关系支配。

阶数与单步成本共同决定实际速度。二次方法若每步需要昂贵的导数和线性求解,未必总比只做一次函数求值的低阶方法省时间;反过来,一个理论上超线性的方法也可能在进入渐近区前失败。收敛阶只回答局部误差缩减规律,不替代总工作量、稳定性和鲁棒性分析。

例子与边界

二分法每步把含根区间的宽度减半,给出线性包络。对简单根,Newton 法在标准光滑性和近初值条件下满足 ek+1Cek2,因而是二次收敛。割线法的局部误差近似满足 ek+1Cekek1;若假设 ek+1ekp 同阶,就得到 p2=p+1,即黄金比例

p=1+521.618.

有限步恰好到达真解时,后续 ek=0,上述比值成为 0/0,不能硬说阶数为无穷。误差交替、偶尔抵消或在浮点精度平台上变成零,也会令实验估阶剧烈跳动。应先绘制误差或更新历史,确认存在稳定渐近区,再解释拟合出的斜率。

还要区分三种相似说法:迭代 Q-阶研究 k 时的 ek;离散化误差 O(hp) 研究步长 h0;复杂度中的 O(np) 研究问题规模增长。它们都出现幂次,却控制不同变量,不能因符号相似就互相替换。

推论与应用

序列收敛只保证误差最终趋于零,本页进一步描述趋零速度。Newton、割线与不动点迭代可以共享这套语言,但每个算法仍要分别证明其光滑性、非退化和初值条件;一句“二次收敛”若没有这些条件,只是缺少适用范围的宣传语。

实验比较应同时报告所用范数、参考真值或高精度解、迭代区间和舍入平台。若只能观察残差,还必须说明残差如何控制真误差;否则从残差斜率推断解误差阶,可能把问题条件性带来的放大误认为算法性质。

参考资料
  • NIST Digital Library of Mathematical Functions, §3.8 Nonlinear Equations.
  • J. M. Ortega and W. C. Rheinboldt, Iterative Solution of Nonlinear Equations in Several Variables, SIAM, 2000, rates and orders of convergence.
  • C. T. Kelley, Iterative Methods for Linear and Nonlinear Equations, SIAM, 1995, Chs. 4–5.