残差、误差估计与停止准则

残差与前向误差 ​

对方程 $F(x)=0$，近似解 $\hat{x}$ 的残差是

$$r=F(\hat{x});$$

对线性系统 $Ax=b$ 常取 $r=b-A\hat{x}$。残差衡量把近似解代回方程后的缺陷，前向误差公理库前向误差与后向误差Forward and backward error分别衡量计算答案离真解多远，以及它能否视为邻近输入问题的精确解。则是 $\hat{x}-x_{\ast }$；两者位于不同空间，只有在逆映射受控时才能互相转换。若 $F$ 在解附近可逆，一阶上有

$$\hat{x}-x_{\ast }\approx DF(x_{\ast }{)}^{-1}F(\hat{x}),$$

因此误差界需要逆 Jacobian 范数、条件数、强单调性、收缩因子或其他问题结构。

线性系统把这座桥写成精确恒等式。若 $e=\hat{x}-x_{\ast }$ 且 $r=b-A\hat{x}$，则

$$Ae=-r.$$

所以 $\Vert e\Vert$ 受 $\Vert A^{-1}\Vert \Vert r\Vert$ 控制；没有逆算子界时，残差本身不是前向误差证书。

误差估计器与局部指标 ​

先验误差界在运行前由数据、离散尺度或迭代次数推出；后验误差估计器 $\eta (\hat{x})$ 则使用已经算出的残差、相邻迭代或局部缺陷来估计未知误差。若它满足

$$\Vert e\Vert \le C_{\mathrm{rel}}\eta ,$$

称估计器具有可靠性：估计量在常数意义下给出误差上界。若反向还有

$$\eta \le C_{\mathrm{eff}}(\Vert e\Vert +\mathrm{osc}),$$

称其具有效率；$\mathrm{osc}$ 表示数据振荡或估计器无法从离散数据中分离的项。可靠性防止漏报大误差，效率防止估计量长期远大于真实误差，两者方向不能互换。

局部 indicator ${\eta }_K$ 只负责标出哪个单元、时间步或分量值得继续计算，常以 ${\eta }^2=\sum _K{\eta }_K^2$ 汇成全局估计器。indicator 排序对自适应加密有用，却不因“局部值大”自动成为严格误差界；可靠性和效率仍需针对具体方程、范数与网格条件证明。

还要区分代数残差与离散残差。把离散线性系统精确解到 $b-A\hat{x}=0$，只消除了代数求解误差；离散函数代回原连续方程仍可能留下函数型残差，并对应尚未消失的离散化误差。严格可验证界还应覆盖估计器自身的舍入和模型误差。渐近估计只在步长或误差足够小时有效，概率界则要声明随机假设和置信水平，这些标签不能互换。

停止准则 ​

实际停止准则通常组合绝对与相对尺度，例如

$$\Vert r_k\Vert \le \mathrm{atol}+\mathrm{rtol}s,$$

其中 $s$ 应由 $b$、$F$ 或问题的自然尺度定义。还要检查更新量、最大迭代数、非有限值和舍入平台期；固定的裸阈值既可能让大尺度问题过早停止，也可能让接近零的问题永不满足。

直觉 ​

残差像把答案重新放回题目后看到的“接缝”。接缝小只说明方程几乎闭合；若题目本身像一只长而扁的漏斗，沿敏感方向移动很远也可能只产生很小的接缝。要从接缝推断位置误差，必须知道漏斗的几何形状。

相邻迭代差也是一种可观察信号，却可能因为迭代映射接近恒等、步长控制过小或浮点停滞而变小。停止判据需要和问题尺度、理论收敛机制以及失败检测一起设计。

例子与边界 ​

取

$$A=\left(\begin{array}{cc}1& 0\\ 0& {10}^{-12}\end{array}\right),b=\left(\begin{array}{c}1\\ {10}^{-12}\end{array}\right).$$

精确解为 $x_{\ast }=(1,1{)}^T$。若算法返回 $\hat{x}=(1,0{)}^T$，则

$$r=b-A\hat{x}=(0,{10}^{-12}{)}^T.$$

以 $2$-范数计，

$$\frac{\Vert r{\Vert }_2}{\Vert b{\Vert }_2}\approx {10}^{-12},\frac{\Vert \hat{x}-x_{\ast }{\Vert }_2}{\Vert x_{\ast }{\Vert }_2}=\frac{1}{\sqrt{2}}\approx 0.707,$$

而 ${\kappa }_2(A)={10}^{12}$。这是方案实验的完整反例：极小相对残差与很大相对前向误差可以同时成立，条件数恰好解释两者之间的尺度差。

对收缩迭代 $x_{k+1}=g(x_k)$，若已知全局收缩因子 $q<1$，才有后验界

$$\Vert x_k-x_{\ast }\Vert \le \frac{q}{1-q}\Vert x_k-x_{k-1}\Vert .$$

没有 $q$，单看相邻差小不能构成同样证书；在 $q\approx 1$ 时，前面的放大因子还会非常大。

推论与应用 ​

线性迭代、Newton 法、ODE 自适应步长和有限元后验估计都会使用残差，但每种方法把残差变成误差的机制不同。算法页应引用本页的区分，再给出自身所需的逆算子界、局部误差模型或可靠性常数。

柯西序列公理库柯西序列Cauchy sequence任意精度下充分靠后的任意两项彼此接近的序列。解释尾项之间的数学接近，不能单独替代数值停机证书。一个可审计的实现至少应记录采用的残差定义、缩放、容差、迭代上限和异常退出原因，让“停止”与“已达到目标误差”不被混为同一事件。

参考资料

• Nicholas J. Higham, Accuracy and Stability of Numerical Algorithms, 2nd ed., SIAM, 2002, Chs. 1 and 7.
• LAPACK Users’ Guide, Further Details: Error Bounds for Linear Equations.
• Richard L. Burden, J. Douglas Faires, and Annette M. Burden, Numerical Analysis, 10th ed., Cengage, 2016, iterative methods and a posteriori error estimates.