数值问题与数值算法

“解 $Ax=b$”是一项数学任务，不是一段固定程序。Gaussian 消元把矩阵化为三角系统；共轭梯度法只在特定结构下沿低维子空间逼近；两者可以解同一个问题，却有不同的适用条件、成本和有限精度行为。这种分层使分析各有对象：条件数描述问题的敏感性，收敛定理描述迭代逼近的过程，实现分析则追踪有限精度中的具体运算。

同一算法也可能有不同实现。例如一个代数恒等的表达式在实数中给出同一值，在浮点运算中却因运算顺序不同而产生不同舍入路径。分析要在给定数据、资源和精度目标下分清不可避免的误差与算法选择造成的误差，并说明最后能交付哪些可信数字。

设 $F(A,b)=A^{-1}b$，定义域只包含可逆矩阵。取

真解为 $(1,1{)}^{\mathsf{T}}$。若测量把第二个右端分量扰动为 $0$，则 $\Vert \mathrm{\Delta }b{\Vert }_2/\Vert b{\Vert }_2\approx {10}^{-8}$，即使精确求解扰动后的系统也只能得到 $(1,0{)}^{\mathsf{T}}$，相对解误差为 $1/\sqrt{2}$。这是问题条件性设置的精度上限；另一个不稳定实现还可能在这之上继续丢失数字。

连续积分也展示另一层差别。$F(f)={\int }_a^{b}f(x)dx$ 是数学问题；复合求积先用有限采样替代 $f$，产生离散化误差；自适应算法再用局部估计决定采样位置；浮点求和又产生舍入误差。函数类和采样方式决定求积误差界，求和方法与工作精度决定有限精度计算的附加误差。

离散算法则可以直接用输出规格描述正确性。比较排序在无 NaN 的离散全序上要求输出一个满足次序规格的排列，通常属于精确离散问题；它仍可能受错误比较器或浮点 NaN 语义影响，但这与连续映射的局部敏感性不是同一概念。

这些概念分别刻画求解过程中的不同环节：条件性理路问题条件性与条件数Conditioning of a problem · Condition number度量问题真解对输入微扰的局部敏感性，并把这种固有敏感性与算法误差分开。研究 $F$，数值稳定性理路数值稳定性Numerical stability以允许的小输入扰动刻画算法的有限精度行为，并与问题条件性及其他稳定性概念分开。研究 $A$，误差度量理路误差度量：绝对、相对与分量误差Error measures · Absolute and relative error用绝对、相对、范数型与逐分量尺度准确说明近似量偏离真值的程度。规定“接近”的尺度，前向与后向误差理路前向误差与后向误差Forward and backward error分别衡量计算答案离真解多远，以及它能否视为邻近输入问题的精确解。连接计算结果和邻近问题，离散化误差理路离散化误差与截断误差Discretization error · Truncation error区分连续问题的离散缺陷与离散解的全局误差，并说明一致性为何不能单独保证收敛。解释连续模型怎样变成有限模型，残差与误差估计理路残差、误差估计与停止准则Residual and error estimation · Stopping criterion区分可计算残差与未知真误差，并说明把缺陷转成误差界和停止证书所需的条件。则回答运行到何时可以停。