线性方程组的条件数与扰动

形式陈述 ​

考虑可逆方阵的线性系统公理库线性方程组System of linear equations可写为矩阵方程 Ax=b 的有限个一次方程系统。

$$Ax=b,A\in {\mathbb{F}}^{n\times n}.$$

选定相容的向量与矩阵范数公理库矩阵范数与诱导算子范数Matrix norm · Induced matrix norm · Operator norm of a matrix用诱导范数和常用可计算矩阵范数度量线性映射的放大能力，并区分算子范数、Frobenius 范数与谱半径。后，定义

$$\kappa (A)=\Vert A\Vert \Vert A^{-1}\Vert .$$

条件数描述问题映射 $b\mapsto A^{-1}b$ 对相对扰动的最坏放大，不评价所用算法。它依赖范数与坐标尺度，但对整体非零标量缩放不变：$\kappa (\alpha A)=\kappa (A)$。在 $2$-范数下，

$${\kappa }_2(A)=\frac{{\sigma }_{max}(A)}{{\sigma }_{min}(A)};$$

矩阵奇异时约定条件数为无穷。

若只扰动右端，$A(x+\delta x)=b+\delta b$，则 $\delta x=A^{-1}\delta b$，从而

$$\frac{\Vert \delta x\Vert }{\Vert x\Vert }\le \kappa (A)\frac{\Vert \delta b\Vert }{\Vert b\Vert }.$$

若系数矩阵与右端同时变为 $A+E$ 和 $b+f$，记

$${\epsilon }_A=\frac{\Vert E\Vert }{\Vert A\Vert },{\epsilon }_b=\frac{\Vert f\Vert }{\Vert b\Vert }.$$

当 $\kappa (A){\epsilon }_A<1$ 时，Neumann 级数保证 $A+E$ 仍可逆，并给出有限扰动界

$$\frac{\Vert \delta x\Vert }{\Vert x\Vert }\le \frac{\kappa (A)}{1-\kappa (A){\epsilon }_A}({\epsilon }_A+{\epsilon }_b).$$

当扰动足够小时，分母接近 $1$，于是得到“相对解误差约不超过条件数乘相对数据误差”的一阶规律。它是最坏方向的上界，不保证每个具体扰动都达到等号。

对满列秩长方矩阵，正规方程的条件数平方可以直接由奇异值推导：

$${\kappa }_2(A^{\ast }A)=\frac{{\sigma }_{max}(A{)}^2}{{\sigma }_{min}(A{)}^2}={\kappa }_2(A{)}^2.$$

这条恒等式解释形成 $A^{\ast }A$ 为什么会放大敏感性；等距节点 Vandermonde 矩阵的具体数值见QR/SVD 最小二乘计算公理库用 QR 与 SVD 求最小二乘Least squares via QR · Least squares via SVD · Numerical least squares以 QR 作为满列秩最小二乘的默认计算路线，并用 SVD 处理秩亏、欠定和最小范数解。，本页只保留一般扰动机制。

直觉 ​

可逆只说明精确数据对应唯一解，条件数还追问这唯一解是否站在一块陡峭地面上。若 ${\sigma }_{min}(A)$ 很小，某个输入方向几乎被 $A$ 压扁；右端沿相应输出方向发生微小变化，反解时就要把它大幅拉回。

条件数也不是矩阵孤立的“质量分”。改变变量单位、方程单位或采用逐分量误差后，同一物理问题会呈现不同的数值尺度。行列均衡可以减少坐标失配并帮助算法，但必须同步解释变量和右端，不能把缩放后的较小范数条件数误说成原问题已被改变。

例子与边界 ​

矩阵 $A=\mathrm{diag}(1,{10}^{-6})$ 在 $2$-范数下有 ${\kappa }_2(A)={10}^6$。第二个右端分量的绝对扰动会在对应解分量中放大 ${10}^6$ 倍；第一分量却没有这层放大。这同时说明 normwise 最坏界不会告诉读者究竟哪个分量敏感，必要时应改用逐分量条件数。

行列式不是通用病态指标。对 $A=\alpha I_n$，当 $|\alpha |$ 很小时，$|\det A|=|\alpha {|}^n$ 可以极小，但 $\kappa (A)=1$；整体缩放不会让相对求解问题变坏。反过来，行列式并不很小的矩阵也可能有一个极小奇异值和另一个极大奇异值，从而高度病态。

小残差同样不自动给出小前向误差。残差页面公理库残差、误差估计与停止准则Residual and error estimation · Stopping criterion区分可计算残差与未知真误差，并说明把缺陷转成误差界和停止证书所需的条件。的对角反例表明，必须通过 $A^{-1}$ 的范数或条件数把两者连接；本页的扰动界正是这座桥，而不是把 residual 直接改名为 error。

推论与应用 ​

一般条件性公理库问题条件性与条件数Conditioning of a problem · Condition number度量问题真解对输入微扰的局部敏感性，并把这种固有敏感性与算法误差分开。把敏感性归于数学问题，本页把该原则落实到 $Ax=b$。后向稳定求解器产生的是邻近数据的精确解；只有再乘上条件数，才能预期前向精度。因而“大条件数”不等于算法失败，“小条件数”也不免除对算法稳定性的检查。

实际软件通常估计 $\Vert A^{-1}\Vert$ 或倒条件数，而不显式形成 $A^{-1}$。报告还应注明范数、缩放和估计方法；对近奇异系统，数值秩、逐分量误差界与问题特有结构往往比一个裸的 $\kappa$ 更有解释力。

参考资料

• Nicholas J. Higham, Accuracy and Stability of Numerical Algorithms, 2nd ed., SIAM, 2002, Chs. 7 and 14.
• Lloyd N. Trefethen and David Bau III, Numerical Linear Algebra, SIAM, 1997, Lectures 12–13.
• LAPACK Users’ Guide, Condition Numbers.