线性方程组的条件数与扰动

形式陈述

考虑可逆方阵的线性系统

Ax=b,\qquad A\in\mathbb F^{n\times n}.

选定相容的向量与矩阵范数后，定义

\kappa(A)=\|A\|\,\|A^{-1}\|.

条件数描述问题映射 $b\mapsto A^{-1}b$ 对相对扰动的最坏放大，是一般问题条件性在线性求解上的具体化，不评价所用算法。对同一空间上的诱导范数有 $\kappa(A)\ge1$ 。它依赖范数与坐标尺度，但对整体非零标量缩放不变： $\kappa(\alpha A)=\kappa(A)$ 。在 $2$ -范数下，

\kappa_2(A)=\frac{\sigma_{\max}(A)}{\sigma_{\min}(A)};

矩阵奇异时约定条件数为无穷。更几何的表述是

\frac{1}{\kappa_2(A)} =\min\left\{ \frac{\|E\|_2}{\|A\|_2}:A+E\ \text{奇异} \right\},

即倒条件数正是 $2$ -范数下到奇异矩阵集合的相对距离。

若只扰动右端， $A(x+\delta x)=b+\delta b$ ，则 $\delta x=A^{-1}\delta b$ ，从而

\frac{\|\delta x\|}{\|x\|} \le \kappa(A)\frac{\|\delta b\|}{\|b\|}.

若系数矩阵与右端同时变为 $A+E$ 和 $b+f$ ，记

\varepsilon_A=\frac{\|E\|}{\|A\|}, \qquad \varepsilon_b=\frac{\|f\|}{\|b\|}.

由 $(A+E)\delta x=f-Ex$ ，当 $\kappa(A)\varepsilon_A<1$ 时，Neumann 级数保证 $A+E$ 仍可逆，并给出有限扰动界

\frac{\|\delta x\|}{\|x\|} \le \frac{\kappa(A)}{1-\kappa(A)\varepsilon_A} \left(\varepsilon_A+\varepsilon_b\right).

当扰动足够小时，分母接近 $1$ ，于是得到“相对解误差约不超过条件数乘相对数据误差”的一阶规律。它是最坏方向的上界，不保证每个具体扰动都达到等号。

对满列秩长方矩阵，正规方程的条件数平方可以直接由奇异值推导：

\kappa_2(A^*A) =\frac{\sigma_{\max}(A)^2}{\sigma_{\min}(A)^2} =\kappa_2(A)^2.

这条恒等式解释形成 $A^*A$ 为什么会放大敏感性；等距节点 Vandermonde 矩阵的具体数值见QR/SVD 最小二乘计算，本页只保留一般扰动机制。

直觉

可逆只说明精确数据对应唯一解，条件数还追问这唯一解是否站在一块陡峭地面上。若 $\sigma_{\min}(A)$ 很小，某个输入方向几乎被 $A$ 压扁；右端沿相应输出方向发生微小变化，反解时就要把它大幅拉回。

条件数也不是矩阵孤立的“质量分”。改变变量单位、方程单位或采用逐分量误差后，同一物理问题会呈现不同的数值尺度。行列均衡可以减少坐标失配并帮助算法，但必须同步解释变量和右端；缩放后的 normwise 条件数描述的是新坐标中的问题，不能不经换算就当作原变量误差界。

例子与边界

取

A=\begin{pmatrix}1&1\\1&1+10^{-8}\end{pmatrix}, \qquad b=\begin{pmatrix}2\\2+10^{-8}\end{pmatrix}.

精确解为 $(1,1)^{\mathsf T}$ ，且 $\kappa_2(A)\approx4\times10^8$ 。只把 $b_2$ 增加 $10^{-12}$ ，两式相减便给出

\widetilde x_2=1+10^{-4},\qquad \widetilde x_1=1-10^{-4}.

右端相对改变量约 $3.54\times10^{-13}$ ，解的相对改变量却是 $10^{-4}$ ，放大约 $2.83\times10^8$ ，仍在条件数的最坏界内。这个方向接近 $A$ 的最小奇异向量；其他扰动方向可能几乎不放大，因此单次温和实验不能证明矩阵良态。

小残差同样不自动给出小前向误差。残差页面的对角反例表明，必须通过 $A^{-1}$ 的范数或条件数把两者连接；本页的扰动界正是这座桥，而不是把 residual 直接改名为 error。

推论与应用

本页把敏感性归于 $Ax=b$ 这个数学问题。后向稳定求解器产生的是邻近数据的精确解；只有再乘上条件数，才能预期前向精度。因而“大条件数”不等于算法失败，“小条件数”也不免除对算法稳定性的检查。

实际软件通常借助已有 LU/Cholesky 因子和条件估计器近似 $\|A^{-1}\|$ 或倒条件数，而不显式形成 $A^{-1}$ 。估计值不是精确奇异值计算，报告还应注明范数、缩放和估计方法；对近奇异系统，数值秩、逐分量误差界与问题特有结构往往比一个裸的 $\kappa$ 更有解释力。

参考资料

Nicholas J. Higham, Accuracy and Stability of Numerical Algorithms, 2nd ed., SIAM, 2002, Chs. 7 and 14.
Lloyd N. Trefethen and David Bau III, Numerical Linear Algebra, SIAM, 1997, Lectures 12–13.
LAPACK Users’ Guide, 3rd ed., SIAM, 1999, Condition Numbers.

形式陈述 ​

反向链接

形式陈述