矩阵范数与诱导算子范数

形式陈述 ​

矩阵空间上的范数首先满足正定性、绝对齐次性与三角不等式。若还对可乘矩阵满足

$$\Vert AB\Vert \le \Vert A\Vert \Vert B\Vert ,$$

则称它次乘；若给定输入、输出向量范数后满足 $\Vert Ax{\Vert }_Y\le \Vert A\Vert \Vert x{\Vert }_X$，则称它与这组向量范数相容。选择向量范数后，由矩阵代表的线性映射自然得到诱导范数

$$\Vert A{\Vert }_{X\to Y}=\underset{x\ne 0}{sup}\frac{\Vert Ax{\Vert }_Y}{\Vert x{\Vert }_X}=\underset{\Vert x{\Vert }_X=1}{sup}\Vert Ax{\Vert }_Y.$$

它正是抽象算子范数公理库有界线性算子Bounded linear operator把有界集映为有界集，等价地连续的线性映射。在有限维坐标中的形式，表示单位输入可能遭受的最大放大。由同一向量范数在定义域和值域诱导的矩阵范数自动相容且次乘。

对 $A=(a_{ij})\in {\mathbb{F}}^{m\times n}$，最常用的三种诱导范数为

$$\Vert A{\Vert }_1=\underset{1\le j\le n}{max}\sum _{i=1}^m|a_{ij}|,\Vert A{\Vert }_{\mathrm{\infty }}=\underset{1\le i\le m}{max}\sum _{j=1}^n|a_{ij}|,$$

以及

$$\Vert A{\Vert }_2={\sigma }_{max}(A).$$

前两式分别是最大绝对列和与最大绝对行和，可以直接计算；$2$-范数由最大奇异值给出。Frobenius 范数

$$\Vert A{\Vert }_F={(\sum _{i,j}|a_{ij}{|}^2)}^{1/2}={\left(\sum _i{\sigma }_i^2\right)}^{1/2}$$

也次乘，并满足 $\Vert Ax{\Vert }_2\le \Vert A{\Vert }_F\Vert x{\Vert }_2$，但在维数大于一时不是某个同空间向量范数的诱导矩阵范数：任何这样的诱导范数都有 $\Vert I\Vert =1$，而 $\Vert I_n{\Vert }_F=\sqrt{n}$。

直觉 ​

向量范数规定输入和输出各自怎样量尺寸，诱导矩阵范数就在这套尺子下寻找最容易被放大的方向。换一种向量范数，同一矩阵的“最大增益”也会改变；因此没有脱离尺度选择的唯一矩阵大小。

Frobenius 范数采用另一幅图像：它把矩阵的全部元素，等价地全部奇异值，当作一个长向量计算总能量。它容易求、对酉变换不变，却不直接回答某个单位输入最多会被放大多少。把两类范数都统称为 operator norm，会抹掉这个区别。

例子与边界 ​

取

$$A=\left(\begin{array}{cc}1& -2\\ 3& 0\end{array}\right).$$

最大列和与最大行和分别给出

$$\Vert A{\Vert }_1=4,\Vert A{\Vert }_{\mathrm{\infty }}=3,$$

而 $\Vert A{\Vert }_F=\sqrt{14}$。由于

$$A^{\ast }A=\left(\begin{array}{cc}10& -2\\ -2& 4\end{array}\right)$$

的最大特征值为 $7+\sqrt{13}$，所以 $\Vert A{\Vert }_2=\sqrt{7+\sqrt{13}}\approx 3.2566$。这些数都正确，只是在回答不同的尺度问题，不能省略下标后直接比较。

对方阵，谱半径 $\rho (A)=\underset{i}{max}|{\lambda }_i|$ 不超过任意诱导范数，但通常不等于它。非正规矩阵

$$B_M=\left(\begin{array}{cc}1& M\\ 0& 1\end{array}\right)$$

的谱半径恒为 $1$，而 $\Vert B_M{\Vert }_2$ 随 $|M|$ 增大。这说明特征值只描述不变方向上的渐近伸缩，矩阵范数还会看见非正交方向之间的瞬时放大。

推论与应用 ​

矩阵范数为线性系统条件数公理库线性方程组的条件数与扰动Conditioning of linear systems · Matrix condition number把一般问题条件性具体化为可逆线性系统的右端、系数矩阵与联合扰动界。、残差到前向误差的转换、分解的后向误差与迭代收敛界提供共同尺度。次乘性允许把一串算子作用的误差逐层控制，而诱导范数的相容性保证矩阵界确实能约束向量误差。

奇异值分解公理库奇异值分解Singular value decomposition · SVD任意有限维线性映射都可在正交规范基下表示为非负对角伸缩。解释 $2$-范数和 Frobenius 范数的谱表达；选择 $1$-范数或无穷范数时，则可使用矩阵元素直接计算或估计。工程报告必须写明使用的范数，因为“条件数大”或“扰动小”在没有下标时并不是完整结论。

参考资料

• Lloyd N. Trefethen and David Bau III, Numerical Linear Algebra, SIAM, 1997, Lectures 3 and 4.
• Nicholas J. Higham, Accuracy and Stability of Numerical Algorithms, 2nd ed., SIAM, 2002, Ch. 6.
• LAPACK Users’ Guide, Basic Linear Algebra Subprograms.