形式陈述
矩阵 公理库 矩阵 Matrix 以有限行列集合为索引、取值于半环,并以中间指标求和定义乘法的函数。 空间上的范数首先满足正定性、绝对齐次性与三角不等式。若还对可乘矩阵满足
‖ A B ‖ ≤ ‖ A ‖ ‖ B ‖ , 则称它次乘;若给定输入、输出向量范数后满足 ‖ A x ‖ Y ≤ ‖ A ‖ ‖ x ‖ X ,则称它与这组向量范数相容。选择定义域范数 ‖ ⋅ ‖ X 与值域范数 ‖ ⋅ ‖ Y 后,由矩阵代表的线性映射自然得到诱导范数
‖ A ‖ X → Y = sup x ≠ 0 ‖ A x ‖ Y ‖ x ‖ X = sup ‖ x ‖ X = 1 ‖ A x ‖ Y . 上述两个上确界公式用于非零定义域;若定义域是零空间,唯一线性映射的算子范数按最小放大常数取为零,不对空单位球取通常实数上确界。
它正是抽象算子范数 公理库 有界线性算子 Bounded linear operator 把有界集映为有界集,等价地连续的线性映射。 在有限维坐标中的形式,表示单位输入可能遭受的最大放大。若矩阵串接 A : X → Y 与 B : Z → X ,相应尺度给出 ‖ A B ‖ Z → Y ≤ ‖ A ‖ X → Y ‖ B ‖ Z → X ;省略空间下标只在首尾范数约定清楚时安全。
对 A = ( a i j ) ∈ F m × n 、m , n ≥ 1 ,最常用的三种诱导范数为
‖ A ‖ 1 = max 1 ≤ j ≤ n ∑ i = 1 m | a i j | , ‖ A ‖ ∞ = max 1 ≤ i ≤ m ∑ j = 1 n | a i j | , 以及
‖ A ‖ 2 = σ max ( A ) . 若行数或列数为零,矩阵代表零映射,各范数均为零;此时不使用没有元素的最大值或最大奇异值记号。前两式分别是最大绝对列和与最大绝对行和。无穷范数的上界来自 | ( A x ) i | ≤ ∑ j | a i j | ‖ x ‖ ∞ ;选最大行和对应的行,再选各 x j 的符号或复相位使这一行的各项同向,就能取到上界。列和公式可用最大列对应的单位向量取到。因此二者确实是最坏方向的放大量;2 -范数由最大奇异值给出。Frobenius 范数
‖ A ‖ F = ( ∑ i , j | a i j | 2 ) 1 / 2 = ( ∑ i σ i 2 ) 1 / 2 也次乘,并满足 ‖ A x ‖ 2 ≤ ‖ A ‖ F ‖ x ‖ 2 ,但在维数大于一时不是某个同空间向量范数的诱导矩阵范数:任何这样的诱导范数都有 ‖ I ‖ = 1 ,而 ‖ I n ‖ F = n 。奇异值还给出
‖ A ‖ 2 ≤ ‖ A ‖ F ≤ rank ( A ) ‖ A ‖ 2 , 所以二者可以互相估计,维数因子却不能无声省略。
直觉
向量范数规定输入和输出各自怎样量尺寸,诱导矩阵范数就在这套尺子下寻找最容易被放大的方向。变量若带不同物理单位,先选缩放再量范数尤其重要;否则“最大增益”可能只是单位换算的产物。换一种向量范数或坐标尺度,同一矩阵的数值大小都会改变。
Frobenius 范数采用另一幅图像:它把矩阵的全部元素,等价地全部奇异值,当作一个长向量计算总能量。它容易求、对酉变换不变,却不直接回答某个单位输入最多会被放大多少。把两类范数都统称为 operator norm,会抹掉这个区别。
例子与边界
取
A = ( 1 − 2 3 0 ) . 最大列和与最大行和分别给出
‖ A ‖ 1 = 4 , ‖ A ‖ ∞ = 3 , 而 ‖ A ‖ F = 14 。同时 ‖ A ∗ ‖ 1 = ‖ A ‖ ∞ ,这项恒等式允许用转置在行和、列和之间切换。由于
A ∗ A = ( 10 − 2 − 2 4 ) 的最大特征值为 7 + 13 ,所以 ‖ A ‖ 2 = 7 + 13 ≈ 3.2566 。这些数都正确,只是在回答不同的尺度问题,不能省略下标后直接比较。
对正阶方阵,谱半径 ρ ( A ) = max i | λ i | 不超过任意诱导范数,但通常不等于它。非正规矩阵
B M = ( 1 M 0 1 ) 的谱半径恒为 1 ,而 ‖ B M ‖ 2 随 | M | 增大。这说明特征值只描述不变方向上的渐近伸缩,矩阵范数还会看见非正交方向之间的瞬时放大。
推论与应用
矩阵范数为线性系统条件数 公理库 线性方程组的条件数与扰动 Conditioning of linear systems · Matrix condition number 把一般问题条件性具体化为可逆线性系统的右端、系数矩阵与联合扰动界。 、残差到前向误差的转换、分解的后向误差与迭代收敛界提供共同尺度。次乘性允许把一串算子作用的误差逐层控制,而诱导范数的相容性保证矩阵界确实能约束向量误差。逐分量不等式 | Δ A | ≤ E 比单个 normwise 数字保留更多结构;需要时应先分析分量界,再按目标范数汇总。
奇异值分解 公理库 奇异值分解 Singular value decomposition · SVD 任意有限维线性映射都可在正交规范基下表示为非负对角伸缩。 解释 2 -范数和 Frobenius 范数的谱表达;选择 1 -范数或无穷范数时,则可使用矩阵元素直接计算或估计。工程报告必须写明使用的范数,因为“条件数大”或“扰动小”在没有下标时并不是完整结论。
对正阶 Hermitian 随机误差 S ,‖ S ‖ 2 = sup ‖ x ‖ 2 = 1 | x ∗ S x | ,所以一个谱范数界就是全部方向的统一二次型界。矩阵 Bernstein 不等式 公理库 矩阵 Bernstein 不等式 Matrix Bernstein inequality · 矩阵伯恩斯坦不等式 用逐项谱范数与矩阵方差控制独立中心化 Hermitian 矩阵和,借助 Lieb 凹性完成非交换指数矩证明,并计算随机图邻接矩阵的统一方向误差。 据此控制独立中心化矩阵之和;其方差参数是 ‖ ∑ k E X k 2 ‖ 2 ,保留了各项在不同方向上累积的结构。
参考资料
Lloyd N. Trefethen and David Bau III, Numerical Linear Algebra , SIAM, 1997, Lectures 3 and 4.
Nicholas J. Higham, Accuracy and Stability of Numerical Algorithms , 2nd ed., SIAM, 2002, Ch. 6.
LAPACK Users’ Guide, 3rd ed., SIAM, 1999, How to Measure Errors ,Table 4.2 的向量与矩阵范数。