最小二乘与正规方程

矩阵 $A$ 的各列张成了所有可能的拟合向量 $Ax$。当 $b$ 落在这个空间之外时，最小二乘在其中寻找离 $b$ 最近的点；从最近点连向 $b$ 的误差方向与整个列空间垂直。正规方程把“残差与每一列都正交”同时写成了一个矩阵等式。

几何上的最近点 $A{x}_{\star }$ 总唯一，但参数 $x_{\star }$ 未必唯一。若 $A$ 有零空间，沿零空间移动不会改变拟合向量，也不会改变残差。把预测唯一与参数唯一分开，是理解秩亏最小二乘的关键。

用直线 $y=\alpha +\beta t$ 拟合三点 $(0,1),(1,2),(2,2)$。令

正规方程为

解得 $\alpha =7/6$、$\beta =1/2$。此时 $A{x}_{\star }-b=(1/6,-1/3,1/6{)}^{\mathsf{T}}$；其分量和为零，与第一列正交，加权和 $0\cdot (1/6)+1\cdot (-1/3)+2\cdot (1/6)=0$，也与第二列正交。

$A^{\ast }A$ 不总可逆。若 $A=\left(\begin{array}{cc}1& 1\\ 1& 1\end{array}\right)$、$b=(1,1{)}^{\mathsf{T}}$，所有满足 $x_1+x_2=1$ 的参数都给出零残差，正规方程有无穷多解。最小二乘最小化的是残差 $\Vert Ax-b\Vert$，不是参数范数；只有另加“在所有最优解中取最小范数”时，Moore–Penrose 伪逆 $A^{+}b$ 才选出唯一参数。

当 $A$ 满列秩时，$x^{\ast }{A}^{\ast }Ax=\Vert Ax{\Vert }_2^2$ 说明 $A^{\ast }A$ 正定公理库正定与半正定矩阵Positive definite matrix · Positive semidefinite matrix · PSD matrix由二次能量严格为正或非负定义的实对称与复 Hermitian 矩阵。，正规方程给出

这个公式适合描述解的结构。数值计算中，对至少有一列的满列秩矩阵，显式形成 $A^{\ast }A$ 会将二范数条件数公理库线性方程组的条件数与扰动Conditioning of linear systems · Matrix condition number把一般问题条件性具体化为可逆线性系统的右端、系数矩阵与联合扰动界。平方：${\kappa }_2(A^{\ast }A)={\kappa }_2(A{)}^2$，从而增加求解对舍入误差的敏感程度。QR 与 SVD 求解方法公理库用 QR 与 SVD 求最小二乘Least squares via QR · Least squares via SVD · Numerical least squares以 QR 作为满列秩最小二乘的默认计算路线，并用 SVD 处理秩亏、欠定和最小范数解。直接处理 $A$，避免先构造这个乘积。

QR 用正交列描述同一个列空间，再求解一个三角系统；Gram–Schmidt 过程公理库Gram–Schmidt 正交化Gram–Schmidt process把有限线性无关组逐步转化为张成同一子空间的正交规范组。展示了这些正交列如何构造。

在精确算术中保留全部正奇异值时，奇异值分解公理库奇异值分解Singular value decomposition · SVD任意有限维线性映射都可在正交规范基下表示为非负对角伸缩。还可在秩亏或欠定情形选出原问题的最小范数最优解。若数值实现把实际为正的小奇异值截去，得到的是截断矩阵的最小二乘解，一般不再最小化原矩阵的残差；阈值及其改变的模型必须另外说明。线性回归、信号重建和离散数据拟合都使用这一“先找最近拟合向量，再确定参数”的几何关系。