最小二乘与正规方程

当线性方程 $Ax=b$ 无解时，问题不是强行命中 $b$，而是在 $A$ 的列空间中找离 $b$ 最近的点。最近点与误差方向成直角；正规方程只是把“残差与每一列都正交”同时写成矩阵等式。

几何上的最近点 $A{x}_{\star }$ 总唯一，但参数 $x_{\star }$ 未必唯一。若 $A$ 有零空间，沿零空间移动不会改变拟合向量，也不会改变残差。把预测唯一与参数唯一分开，是理解秩亏最小二乘的关键。

用直线 $y=\alpha +\beta t$ 拟合三点 $(0,1),(1,2),(2,2)$。令

正规方程为

解得 $\alpha =7/6$、$\beta =1/2$。此时 $A{x}_{\star }-b=(1/6,-1/3,1/6{)}^{\mathsf{T}}$；其分量和为零，与第一列正交，加权和 $0\cdot (1/6)+1\cdot (-1/3)+2\cdot (1/6)=0$，也与第二列正交。

$A^{\ast }A$ 不总可逆。若 $A=\left(\begin{array}{cc}1& 1\\ 1& 1\end{array}\right)$、$b=(1,1{)}^{\mathsf{T}}$，所有满足 $x_1+x_2=1$ 的参数都给出零残差，正规方程有无穷多解。最小二乘最小化的是残差 $\Vert Ax-b\Vert$，不是参数范数；只有另加“在所有最优解中取最小范数”时，Moore–Penrose 伪逆 $A^{+}b$ 才选出唯一参数。

数值实现应转向用 QR 与 SVD 求最小二乘公理库用 QR 与 SVD 求最小二乘Least squares via QR · Least squares via SVD · Numerical least squares以 QR 作为满列秩最小二乘的默认计算路线，并用 SVD 处理秩亏、欠定和最小范数解。：QR 在满列秩且条件尚可时避免显式形成 $A^{\ast }A$，SVD 则在秩亏或近秩亏时给出最小范数解并暴露有效数值秩。两者实现同一最小二乘目标，却在计算成本、稳定性和可诊断信息上承担不同角色。

当 $A$ 满列秩时，$A^{\ast }A$ 正定，正规方程给出

秩亏时仍可用奇异值分解公理库奇异值分解Singular value decomposition · SVD任意有限维线性映射都可在正交规范基下表示为非负对角伸缩。描述全部最优解和最小范数解。统计中的线性回归、信号重建和离散数据拟合都共享这一正交投影视角。

正规方程适合推导，却未必适合数值求解。满列秩时在二范数下通常有 $\kappa (A^{\ast }A)=\kappa (A{)}^2$，会放大舍入误差；实际计算更常使用 QR 分解或 SVD。Gram–Schmidt 过程公理库Gram–Schmidt 正交化Gram–Schmidt process把有限线性无关组逐步转化为张成同一子空间的正交规范组。解释 QR 的正交列构造，而 SVD 能稳定处理秩亏和近秩亏情形。