最小二乘与正规方程

形式陈述 ​

设 $F=\mathbb{R}$ 或 $\mathbb{C}$，$A\in F^{m\times n}$，$b\in F^m$。最小二乘问题是

$$\underset{x\in F^n}{min}\Vert Ax-b{\Vert }_2^2.$$

向量 $x_{\star }$ 是最优解，当且仅当残差 $r_{\star }=b-A{x}_{\star }$ 与列空间 $\mathrm{col}(A)$ 正交；等价地，

$$A^{\ast }(A{x}_{\star }-b)=0,A^{\ast }A{x}_{\star }=A^{\ast }b.$$

后一个方程称为正规方程。最优解总存在，因为有限维列空间闭，正交投影公理库正交投影Orthogonal projection把向量映到子空间上最近点并使误差与子空间正交的线性算子。 $p=P_{\mathrm{col}(A)}b$ 存在，再任选 $x_{\star }$ 使 $A{x}_{\star }=p$ 即可。解唯一当且仅当 $\ker A=\{0\}$，也就是 $A$ 满列秩；一般解集为 $x_{\star }+\ker A$。

证明最优性的直接形式也很清楚。对任意增量 $h$，若 $A^{\ast }(A{x}_{\star }-b)=0$，则

$$\Vert A(x_{\star }+h)-b{\Vert }_2^2=\Vert A{x}_{\star }-b{\Vert }_2^2+\Vert Ah{\Vert }_2^2,$$

交叉项因正交而消失，所以 $x_{\star }$ 最优。反过来，若残差不与某个 $Ah$ 正交，沿 $h$ 或 $ih$ 的适当小步移动会降低目标值，矛盾。

直觉 ​

当线性方程 $Ax=b$ 无解时，问题不是强行命中 $b$，而是在 $A$ 的列空间中找离 $b$ 最近的点。最近点与误差方向成直角；正规方程只是把“残差与每一列都正交”同时写成矩阵等式。

几何上的最近点 $A{x}_{\star }$ 总唯一，但参数 $x_{\star }$ 未必唯一。若 $A$ 有零空间，沿零空间移动不会改变拟合向量，也不会改变残差。把预测唯一与参数唯一分开，是理解秩亏最小二乘的关键。

例子与边界 ​

用直线 $y=\alpha +\beta t$ 拟合三点 $(0,1),(1,2),(2,2)$。令

$$A=\left(\begin{array}{cc}1& 0\\ 1& 1\\ 1& 2\end{array}\right),b=\left(\begin{array}{c}1\\ 2\\ 2\end{array}\right).$$

正规方程为

$$\left(\begin{array}{cc}3& 3\\ 3& 5\end{array}\right)(\genfrac{}{}{0ex}{}{\alpha }{\beta })=(\genfrac{}{}{0ex}{}{5}{6}),$$

解得 $\alpha =7/6$、$\beta =1/2$。此时 $A{x}_{\star }-b=(1/6,-1/3,1/6{)}^{\mathsf{T}}$；其分量和为零，与第一列正交，加权和 $0\cdot (1/6)+1\cdot (-1/3)+2\cdot (1/6)=0$，也与第二列正交。

$A^{\ast }A$ 不总可逆。若 $A=\left(\begin{array}{cc}1& 1\\ 1& 1\end{array}\right)$、$b=(1,1{)}^{\mathsf{T}}$，所有满足 $x_1+x_2=1$ 的参数都给出零残差，正规方程有无穷多解。最小二乘最小化的是残差 $\Vert Ax-b\Vert$，不是参数范数；只有另加“在所有最优解中取最小范数”时，Moore–Penrose 伪逆 $A^{+}b$ 才选出唯一参数。

推论与应用 ​

当 $A$ 满列秩时，$A^{\ast }A$ 正定，正规方程给出

$$x_{\star }=(A^{\ast }A{)}^{-1}{A}^{\ast }b.$$

秩亏时仍可用奇异值分解公理库奇异值分解Singular value decomposition · SVD任意有限维线性映射都可在正交规范基下表示为非负对角伸缩。描述全部最优解和最小范数解。统计中的线性回归、信号重建和离散数据拟合都共享这一正交投影视角。

正规方程适合推导，却未必适合数值求解。满列秩时在二范数下通常有 $\kappa (A^{\ast }A)=\kappa (A{)}^2$，会放大舍入误差；实际计算更常使用 QR 分解或 SVD。Gram–Schmidt 过程公理库Gram–Schmidt 正交化Gram–Schmidt process把有限线性无关组逐步转化为张成同一子空间的正交规范组。解释 QR 的正交列构造，而 SVD 能稳定处理秩亏和近秩亏情形。

参考资料

• Gilbert Strang, MIT 18.06, lecture notes on projections and least squares.
• Gene H. Golub and Charles F. Van Loan, Matrix Computations, 4th ed., Johns Hopkins University Press, 2013, Chapter 5.