用 QR 与 SVD 求最小二乘

最小二乘的几何目标是把 $b$ 投到列空间。QR 先给列空间铺设一组正交坐标，再在这组不会放大 $2$-范数的坐标中解三角系统；SVD 进一步找出每个输入方向被压缩多少，所以能看见哪些参数方向几乎无法由数据辨认。

正规方程把“残差正交”写得最简洁，却先把 $A$ 与自身做内积。近共线列在这个过程中变得更难区分：原本已经很小的奇异值被平方，舍入和数据噪声更容易盖住它。几何真理和推荐计算路线因此应分开陈述。

取 $n=8$ 的 Vandermonde 矩阵，节点为

并令

在 binary64 的 $2$-范数估计中，

而

两者吻合。等距节点上的幂基列高度相关，形成 $A^{\mathsf{T}}A$ 后奇异值被平方，原问题允许的有效数字明显减少。QR 直接作用于 $A$，SVD 直接展示其奇异方向，都避开了这次人为平方。

小预测残差也不保证参数可信。若 $A$ 的两列近乎共线，沿两列差方向大幅改变系数，$Ax$ 可能几乎不变；拟合值和残差仍稳定，单个系数却对数据噪声极其敏感。报告应同时给残差、数值秩或奇异值尺度和参数条件性，不能把“拟合得好”改写成“参数估得准”。

SVD 的另一边界是阈值选择。把一个小奇异值计为零会减小系数范数并提高抗噪性，也会改变所解的有效模型；阈值必须作为建模和误差选择公开，而不是宣称伪逆自动发现唯一正确秩。

例如 $A=\mathrm{diag}(1,\epsilon )$、$b=(0,\epsilon {)}^{\mathsf{T}}$，其中 $0<\epsilon <\tau <1$。原矩阵可逆，$A^{†}b=(0,1{)}^{\mathsf{T}}$ 的残差为零；按阈值 $\tau$ 截掉第二个奇异值后，$A_{\tau }^{†}b=0$，在原问题中的残差范数却为 $\epsilon$。截断可以是合理的抗噪选择，但它解决了一个明确改变过的问题。

选择 QR、带列主元 QR 或 SVD 时，线性方程组的条件数与扰动公理库线性方程组的条件数与扰动Conditioning of linear systems · Matrix condition number把一般问题条件性具体化为可逆线性系统的右端、系数矩阵与联合扰动界。给出分界：满秩且谱间隔健康时 QR 足够，近秩亏时小奇异值同时放大解敏感度并要求显式秩截断。

正交投影公理库正交投影Orthogonal projection把向量映到子空间上最近点并使误差与子空间正交的线性算子。和正规方程保留最小二乘的存在性、最优性与解集几何，本页只负责如何可靠计算。满列秩、尺度合理的稠密问题默认采用 Householder QR；秩亏、欠定、近秩亏或需要最小范数解时采用 SVD；列主元 QR 可作为成本与秩揭示能力之间的中间方案。

列主元 QR公理库列主元 QR 与数值秩证书Column-pivoted QR · CPQR · QR with column pivoting按变换后尾列的长度选择主元，以保留块的条件性和舍弃块的误差共同判断数值秩。把秩判断拆成保留块的条件性与尾块的舍弃误差，并记录参数置换。秩亏时，直接把未选变量置零得到的基本解一般不是最小范数解；需要完全正交分解的后续步骤或 SVD 才能履行最小范数要求。

成熟 LAPACK 驱动分别提供 QR、带列主元的完全正交分解与 SVD 路线。调用时还需保存秩判定、残差和缩放信息；只返回一组系数而不说明算法与阈值，会让读者无法判断结果的数值含义。

线性平方损失的隐式偏置公理库线性平方损失的隐式偏置Implicit bias in linear regression · Gradient descent minimum-norm bias · 线性回归隐式正则化证明固定步长梯度下降在任意线性平方损失上保留初始零空间分量，并选择离初值最近的最小二乘解。说明，精确梯度下降在适当常步长下也会选出一个最小二乘解；它等于伪逆解加初始零空间投影。只有初始核分量为零时，这条迭代路线才与最小范数要求一致。