Gram–Schmidt 正交化

每一步都把新向量拆成两部分：一部分已经能由旧方向解释，另一部分是旧子空间从未见过的新方向。把前者逐项减去便得到残差 $w_j$；它与所有旧的 $u_i$ 正交，归一化后成为新的单位坐标轴。这个过程只删除重复方向，没有删除新信息，所以每一步的张成空间都保持不变。

由 $v_1=(1,1)$、$v_2=(1,0)$ 出发，先得到

第二步为

所以 $u_2=(1,-1)/\sqrt{2}$。若输入中含有依赖向量，则相应残差为零：该向量已在先前的张成空间内。跳过零残差、继续处理后续向量，仍可为全部输入的张成空间提取正交规范基。

上述递推是经典 Gram–Schmidt：先用原向量 $v_j$ 算出全部投影系数，再一起减去。浮点运算中，相近向量相减会放大相对误差，使残差偏离精确的正交方向。改进 Gram–Schmidt 则令 $r=v_j$，每次用当前残差计算 $⟨u_i,r⟩$ 并立即更新 $r$；这种逐次消去通常更能保持正交性。稠密矩阵的数值分解还常用Householder 反射理路Householder 反射Householder reflection · Householder transformation用一个向量紧凑表示酉反射，把整段向量化到单一坐标方向，并作为稳定 QR 的基本原语。构造QR 分解理路QR 分解QR factorization · QR decomposition · Economy-size QR把长方矩阵分解为正交列与上三角因子，并区分经济型表示、数值算法和秩亏边界。。

该过程为线性无关理路线性无关Linear independence只有全零系数能产生零向量的向量组。组的张成空间构造正交规范基理路正交规范基Orthonormal basis由单位长度且两两正交的向量组成的基。。把 $k$ 个输入向量排成 $A\in F^{m\times k}$ 的列，输出排成 $Q\in F^{m\times k}$ 的列，就有 $A=QR$。这里 $R\in F^{k\times k}$ 为上三角矩阵：第 $j$ 列的上方条目是投影系数 $⟨u_i,v_j⟩$，对角条目是残差长度 $\Vert w_j\Vert$，下方条目为零。

在满列秩的最小二乘理路最小二乘与正规方程Least squares · Normal equations将目标向量正交投影到矩阵列空间，并以残差正交条件导出正规方程。问题中，把 $b$ 投影到 $Q$ 的列空间后，求解上三角方程 $Rx=Q^{\ast }b$ 即可得到最优系数。这条QR 计算路线理路用 QR 与 SVD 求最小二乘Least squares via QR · Least squares via SVD · Numerical least squares以 QR 作为满列秩最小二乘的默认计算路线，并用 SVD 处理秩亏、欠定和最小范数解。直接使用正交坐标，保留了投影的几何结构。

对 $1,x,x^2,\dots$ 按积分内积依次正交化，则得到正交多项式：第 $j$ 步减去低次多项式方向，保留一个与它们全部正交的新多项式。