正交投影

正交投影把向量拆成目标子空间内的分量和垂直于它的残差。从 $P_{W}v$ 沿子空间移到另一个点 $x$，新增的位移与残差正交，距离平方便增加 $\Vert P_{W}v-x{\Vert }^2$。这一项在且仅在 $x=P_{W}v$ 时为零，因此投影点就是唯一最近点。

在 ${\mathbb{R}}^2$ 中投影到 $x$ 轴把 $(a,b)$ 送到 $(a,0)$。更一般地，投影到非零向量 $u$ 张成直线的公式为

例如把 $(2,1)$ 投到 $(1,1)$ 上得到 $(3/2,3/2)$，残差 $(1/2,-1/2)$ 与 $(1,1)$ 正交。在复一维空间中，$u=1$ 张成整个 $\mathbb{C}$，系数 $⟨1,i⟩=i$ 给出 $P_U(i)=i$；将待投影向量放在线性的第二个位置，便提取出它的坐标。

幂等性 $P^2=P$ 表示投影之后再次投影不变。正交投影的伴随公理库伴随算子Adjoint operator有限维内积空间中把线性映射从内积一侧移到另一侧的唯一算子。还满足 $P=P^{\ast }$；对幂等线性算子，这一条件等价于核与像正交。例如 $P(x,y)=(x+y,0)$ 是沿斜线 $x+y=0$ 到横轴的投影，虽满足 $P^2=P$，其核却不垂直于横轴，因此不是标准内积下的正交投影。

若目标子空间由线性无关列向量组成的矩阵 $B$ 张成，投影可写成 $Bc$。残差正交条件为 $B^{\ast }(v-Bc)=0$，解出 $c=(B^{\ast }B{)}^{-1}{B}^{\ast }v$，得到

Gram 矩阵 $B^{\ast }B$ 记录了基向量之间的配对；当列向量正交规范时，它等于 $I$，公式就化为坐标分量求和。

在内积空间公理库内积空间Inner product space带正定对称双线性形式或正定 Hermitian 半双线性形式的向量空间。中，正交规范基公理库正交规范基Orthonormal basis由单位长度且两两正交的向量组成的基。把投影化为坐标分量求和。将 $b$ 投到 $A$ 的列空间，就得到最小二乘拟合值公理库最小二乘与正规方程Least squares · Normal equations将目标向量正交投影到矩阵列空间，并以残差正交条件导出正规方程。；QR 或 SVD公理库用 QR 与 SVD 求最小二乘Least squares via QR · Least squares via SVD · Numerical least squares以 QR 作为满列秩最小二乘的默认计算路线，并用 SVD 处理秩亏、欠定和最小范数解。通过正交基实现这一计算。Fourier 截断同样保留选定频率的正交分量，将其余分量留在残差中。

在线性回归中，投影到设计列空间给拟合值，投影到正交补给残差。对满列秩设计矩阵，模型公理库线性回归统计模型Linear regression model · Linear model响应的条件均值由设计变量对未知系数线性表示，并显式规定误差结构的统计模型。的零条件均值使系数估计条件无偏；OLS 推断公理库普通最小二乘推断Ordinary least squares inference · OLS inference在线性模型假设下推导 OLS 系数分布、标准误及有限样本 t/F 推断。进一步用误差协方差计算标准误，并在经典正态同方差假设下得到精确的 $t/F$ 分布。这些概率结论在投影几何之上加入了对误差分布的描述。

在线梯度下降公理库在线梯度下降online gradient descent · OGD在每轮凸损失揭示后走一个投影次梯度步，并以距离势函数控制 regret。中的 ${\mathrm{\Pi }}_K(y)=\arg \underset{x\in K}{min}\Vert x-y{\Vert }_2$ 将最近点思想用于凸约束。欧氏空间中的非空闭凸集有唯一最近点，但投影一般是非线性的。例如投到区间 $[0,1]$ 得到截断函数 $min\{1,max\{0,y\}\}$：区间内的点保持原位，区间外的点移到最近端点。