正交投影

正交投影把向量拆成“目标子空间能够解释的部分”和“与目标完全正交的残差”。垂直条件既让分解唯一，也让 Pythagoras 等式把最近点问题变成显然结论：从 $P_{W}v$ 沿子空间挪到任何别的点，只会额外增加一段平方距离。它不是沿任意补空间压过去的斜投影，而是由内积唯一选出的最小误差投影。

在 ${\mathbb{R}}^2$ 中投影到 $x$ 轴把 $(a,b)$ 送到 $(a,0)$。更一般地，投影到非零向量 $u$ 张成直线的公式为

例如把 $(2,1)$ 投到 $(1,1)$ 上得到 $(3/2,3/2)$，残差 $(1/2,-1/2)$ 与 $(1,1)$ 正交。复空间中槽位不可交换：在 $\mathbb{C}$ 中投到 $u=1$ 张成的空间实际应保持 $v=i$ 不变；正确公式给出 $⟨1,i⟩=i$，反向内积却会给出 $-i$。

任意幂等线性算子都是某个直和分解下的投影，但未必是正交投影；还需 $P=P^{\ast }$，或等价地核与像正交。若基不正交，不能简单把各个内积系数逐项相加，需要使用 Gram 矩阵求解系数，或先做正交化。无限维内积空间中，非闭子空间可能只有距离下确界却没有最近点；有限维子空间自动闭，因此有限维版本没有这层障碍。

内积空间公理库内积空间Inner product space带正定对称双线性形式或正定 Hermitian 半双线性形式的向量空间。中的正交分解给出投影，正交规范基公理库正交规范基Orthonormal basis由单位长度且两两正交的向量组成的基。使它化为坐标分量直接求和。把目标投到矩阵列空间会得到残差正交条件；其正规方程与秩亏解集见最小二乘与正规方程公理库最小二乘与正规方程Least squares · Normal equations将目标向量正交投影到矩阵列空间，并以残差正交条件导出正规方程。，实际计算为何默认使用QR 或 SVD公理库用 QR 与 SVD 求最小二乘Least squares via QR · Least squares via SVD · Numerical least squares以 QR 作为满列秩最小二乘的默认计算路线，并用 SVD 处理秩亏、欠定和最小范数解。则由数值页面说明。Fourier 截断、条件期望、信号逼近和线性回归因此共享同一个“取最近点”的几何内核。

在线性回归中，投影到设计列空间给拟合值，投影到正交补给残差；模型公理库线性回归统计模型Linear regression model · Linear model响应的条件均值由设计变量对未知系数线性表示，并显式规定误差结构的统计模型。的零条件均值使系数估计无偏，OLS 推断公理库普通最小二乘推断Ordinary least squares inference · OLS inference在线性模型假设下推导 OLS 系数分布、标准误及有限样本 t/F 推断。再以误差协方差和正态性推导标准误与 $t/F$ 分布。投影的最佳逼近是确定性几何事实，不等于概率模型正确或样本外预测有效。

在线梯度下降公理库在线梯度下降online gradient descent · OGD在每轮凸损失揭示后走一个投影次梯度步，并以距离势函数控制 regret。中的 ${\mathrm{\Pi }}_K(y)=\arg \underset{x\in K}{min}\Vert x-y{\Vert }_2$ 也写作“投影”，但 $K$ 通常是闭凸集而非线性子空间。欧氏空间中闭凸性保证最近点唯一；当 $K$ 不是子空间时，${\mathrm{\Pi }}_K$ 一般不线性，也不满足本页的核、像与自伴幂等刻画。例如投影到区间 $[0,1]$ 是截断函数 $min\{1,max\{0,y\}\}$。两类投影共享最近点几何，却不能把子空间公式原样用于一般凸约束。