Hilbert 空间投影定理

有限维空间中的垂足同时满足“误差垂直”和“距离最近”。投影定理把这一事实推广到无限维：闭性保证逼近的目标仍留在子空间，完备性保证逼近序列真的有极限。正交投影的存在是结论，不必预先假定。

最近点为何存在且唯一 ​

记 $d=\underset{y\in W}{inf}\Vert x-y\Vert$，选择 $w_n\in W$ 使 $\Vert x-w_n\Vert \to d$。平行四边形恒等式理路平行四边形恒等式的内积刻画Jordan–von Neumann theorem · Parallelogram law characterization范数来自实或复内积，当且仅当它满足平行四边形恒等式。给出

右边趋零，因此 $(w_n)$ 是 Cauchy 序列。$H$ 完备且 $W$ 闭，遂有 $w_n\to w\in W$，并且 $\Vert x-w\Vert =d$。

对 $v\in W$，沿 $w+tv$（$t\in \mathbb{R}$）移动不能减小距离，展开平方范数可得 $\mathrm{Re}⟨x-w,v⟩=0$。复空间再用 $iv$ 得虚部也为零，所以 $x-w\in W^{\perp }$。此时对任意 $y\in W$，

既证明最小性，也证明唯一性。对不同输入相加或数乘后，唯一正交分解仍成立，因此 $P_W$ 线性；再由 $\Vert P_{W}x\Vert \le \Vert x\Vert$ 得其连续性。

在 ${\ell }^2$ 中，投影到前 $n$ 个标准基向量的张成空间就是

平方误差为 $\sum _{k>n}|x_k{|}^2$。在 $L^2([0,1])$ 中把 $f(t)=t$ 投影到常函数空间，正交条件为 ${\int }_0^1(t-c)dt=0$，所以 $c=1/2$，最小平方误差为 ${\int }_0^1(t-1/2{)}^{2}dt=1/12$。投影到多个正交函数则给出 Fourier 截断与最小二乘逼近。

闭性不能省略。有限支撑序列构成 ${\ell }^2$ 的稠密非闭子空间；取 $x=(2^{-k}{)}_{k\ge 1}$，截断后的平方误差为 $4^{-n}/3\to 0$，但 $x$ 不在该子空间，所以距离下确界 $0$ 没有达到。

对一般非空闭凸集，Hilbert 空间中仍有唯一最近点，但所得映射未必线性。例如到 $[0,\mathrm{\infty })\subset \mathbb{R}$ 的投影是 $x\mapsto max(x,0)$。一般 Banach 空间甚至可能失去唯一性：${\mathbb{R}}^2$ 配 ${\ell }^{\mathrm{\infty }}$ 范数时，点 $(0,1)$ 到横轴的所有 $(t,0)$（$|t|\le 1$）都距离为 $1$。完备性本身不能替代内积几何。

投影定理把最小化问题转成正交方程，是最小二乘与正规方程理路最小二乘与正规方程Least squares · Normal equations将目标向量正交投影到矩阵列空间，并以残差正交条件导出正规方程。、Galerkin 方法理路Galerkin 方法Galerkin method · Galerkin discretization在有限维试探与检验空间中离散连续变分问题，并用 Galerkin 正交、Céa 准最优性及稳定条件组织误差。和 Fourier 展开的共同基础。取闭子空间为某个子 $\sigma$-代数上的 $L^2$ 随机变量，可把条件期望解释为同一种正交投影。它还推出 $W^{\perp \perp }=W$ 对闭线性子空间成立，并支撑 Riesz 表示定理的标准证明。