投影梯度法

负梯度给无约束局部下降方向，但它可能把点带出可行集。投影选择离这个不可行候选最近的可行点，相当于保留梯度步中与可行几何相容的部分。若候选越过平滑边界，投影会去掉外法向分量；在角点，多个活跃面共同改变方向。每轮保持可行使中间点也能被应用系统接受，而不是只在最后修复约束。

欧氏最近并不总是计算或建模上最自然。单纯形、球和盒的投影有高效公式，但一般多面体投影本身是一个二次规划；若它比原问题还难，算法名称没有降低成本。镜像下降用 Bregman 散度替代平方欧氏距离，近端梯度则用一般凸惩罚替代指标函数。选择哪一种取决于集合与正则项的可计算结构。

在概率单纯形

上最小化 $f(x)=\frac{1}{2}\Vert (x_1,x_2)-(2,-1){\Vert }_2^2$。从任意 $x_0\in C$ 取 $\alpha =1$，无约束候选恒为 $y=(2,-1)$。其到线段 $C$ 的欧氏投影是 $x_1=(1,0)$：写 $x=(t,1-t)$ 后，距离平方为 $(t-2{)}^2+(2-t{)}^2=2(t-2{)}^2$，在 $t\in [0,1]$ 上由端点 $t=1$ 取得最小。

在 $x^{\ast }=(1,0)$ 处，梯度为 $(-1,1)$。任意 $x=(t,1-t)\in C$ 满足

所以它确为全局解，尽管梯度不为零。若 $C$ 非凸，最近点可能不唯一，例如把 $C$ 取为两个孤立点时，等距候选会产生多值投影，标准固定点与收敛证明即失效。步长过大仍会在切向方向振荡；“每轮可行”并不等于“每轮下降”。近似投影若没有误差界，也不能沿用精确算法的速率。

令 $h={\delta }_C$ 为 $C$ 的凸指标函数，则 ${\mathrm{prox}}_{\alpha h}=P_C$，所以对凸且具有全空间 Lipschitz 梯度的 $f$，上述更新就是近端梯度法理路近端梯度法Proximal gradient method对复合目标的光滑项取显式梯度步、对非光滑凸项取隐式近端步的算法。在指标函数复合项下的特殊情形；其收敛结论仍采用该页的解存在与固定正步长假设。另一方面，在镜像下降理路镜像下降法Mirror descent method · Bregman gradient method用强凸镜像映射生成的 Bregman 几何执行线性化损失更新的约束一阶算法。中选欧氏镜像映射 $\psi (x)=\frac{1}{2}\Vert x{\Vert }_2^2$，其 Bregman 散度正是平方欧氏距离，更新也精确化为投影梯度。这里选取凸目标，并取镜像函数的 $D=U={\mathbb{R}}^n$；于是任意 $x_0\in C$ 都属于 $C\cap U$，投影后的点也满足同一条件，包括约束边界上的点。一般负熵镜像更新不是欧氏投影。

若 $f$ 是全空间上的 $L$-光滑凸函数（$L>0$）、$C$ 闭凸且解存在，取固定 $0<\alpha \le 1/L$ 可得 $O(1/k)$ 的函数值率；强凸时可加强。盒约束的投影是逐坐标截断，球约束是径向缩放，单纯形投影可由排序阈值完成。程序还应检查投影后的可行残差，因为浮点容差可能让理论上的可行点轻微越界；对严格安全约束，这个误差必须进入输出契约。