凸共轭与 Fenchel–Young 不等式

固定对偶方向 $y$ 后，$⟨y,x⟩$ 是一族线性评价。$f^{\ast }(y)$ 记录这条线性评价超过 $f$ 的最大幅度，也就是要把它整体下移多少，才能成为 $f$ 的全局仿射下界。Fenchel–Young 不等式不是额外的神秘估计，而是说“某个 $x$ 给出的候选值不会超过对所有 $x$ 取得的上确界”。当等号成立时，这条仿射函数恰好在 $x$ 处贴住 $f$，其斜率正是次梯度。

令 $f(x)=\frac{1}{2}\Vert x{\Vert }^2$。配方得到

上确界在 $x=y$ 取得。Fenchel–Young 因而化为 $\frac{1}{2}\Vert x{\Vert }^2+\frac{1}{2}\Vert y{\Vert }^2\ge ⟨x,y⟩$，等号恰在 $x=y$ 时成立。若 $f={\delta }_C$ 是集合 $C$ 的指标函数——在 $C$ 上为零、外部为 $+\mathrm{\infty }$——则 $f^{\ast }(y)=\underset{x\in C}{sup}⟨y,x⟩$，即支撑函数。

另一个可直接算出的共轭是 $f(x)=\lambda \Vert x{\Vert }_1$（$\lambda >0$）。若 $\Vert y{\Vert }_{\mathrm{\infty }}\le \lambda$，逐坐标有 $y_j{x}_j\le \lambda |x_j|$，故 $⟨y,x⟩-f(x)\le 0$，且 $x=0$ 取到零。若某个 $|y_j|>\lambda$，取 $x=t\mathrm{sign}(y_j)e_j$ 并令 $t\to \mathrm{\infty }$，共轭表达式为 $t(|y_j|-\lambda )\to \mathrm{\infty }$。因此

在这个球内，Fenchel–Young 等号是 $\lambda \Vert x{\Vert }_1=⟨y,x⟩$：非零坐标强制 $y_j=\lambda \mathrm{sign}(x_j)$，零坐标允许整个闭区间。Lasso 对偶证书理路Lasso 的最优性与对偶间隙Lasso optimality conditions · Lasso duality gap · Lasso primal-dual certificate从残差相关性核验 Lasso 的零与非零坐标，并用可行对偶值认证剩余优化误差。将这里的 $y$ 取为 $A^T\theta$，于是惩罚的共轭直接产生对偶可行域，等号条件则恢复坐标最优性。

闭性不能从双共轭结论中删去。例如在 $\mathbb{R}$ 上令 $f(x)=0$（$x>0$）、$f(x)=+\mathrm{\infty }$（$x\le 0$），它是 proper 凸函数，却在原点不下半连续；双共轭把定义域补成 $[0,\mathrm{\infty })$，所以 $f^{\ast \ast }(0)=0\ne f(0)$。共轭也允许取 $+\mathrm{\infty }$，这不是计算失败，而是该对偶方向没有有限支撑代价。无限维推广需要 Hausdorff 局部凸拓扑与连续对偶，不能在没有结构说明时把 $y$ 直接写成另一个原空间向量。

等号条件把本页与次微分理路次梯度与次微分Subgradient · Subdifferential以全局仿射下界刻画凸函数在不可微点的支撑斜率集合。双向连接，并把求解最优性改写为原—对偶配对。Lagrange 对偶理路拉格朗日对偶Lagrange duality通过拉格朗日函数构造原问题下界的对偶问题，并研究弱对偶、强对偶与最优性条件。可借共轭消去原变量，Fenchel 对偶则直接比较若干函数的共轭；许多经典不等式也可视为 Fenchel–Young 的特例。共轭还控制近端算子理路近端算子Proximal operator · Proximity operator在降低凸函数值与保持靠近输入点之间取得精确平衡的单值算子。的对偶关系，例如 Moreau 分解把一个闭凸函数及其共轭的 prox 组合成恒等映射。

复合问题的 Fenchel 对偶理路Fenchel 对偶与原对偶单调包含Fenchel duality · Primal-dual monotone inclusion从复合凸问题的相对内部资格推出对偶乘子，以两份 Fenchel 等号认证最优，再构造极大单调系统并手算完整预解轨道。把两份等号配成完整证书：对 $f(x)+g(Ax)$ 分别取斜率 $-A^{\mathsf{T}}y$ 与 $y$，线性项抵消，剩下的两份非负余量恰是原对偶间隙。该页证明相对内部资格怎样产生乘子，并用 $\frac{1}{2}(x-3{)}^2+|2x|$ 复算原、对偶共同最优值四。

概率中的凸共轭有一个可核验的双向接口：Cramér 定理理路Cramér 大偏差定理Cramer theorem for large deviations以指数倾斜补足 Chernoff 上界，得到 IID 样本均值的完整大偏差速率。从对数矩母函数得到均值速率，Varadhan 积分引理理路Varadhan 积分引理Varadhan integral lemma由大偏差速率计算指数积分的主导增长率，把概率成本与指数奖励相减后最大化。则从速率计算指数奖励的增长率。两个方向都需概率与尾部条件，不能只凭形式上的共轭符号交换。

惩罚的几何改变时，同一共轭消元仍然适用，但对偶可行域随之改变。加权组范数理路组 Lasso 的块收缩与对偶证书Group Lasso proximal certificate · Block soft thresholding · 组软阈值对不相交变量组推导径向近端收缩，以整组残差相关性建立KKT和可行对偶间隙，并在耦合设计上认证停止。对应每组一个欧氏球；核范数理路核范数近端映射与奇异值软阈值Nuclear norm proximal map · Singular value soft thresholding · 核范数近端收缩推导核范数的完整次微分，以谱范数残差证明奇异值软阈值的唯一最优性，并区分核惩罚、截断SVD和逐项稀疏。对应谱范数球。两页把球内的 Fenchel 等号写成可复算最优性条件，而不是把标量盒约束原样搬过去。