形式陈述
本页设 X 是有限维实内积空间 公理库 内积空间 Inner product space 带正定对称双线性形式或正定 Hermitian 半双线性形式的向量空间。 ,并用内积把连续对偶空间 X ∗ 与 X 识别。设 f : X → R ∪ { + ∞ } 是 proper 函数,即不恒为 + ∞ 且不取 − ∞ 。Fenchel 共轭定义为
f ∗ ( y ) = sup x ∈ X ( ⟨ y , x ⟩ − f ( x ) ) , y ∈ X . 对任意 x , y ∈ X ,由上确界定义立即得到 Fenchel–Young 不等式
f ( x ) + f ∗ ( y ) ≥ ⟨ y , x ⟩ . 共轭是一族连续仿射函数的上确界,所以总是凸且下半连续,但可能恒为 + ∞ 。若 f 为 proper 凸函数 公理库 凸函数 Convex function 函数在任意凸组合处不超过相同权重下函数值的凸组合。 ,Fenchel–Young 等号当且仅当
y ∈ ∂ f ( x ) , 这由整理上确界条件直接看出:f ( z ) ≥ f ( x ) + ⟨ y , z − x ⟩ 对每个 z 成立,正是次梯度不等式 公理库 次梯度与次微分 Subgradient · Subdifferential 以全局仿射下界刻画凸函数在不可微点的支撑斜率集合。 。若再假设 f 闭(即下半连续),则也等价于 x ∈ ∂ f ∗ ( y ) ;同一 proper 闭凸假设下,Fenchel–Moreau 定理给出 f ∗ ∗ = f 。一般函数若有仿射下界,双共轭恢复其下半连续凸包;若连一个仿射下界都没有,则 f ∗ ≡ + ∞ 、f ∗ ∗ ≡ − ∞ 。例如 f ( x ) = − x 2 就属于后一种情形,不能把它的双共轭当成普通实值函数。
直觉
固定对偶方向 y 后,⟨ y , x ⟩ 是一族线性评价。f ∗ ( y ) 记录这条线性评价超过 f 的最大幅度,也就是要把它整体下移多少,才能成为 f 的全局仿射下界。Fenchel–Young 不等式不是额外的神秘估计,而是说“某个 x 给出的候选值不会超过对所有 x 取得的上确界”。当等号成立时,这条仿射函数恰好在 x 处贴住 f ,其斜率正是次梯度。
例子与边界
令 f ( x ) = 1 2 ‖ x ‖ 2 。配方得到
f ∗ ( y ) = sup x ( ⟨ y , x ⟩ − 1 2 ‖ x ‖ 2 ) = 1 2 ‖ y ‖ 2 , 上确界在 x = y 取得。Fenchel–Young 因而化为 1 2 ‖ x ‖ 2 + 1 2 ‖ y ‖ 2 ≥ ⟨ x , y ⟩ ,等号恰在 x = y 时成立。若 f = δ C 是集合 C 的指标函数——在 C 上为零、外部为 + ∞ ——则 f ∗ ( y ) = sup x ∈ C ⟨ y , x ⟩ ,即支撑函数。
另一个可直接算出的共轭是 f ( x ) = λ ‖ x ‖ 1 (λ > 0 )。若 ‖ y ‖ ∞ ≤ λ ,逐坐标有 y j x j ≤ λ | x j | ,故 ⟨ y , x ⟩ − f ( x ) ≤ 0 ,且 x = 0 取到零。若某个 | y j | > λ ,取 x = t sign ( y j ) e j 并令 t → ∞ ,共轭表达式为 t ( | y j | − λ ) → ∞ 。因此
( λ ‖ ⋅ ‖ 1 ) ∗ ( y ) = δ { y : ‖ y ‖ ∞ ≤ λ } ( y ) . 在这个球内,Fenchel–Young 等号是 λ ‖ x ‖ 1 = ⟨ y , x ⟩ :非零坐标强制 y j = λ sign ( x j ) ,零坐标允许整个闭区间。Lasso 对偶证书 公理库 Lasso 的最优性与对偶间隙 Lasso optimality conditions · Lasso duality gap · Lasso primal-dual certificate 从残差相关性核验 Lasso 的零与非零坐标,并用可行对偶值认证剩余优化误差。 将这里的 y 取为 A T θ ,于是惩罚的共轭直接产生对偶可行域,等号条件则恢复坐标最优性。
闭性不能从双共轭结论中删去。例如在 R 上令 f ( x ) = 0 (x > 0 )、f ( x ) = + ∞ (x ≤ 0 ),它是 proper 凸函数,却在原点不下半连续;双共轭把定义域补成 [ 0 , ∞ ) ,所以 f ∗ ∗ ( 0 ) = 0 ≠ f ( 0 ) 。共轭也允许取 + ∞ ,这不是计算失败,而是该对偶方向没有有限支撑代价。无限维推广需要 Hausdorff 局部凸拓扑与连续对偶,不能在没有结构说明时把 y 直接写成另一个原空间向量。
推论与应用
等号条件把本页与次微分 公理库 次梯度与次微分 Subgradient · Subdifferential 以全局仿射下界刻画凸函数在不可微点的支撑斜率集合。 双向连接,并把求解最优性改写为原—对偶配对。Lagrange 对偶 公理库 拉格朗日对偶 Lagrange duality 通过拉格朗日函数构造原问题下界的对偶问题,并研究弱对偶、强对偶与最优性条件。 可借共轭消去原变量,Fenchel 对偶则直接比较若干函数的共轭;许多经典不等式也可视为 Fenchel–Young 的特例。共轭还控制近端算子 公理库 近端算子 Proximal operator · Proximity operator 在降低凸函数值与保持靠近输入点之间取得精确平衡的单值算子。 的对偶关系,例如 Moreau 分解把一个闭凸函数及其共轭的 prox 组合成恒等映射。
复合问题的 Fenchel 对偶 公理库 Fenchel 对偶与原对偶单调包含 Fenchel duality · Primal-dual monotone inclusion 从复合凸问题的相对内部资格推出对偶乘子,以两份 Fenchel 等号认证最优,再构造极大单调系统并手算完整预解轨道。 把两份等号配成完整证书:对 f ( x ) + g ( A x ) 分别取斜率 − A T y 与 y ,线性项抵消,剩下的两份非负余量恰是原对偶间隙。该页证明相对内部资格怎样产生乘子,并用 1 2 ( x − 3 ) 2 + | 2 x | 复算原、对偶共同最优值四。
概率中的凸共轭有一个可核验的双向接口:Cramér 定理 公理库 Cramér 大偏差定理 Cramer theorem for large deviations 以指数倾斜补足 Chernoff 上界,得到 IID 样本均值的完整大偏差速率。 从对数矩母函数得到均值速率,Varadhan 积分引理 公理库 Varadhan 积分引理 Varadhan integral lemma 由大偏差速率计算指数积分的主导增长率,把概率成本与指数奖励相减后最大化。 则从速率计算指数奖励的增长率。两个方向都需概率与尾部条件,不能只凭形式上的共轭符号交换。
参考资料
R. Tyrrell Rockafellar, Convex Analysis , Princeton University Press, 1970,§§12–13, conjugate convex functions and biconjugation。
Stephen Boyd and Lieven Vandenberghe, Convex Optimization , Cambridge University Press, 2004,§3.3, conjugate functions。