Skip to content

定义Definition

凸共轭与 Fenchel–Young 不等式

Convex conjugate · Fenchel conjugate · Fenchel–Young inequality

以线性函数的最佳配对代价定义共轭,并导出原变量与对偶变量间的基本不等式。

形式陈述 ​

本页设 X 是有限维实内积空间,并用内积把连续对偶空间 X∗ 与 X 识别。设 f:X→R∪{+∞} 是 proper 函数,即不恒为 +∞ 且不取 −∞。Fenchel 共轭定义为

f∗(y)=supx∈X(⟨y,x⟩−f(x)),y∈X.

对任意 x,y∈X,由上确界定义立即得到 Fenchel–Young 不等式

f(x)+f∗(y)≥⟨y,x⟩.

共轭是一族连续仿射函数的上确界,所以总是凸且下半连续,但可能恒为 +∞。若 f 为 proper 凸函数,Fenchel–Young 等号当且仅当

y∈∂f(x),

这由整理上确界条件直接看出:f(z)≥f(x)+⟨y,z−x⟩ 对每个 z 成立,正是次梯度不等式。若再假设 f 闭(即下半连续),则也等价于 x∈∂f∗(y);同一 proper 闭凸假设下,Fenchel–Moreau 定理给出 f∗∗=f。一般函数若有仿射下界,双共轭恢复其下半连续凸包;若连一个仿射下界都没有,则 f∗≡+∞、f∗∗≡−∞。例如 f(x)=−x2 就属于后一种情形,不能把它的双共轭当成普通实值函数。

直觉

固定对偶方向 y 后,⟨y,x⟩ 是一族线性评价。f∗(y) 记录这条线性评价超过 f 的最大幅度,也就是要把它整体下移多少,才能成为 f 的全局仿射下界。Fenchel–Young 不等式不是额外的神秘估计,而是说“某个 x 给出的候选值不会超过对所有 x 取得的上确界”。当等号成立时,这条仿射函数恰好在 x 处贴住 f,其斜率正是次梯度。

例子与边界

令 f(x)=12‖x‖2。配方得到

f∗(y)=supx(⟨y,x⟩−12‖x‖2)=12‖y‖2,

上确界在 x=y 取得。Fenchel–Young 因而化为 12‖x‖2+12‖y‖2≥⟨x,y⟩,等号恰在 x=y 时成立。若 f=δC 是集合 C 的指标函数——在 C 上为零、外部为 +∞——则 f∗(y)=supx∈C⟨y,x⟩,即支撑函数。

另一个可直接算出的共轭是 f(x)=λ‖x‖1(λ>0)。若 ‖y‖∞≤λ,逐坐标有 yjxj≤λ|xj|,故 ⟨y,x⟩−f(x)≤0,且 x=0 取到零。若某个 |yj|>λ,取 x=tsign(yj)ej 并令 t→∞,共轭表达式为 t(|yj|−λ)→∞。因此

(λ‖⋅‖1)∗(y)=δ{y:‖y‖∞≤λ}(y).

在这个球内,Fenchel–Young 等号是 λ‖x‖1=⟨y,x⟩:非零坐标强制 yj=λsign(xj),零坐标允许整个闭区间。Lasso 对偶证书将这里的 y 取为 ATθ,于是惩罚的共轭直接产生对偶可行域,等号条件则恢复坐标最优性。

闭性不能从双共轭结论中删去。例如在 R 上令 f(x)=0(x>0)、f(x)=+∞(x≤0),它是 proper 凸函数,却在原点不下半连续;双共轭把定义域补成 [0,∞),所以 f∗∗(0)=0≠f(0)。共轭也允许取 +∞,这不是计算失败,而是该对偶方向没有有限支撑代价。无限维推广需要 Hausdorff 局部凸拓扑与连续对偶,不能在没有结构说明时把 y 直接写成另一个原空间向量。

推论与应用

等号条件把本页与次微分双向连接,并把求解最优性改写为原—对偶配对。Lagrange 对偶可借共轭消去原变量,Fenchel 对偶则直接比较若干函数的共轭;许多经典不等式也可视为 Fenchel–Young 的特例。共轭还控制近端算子的对偶关系,例如 Moreau 分解把一个闭凸函数及其共轭的 prox 组合成恒等映射。

复合问题的 Fenchel 对偶把两份等号配成完整证书:对 f(x)+g(Ax) 分别取斜率 −ATy 与 y,线性项抵消,剩下的两份非负余量恰是原对偶间隙。该页证明相对内部资格怎样产生乘子,并用 12(x−3)2+|2x| 复算原、对偶共同最优值四。

概率中的凸共轭有一个可核验的双向接口:Cramér 定理从对数矩母函数得到均值速率,Varadhan 积分引理则从速率计算指数奖励的增长率。两个方向都需概率与尾部条件,不能只凭形式上的共轭符号交换。

参考资料
  • R. Tyrrell Rockafellar, Convex Analysis, Princeton University Press, 1970,§§12–13, conjugate convex functions and biconjugation。
  • Stephen Boyd and Lieven Vandenberghe, Convex Optimization, Cambridge University Press, 2004,§3.3, conjugate functions。
关系图谱16 个相邻概念 · 2 类关系

拖动节点调整位置。

显示关系

显示:依赖

  1. 前置三跳
  2. 前置二跳
  3. 前置一跳
  4. 当前条目
  5. 后续一跳
  6. 后续二跳
  7. 后续三跳
文字版关系按与当前条目的最短距离分组
类型化关系