Skip to content

强凸性

Strong convexity · Strongly convex function

函数在一阶凸下界之外还保留统一二次增长量的曲率性质。

条目类型
定义

形式陈述 ​

设 C⊆Rn 为凸集,并为 Rn 选定范数 ‖⋅‖,从而得到实赋范向量空间;取 μ>0。函数 f:C→R 称关于该范数为 μ-强凸,若对 x,y∈C 与 θ∈[0,1],

f((1−θ)x+θy)≤(1−θ)f(x)+θf(y)−μ2θ(1−θ)‖x−y‖2.

这是一类严格的凸函数,故在 metadata 中记录为其特殊情形,而不是把“强凸”当作学习凸性的另一名称。若 f 在 C 的邻域可微,上式等价于

f(y)≥f(x)+⟨∇f(x),y−x⟩+μ2‖y−x‖2.

当所选范数为欧氏范数时,它也等价于 x↦f(x)−μ2‖x‖22 凸;若进一步有 C 开且 f∈C2(C),则又等价于 ∇2f(x)⪰μI。可微强凸性还推出梯度的强单调性

⟨∇f(x)−∇f(y),x−y⟩≥μ‖x−y‖2.
直觉

普通凸性只要求图像不低于切平面,允许沿某些方向完全平坦;强凸性要求图像至少像曲率为 μ 的抛物面那样离开每个切平面。因而 μ 是统一的曲率下界:它排除宽阔平台,也阻止两个不同点同时成为极小点。这个下界与光滑性的曲率上界方向相反;强凸并不自动给梯度变化的有限上界。

强凸性把“目标值接近最优”转成“点接近最优”。若 x∗ 是 f 在 C 上的极小点且 f 可微,一阶最优性给 ⟨∇f(x∗),x−x∗⟩≥0;与一阶强凸不等式合并可得

f(x)−f(x∗)≥μ2‖x−x∗‖2.

因此函数值误差趋零必然迫使迭代点趋向唯一的 x∗。没有这类增长条件时,函数值可以几乎不变而点在平坦解集上移动。常数还依赖范数和坐标尺度;把变量做线性变换,最合适的 μ 会改变,所以比较算法时必须同时写明几何。

例子与边界

令

f(x1,x2)=x12+4x22=12x⊤diag(2,8)x.

Hessian 的最小特征值为 2,故 f 关于欧氏范数是 2-强凸;沿 e1 方向二次余量正好等于 22‖te1‖22=t2,说明不能取更大的全局常数。它的梯度 Lipschitz 常数为 8,于是曲率比为 8/2=4。从 x=(1,1) 到极小点 0,实际函数值差为 5,二次增长下界为 22‖(1,1)‖22=2;二者都能直接复算,但下界只承诺最坏方向。

严格凸不等于强凸。x4 在 R 上严格凸,却在零点附近没有正的统一二次曲率:若存在 μ>0,取 x=t、极小点 0 会要求 t4≥μt2/2,令 t→0 即矛盾。强凸也不推出全局光滑,例如 x4+x2 是 2-强凸,但二阶导数 12x2+2 无上界。反之,常数函数的梯度是 0-Lipschitz,却不可能以任何 μ>0 强凸。若问题只在凸约束集上讨论,强凸性及唯一性针对该集合;把函数任意外推到集合外没有必要。

推论与应用

若 f 可微且 μ-强凸,强单调性、x∗ 的变分不等式与对偶 Hölder 不等式给

‖∇f(x)‖∗‖x−x∗‖≥⟨∇f(x),x−x∗⟩≥μ‖x−x∗‖2,

从而 ‖x−x∗‖≤‖∇f(x)‖∗/μ。再与光滑性合用,可以把梯度残差、点误差和函数值误差相互换算,并把梯度下降的一般凸次线性率加强为几何率。此处加强的是带额外假设的收敛定理,不是强凸定义自动执行某个算法。

在统计估计中,正定二次正则项常用来补足目标的曲率并保证解唯一;在线性逆问题里,这会以偏差换取稳定性。若原目标仅凸,在欧氏范数下加入 λ2‖x‖22 确实产生至少 λ 的强凸性,但同时改变了优化问题,不能把正则化解冒充原问题解。约束或非欧范数下仍可使用强凸性,不过正则项的强凸常数、对偶范数、Bregman 几何和算法步长都要与所选范数一致。

参考资料
  • Yurii Nesterov, Introductory Lectures on Convex Optimization: A Basic Course, Kluwer, 2004,§2.1.3,strongly convex functions。
  • Sébastien Bubeck, Convex Optimization: Algorithms and Complexity, Foundations and Trends in Machine Learning 8(3–4), 2015,§3.4,strong convexity and linear rates。
  • Amir Beck, First-Order Methods in Optimization, SIAM, 2017,§5.2,strong convexity and quadratic growth consequences。
关系图谱6 个相邻概念 · 3 类关系

拖动节点调整位置。

显示关系

显示:依赖

  1. 前置三跳
  2. 前置二跳
  3. 前置一跳
  4. 当前条目
  5. 后续一跳
  6. 后续二跳
  7. 后续三跳
文字版关系按与当前条目的最短距离分组
分类位置

上位 / 更一般

下位 / 直接特例

暂未标注直接特例。

类型化关系

被这些条目使用