Skip to content

强凸性

Strong convexity · Strongly convex function

函数在一阶凸下界之外还保留统一二次增长量的曲率性质。

条目类型
定义

形式陈述

CRn 为凸集,并为 Rn 选定范数 ,从而得到实赋范向量空间;取 μ>0。函数 f:CR 称关于该范数为 μ-强凸,若对 x,yCθ[0,1]

f((1θ)x+θy)(1θ)f(x)+θf(y)μ2θ(1θ)xy2.

这是一类严格的凸函数,故在 metadata 中记录为其特殊情形,而不是把“强凸”当作学习凸性的另一名称。若 fC 的邻域可微,上式等价于

f(y)f(x)+f(x),yx+μ2yx2.

当所选范数为欧氏范数时,它也等价于 xf(x)μ2x22 凸;若进一步有 C 开且 fC2(C),则又等价于 2f(x)μI。可微强凸性还推出梯度的强单调性

f(x)f(y),xyμxy2.
直觉

普通凸性只要求图像不低于切平面,允许沿某些方向完全平坦;强凸性要求图像至少像曲率为 μ 的抛物面那样离开每个切平面。因而 μ 是统一的曲率下界:它排除宽阔平台,也阻止两个不同点同时成为极小点。这个下界与光滑性的曲率上界方向相反;强凸并不自动给梯度变化的有限上界。

强凸性把“目标值接近最优”转成“点接近最优”。若 xfC 上的极小点且 f 可微,一阶最优性给 f(x),xx0;与一阶强凸不等式合并可得

f(x)f(x)μ2xx2.

因此函数值误差趋零必然迫使迭代点趋向唯一的 x。没有这类增长条件时,函数值可以几乎不变而点在平坦解集上移动。常数还依赖范数和坐标尺度;把变量做线性变换,最合适的 μ 会改变,所以比较算法时必须同时写明几何。

例子与边界

f(x1,x2)=x12+4x22=12xdiag(2,8)x.

Hessian 的最小特征值为 2,故 f 关于欧氏范数是 2-强凸;沿 e1 方向二次余量正好等于 22te122=t2,说明不能取更大的全局常数。它的梯度 Lipschitz 常数为 8,于是曲率比为 8/2=4。从 x=(1,1) 到极小点 0,实际函数值差为 5,二次增长下界为 22(1,1)22=2;二者都能直接复算,但下界只承诺最坏方向。

严格凸不等于强凸。x4R 上严格凸,却在零点附近没有正的统一二次曲率:若存在 μ>0,取 x=t、极小点 0 会要求 t4μt2/2,令 t0 即矛盾。强凸也不推出全局光滑,例如 x4+x22-强凸,但二阶导数 12x2+2 无上界。反之,常数函数的梯度是 0-Lipschitz,却不可能以任何 μ>0 强凸。若问题只在凸约束集上讨论,强凸性及唯一性针对该集合;把函数任意外推到集合外没有必要。

推论与应用

f 可微且 μ-强凸,强单调性、x 的变分不等式与对偶 Hölder 不等式给

f(x)xxf(x),xxμxx2,

从而 xxf(x)/μ。再与光滑性合用,可以把梯度残差、点误差和函数值误差相互换算,并把梯度下降的一般凸次线性率加强为几何率。此处加强的是带额外假设的收敛定理,不是强凸定义自动执行某个算法。

在统计估计中,正定二次正则项常用来补足目标的曲率并保证解唯一;在线性逆问题里,这会以偏差换取稳定性。若原目标仅凸,在欧氏范数下加入 λ2x22 确实产生至少 λ 的强凸性,但同时改变了优化问题,不能把正则化解冒充原问题解。约束或非欧范数下仍可使用强凸性,不过正则项的强凸常数、对偶范数、Bregman 几何和算法步长都要与所选范数一致。

参考资料
  • Yurii Nesterov, Introductory Lectures on Convex Optimization: A Basic Course, Kluwer, 2004,§2.1.3,strongly convex functions。
  • Sébastien Bubeck, Convex Optimization: Algorithms and Complexity, Foundations and Trends in Machine Learning 8(3–4), 2015,§3.4,strong convexity and linear rates。
  • Amir Beck, First-Order Methods in Optimization, SIAM, 2017,§5.2,strong convexity and quadratic growth consequences。
关系图谱4 个相邻概念 · 3 类关系

拖动节点调整位置。

显示关系

显示:依赖

  1. 前置三跳
  2. 前置二跳
  3. 前置一跳
  4. 当前条目
  5. 后续一跳
  6. 后续二跳
  7. 后续三跳
文字版关系按与当前条目的最短距离分组
分类位置

上位 / 更一般

下位 / 直接特例

暂未标注直接特例。

类型化关系

被这些条目使用