形式陈述
设 C ⊆ R n 为凸集,并为 R n 选定范数 ‖ ⋅ ‖ ,从而得到实赋范向量空间 公理库 赋范向量空间 Normed vector space 带满足正定、齐次与三角不等式范数的向量空间。 ;取 μ > 0 。函数 f : C → R 称关于该范数为 μ -强凸,若对 x , y ∈ C 与 θ ∈ [ 0 , 1 ] ,
f ( ( 1 − θ ) x + θ y ) ≤ ( 1 − θ ) f ( x ) + θ f ( y ) − μ 2 θ ( 1 − θ ) ‖ x − y ‖ 2 . 这是一类严格的凸函数 公理库 凸函数 Convex function 函数在任意凸组合处不超过相同权重下函数值的凸组合。 ,故在 metadata 中记录为其特殊情形,而不是把“强凸”当作学习凸性的另一名称。若 f 在 C 的邻域可微,上式等价于
f ( y ) ≥ f ( x ) + ⟨ ∇ f ( x ) , y − x ⟩ + μ 2 ‖ y − x ‖ 2 . 当所选范数为欧氏范数时,它也等价于 x ↦ f ( x ) − μ 2 ‖ x ‖ 2 2 凸;若进一步有 C 开且 f ∈ C 2 ( C ) ,则又等价于 ∇ 2 f ( x ) ⪰ μ I 。可微强凸性还推出梯度的强单调性
⟨ ∇ f ( x ) − ∇ f ( y ) , x − y ⟩ ≥ μ ‖ x − y ‖ 2 . 直觉
普通凸性只要求图像不低于切平面,允许沿某些方向完全平坦;强凸性要求图像至少像曲率为 μ 的抛物面那样离开每个切平面。因而 μ 是统一的曲率下界:它排除宽阔平台,也阻止两个不同点同时成为极小点。这个下界与光滑性的曲率上界方向相反;强凸并不自动给梯度变化的有限上界。
强凸性把“目标值接近最优”转成“点接近最优”。若 x ∗ 是 f 在 C 上的极小点且 f 可微,一阶最优性给 ⟨ ∇ f ( x ∗ ) , x − x ∗ ⟩ ≥ 0 ;与一阶强凸不等式合并可得
f ( x ) − f ( x ∗ ) ≥ μ 2 ‖ x − x ∗ ‖ 2 . 因此函数值误差趋零必然迫使迭代点趋向唯一的 x ∗ 。没有这类增长条件时,函数值可以几乎不变而点在平坦解集上移动。常数还依赖范数和坐标尺度;把变量做线性变换,最合适的 μ 会改变,所以比较算法时必须同时写明几何。
例子与边界
令
f ( x 1 , x 2 ) = x 1 2 + 4 x 2 2 = 1 2 x ⊤ diag ( 2 , 8 ) x . Hessian 的最小特征值为 2 ,故 f 关于欧氏范数是 2 -强凸;沿 e 1 方向二次余量正好等于 2 2 ‖ t e 1 ‖ 2 2 = t 2 ,说明不能取更大的全局常数。它的梯度 Lipschitz 常数为 8 ,于是曲率比为 8 / 2 = 4 。从 x = ( 1 , 1 ) 到极小点 0 ,实际函数值差为 5 ,二次增长下界为 2 2 ‖ ( 1 , 1 ) ‖ 2 2 = 2 ;二者都能直接复算,但下界只承诺最坏方向。
严格凸不等于强凸。x 4 在 R 上严格凸,却在零点附近没有正的统一二次曲率:若存在 μ > 0 ,取 x = t 、极小点 0 会要求 t 4 ≥ μ t 2 / 2 ,令 t → 0 即矛盾。强凸也不推出全局光滑,例如 x 4 + x 2 是 2 -强凸,但二阶导数 12 x 2 + 2 无上界。反之,常数函数的梯度是 0 -Lipschitz,却不可能以任何 μ > 0 强凸。若问题只在凸约束集上讨论,强凸性及唯一性针对该集合;把函数任意外推到集合外没有必要。
推论与应用
若 f 可微且 μ -强凸,强单调性、x ∗ 的变分不等式与对偶 Hölder 不等式给
‖ ∇ f ( x ) ‖ ∗ ‖ x − x ∗ ‖ ≥ ⟨ ∇ f ( x ) , x − x ∗ ⟩ ≥ μ ‖ x − x ∗ ‖ 2 , 从而 ‖ x − x ∗ ‖ ≤ ‖ ∇ f ( x ) ‖ ∗ / μ 。再与光滑性合用,可以把梯度残差、点误差和函数值误差相互换算,并把梯度下降的一般凸次线性率加强为几何率。此处加强的是带额外假设的收敛定理,不是强凸定义自动执行某个算法。
在统计估计中,正定二次正则项常用来补足目标的曲率并保证解唯一;在线性逆问题里,这会以偏差换取稳定性。若原目标仅凸,在欧氏范数下加入 λ 2 ‖ x ‖ 2 2 确实产生至少 λ 的强凸性,但同时改变了优化问题,不能把正则化解冒充原问题解。约束或非欧范数下仍可使用强凸性,不过正则项的强凸常数、对偶范数、Bregman 几何和算法步长都要与所选范数一致。
参考资料
Yurii Nesterov, Introductory Lectures on Convex Optimization: A Basic Course , Kluwer, 2004,§2.1.3,strongly convex functions。
Sébastien Bubeck, Convex Optimization: Algorithms and Complexity , Foundations and Trends in Machine Learning 8(3–4), 2015,§3.4,strong convexity and linear rates。
Amir Beck, First-Order Methods in Optimization , SIAM, 2017,§5.2,strong convexity and quadratic growth consequences。