“即 $O(\sqrt{LR^2/\varepsilon})$ 次梯度查询。若目标还有$\mu$ 强凸性,已知 $0 \varepsilon 0$,总查询复杂度因而为”
形式陈述
设
强凸性在凸性给出的弦上界中,再扣除与两点距离平方成正比的统一间隙;当两点不同时,这个间隙为正,因而推出严格凸性。若
当所选范数为欧氏范数时,它也等价于
直觉
普通凸性只要求图像不低于切平面,允许沿某些方向完全平坦;强凸性要求图像至少像曲率为
强凸性把“目标值接近最优”转成“点接近最优”。若
因此函数值误差趋零必然迫使迭代点趋向唯一的
例子与边界
令
Hessian 的最小特征值为
严格凸不等于强凸。
推论与应用
若
从而
在统计估计中,正定二次正则项常用来补足目标的曲率,并在解存在时保证其唯一;在线性逆问题里,这会以偏差换取稳定性。若原目标仅凸,在欧氏范数下加入
PL梯度支配则只比较梯度范数与全局目标差。可微全空间强凸性蕴含它,但反向不成立,甚至非凸的光滑函数也可能满足。它允许平坦解集,因此不能把梯度小直接换成到任意指定最小点的距离小。
参考资料
- Yurii Nesterov, Introductory Lectures on Convex Optimization: A Basic Course, Kluwer, 2004,§2.1.3,strongly convex functions。
- Sébastien Bubeck, Convex Optimization: Algorithms and Complexity, Foundations and Trends in Machine Learning 8(3–4), 2015,§3.4,strong convexity and linear rates。
- Amir Beck, First-Order Methods in Optimization, SIAM, 2017,§5.2,strong convexity and quadratic growth consequences。