在线镜像下降

普通梯度下降默认欧氏距离是“移动多远”的尺度，镜像下降让势函数选择问题自己的几何。梯度仍在对偶空间表达损失方向，Bregman 散度则把这一步拉回可行域；不同势函数因而会让同一线性反馈产生投影更新或乘法更新。

遗憾证明围绕一份到比较器的 Bregman 势能展开。每轮线性化损失由势能下降支付，无法完全支付的部分由梯度对偶范数与强凸性控制；求和后中间势能望远镜消失，只留下初始距离和累计梯度规模。

欧氏球与概率单纯形 ​

在欧氏空间取 $\psi (x)=\frac{1}{2}\Vert x{\Vert }_2^2$，$D_{\psi }(x,y)=\frac{1}{2}\Vert x-y{\Vert }_2^2$，更新就是投影在线梯度下降。这里 primal 与 dual 范数都是 ${\ell }_2$。

在概率单纯形 ${\mathrm{\Delta }}_n$ 上取负熵 $\psi (p)=\sum _i{p}_i\log p_i$，Bregman 散度是 $\mathrm{KL}(p\Vert q)$。一阶条件给

即 exponentiated-gradient/乘法更新。以均匀 $p_1$ 开始有 $D_{\psi }(u,p_1)\le \log n$，梯度由 ${\ell }_{\mathrm{\infty }}$ 控制时得到 $O(G\sqrt{T\log n})$ 遗憾，比在单纯形上硬用欧氏直径更贴合坐标结构。

边界 ​

势函数必须与决策域匹配。负熵在零坐标处梯度发散，通常从相对内部初始化，并由乘法更新保持正坐标；若约束把解压到边界，需用次梯度/Legendre 型势函数的精确定义。Bregman 投影也未必有闭式，计算它的代价属于算法实现而非遗憾公式自动免除的部分。

强凸范数与梯度对偶范数必须成对：用 ${\ell }_1$ 强凸性却把梯度按 ${\ell }_2$ 代入会破坏一步界。OMD 与 FTRL 常能导出相似更新，但一个围绕当前点做 Bregman 近端步，一个重解累计线性化加正则的目标；不能仅凭最终公式相近就视为同一定义。

欧氏势函数恢复投影在线梯度下降，负熵势函数在单纯形上恢复 exponentiated gradient。前者由 ${\ell }_2$ 直径控制，后者把初始散度压到 $\log n$ 并以 ${\ell }_{\mathrm{\infty }}$ 梯度配对，说明选择几何能实质改变维数依赖。

若 $T$ 未知，可以采用随时间衰减的学习率或 doubling trick；若梯度规模变化明显，还可用自适应正则。每种变体都要重新验证一步不等式与势能望远镜，不能只把 $\eta$ 换成经验公式而沿用固定学习率结论。