Bregman 散度

直接展开定义可得下式。在上述扩展中，只需 $x\in D$、$y,z\in U$：

欧氏平方距离的勾股关系在非欧几里得优化中由这个恒等式取代。镜像下降证明会把一次更新的线性损失，与两个相邻 Bregman 散度之差相连；对时间求和后，大部分项望远镜消去。

两种几何 ​

取 $\psi (x)=\frac{1}{2}\Vert x{\Vert }_2^2$，便有

因此带欧氏投影的梯度理路梯度Gradient标量函数微分在内积下对应的向量。步骤是 Bregman 几何的一个特例。以下熵公式采用自然对数。对概率单纯形内部取负熵 $\psi (p)=\sum _i{p}_i\log p_i$，则

归一化条件 $\sum _i{p}_i=\sum _i{q}_i=1$ 抵消了展开中的线性项，留下以自然对数计算的KL 散度理路KL 散度Kullback–Leibler divergence · Relative entropy同一可测空间上分布 P 相对于 Q 的对数 Radon–Nikodym 导数在 P 下的积分。 $D_e$；$D_2$ 则是以比特为单位的版本。这里可先在正坐标区域 $(0,\mathrm{\infty }{)}^d$ 上定义负熵，再将两个参数限制到单纯形内部。

为什么它不是度量 ​

交换两个参数，会改变作切平面的锚点。例如在正实数上取 $\psi (u)=u\log u$，有 $D_{\psi }(1,2)=1-\log 2$，而 $D_{\psi }(2,1)=2\log 2-1$，两者不同。平方欧氏散度也不满足三角不等式：对 $0,1,2$，$D(0,2)=2$，而 $D(0,1)+D(1,2)=1$。因此 Bregman 散度用切平面余量描述偏离，并未定义通常的距离理路度量空间Metric space用满足正定性、对称性与三角不等式的实值距离刻画点间远近的空间。。

负熵的函数值可以连续延拓到单纯形边界，采用 $0\log 0=0$；梯度中的 $\log q_i$ 则要求锚点满足 $q_i>0$。因此经典定义及三点恒等式在第二参数的内部点使用。对第一参数，可通过极限容纳某些零坐标，得到相应的 KL 扩展。

Bregman 投影固定旧点 $y\in U$，在非空凸目标集合 $C\subseteq D$ 中最小化第一参数：${\mathrm{\Pi }}_C^{\psi }(y)=\arg \underset{x\in C}{min}{D}_{\psi }(x,y)$。其中 $\psi (y)$ 为常数，梯度项关于 $x$ 线性，所以子问题保留 $\psi$ 关于 $x$ 的凸性。这个 argmin 可能为空；若 $\psi$ 严格凸且最小值达到，解才是唯一的。例如 $\psi (u)=u^2/2$、$C=(0,1)$、$y=2$ 时，下确界只能在 $x\uparrow 1$ 时逼近。交换成 $D_{\psi }(y,x)$ 则让锚点随优化变量变化，产生另一种目标。

取有限维概率向量 $q$，各 $q_i>0$，并固定 $\eta >0$ 与有限实向量 $g$。以负熵生成函数在闭单纯形上最小化 $\eta ⟨g,p⟩+D_e(p\Vert q)$，第一参数的零坐标沿用连续延拓。用Lagrange 乘子法理路拉格朗日乘子法Lagrange multiplier method约束极值处目标梯度位于约束梯度张成空间中的必要条件。对内部候选的归一化约束加入乘子 $\lambda$，一阶条件为 $\eta g_i+\log \left(p_i/q_i\right)+1+\lambda =0$，所以

这个候选的每个坐标都为正。凸目标的支撑不等式在正单纯形上给出全局最小性，再由连续性延至边界；严格凸性保证唯一。负熵将线性损失信号转为乘法更新；平方欧氏生成函数则给出加法梯度步及欧氏投影。