KL 散度

$D(P\Vert Q)$ 总是在 $P$ 下取平均：把 $P$ 当作真实数据规律、把 $Q$ 当作预测或编码模型时，它衡量相对于知道 $P$ 所多付的平均对数损失。方向因此有实际含义。若 $Q$ 给一个 $P$ 真会产生的事件零概率，对数损失在该事件上无穷，平均代价也随之无穷。

KL 不是“两个分布隔多远”的普通几何距离。交换 $P,Q$ 会同时改变取样权重和对零概率的容忍方向；非负性只说明错误模型不会在平均对数损失上优于真实模型。

非负性的证明机制 ​

令 $f=dP/dQ$。函数 $\phi (t)=t{\log }_{b}t$ 是凸函数，而 $Q$ 是概率测度，所以 Jensen 不等式给出

严格凸性说明等号要求 $f=1$ 几乎处处，即 $P=Q$。离散情形的 log-sum 不等式是同一机制的有限和版本。

可复算例：方向与支持失配 ​

取 $P=(1,0)$、$Q=(1/2,1/2)$。以 $2$ 为底，

反向计算时，第二个坐标满足 $Q(2)=1/2>0$ 而 $P(2)=0$，故

这同时展示了不对称性与绝对连续条件。若改取 Bernoulli 分布，有限支持匹配时有

边界与失败情形 ​

“样本中没见过某结果”不等于真实概率为零。直接把经验频数中的零代进第二个参数，可能制造假的无穷散度；平滑可以改善数值行为，却也改变了被比较的分布，必须明说。

KL 可以有限但任意大，也可以一边有限、反向无穷；因此不能用 $D(P\Vert Q)$ 代替需要对称性或三角不等式的度量。与微分熵不同，两个分布同时经过同一个可逆光滑重参数化时，密度 Jacobian 在比值中抵消，KL 本身保持不变。

交叉熵公理库交叉熵Cross-entropy在真实分布下对另一分布负对数似然取期望所得的信息量。满足 $H(P,Q)=H(P)+D(P\Vert Q)$，所以当 $P$ 固定时，最小化交叉熵等价于最小化相同方向的 KL。互信息公理库互信息Mutual information一个随机变量对另一个随机变量不确定性的平均减少量。则是

即真实联合分布相对独立基线的散度。对同一随机信道施加后处理时，数据处理不等式公理库数据处理不等式Data processing inequality对 Markov 链 X→Y→Z，有 I(X;Z)≤I(X;Y)。给出 KL 收缩。

乘积分布还满足可加性 $D(P^n\Vert Q^n)=nD(P\Vert Q)$。这一性质支撑假设检验误差指数、换测度下界和大偏差分析；使用时仍须保持方向、支配关系与对数底一致。