形式陈述

离散分布 $P,Q$$P,Q$ 的交叉熵定义为

$$ H(P,Q)=-\sum_x P(x)\log Q(x)=H(P)+D_{\mathrm{KL}}(P\|Q), $$$$H(P,Q)=-\sum _{x}P(x)\log Q(x)=H(P)+D_{\mathrm{KL}}(P\Vert Q),$$

采用 $P(x)>0,Q(x)=0$$P(x)>0,Q(x)=0$ 时为 $+\infty$$+\mathrm{\infty }$ 的约定。它是在真实分布 $P$$P$ 下使用模型 $Q$$Q$ 编码或预测的平均负对数损失，不对称且一般不满足距离公理。

直觉

真实数据来自 $P$$P$，却按 $Q$$Q$ 给概率；模型低估真实常见事件时会付出较大对数代价。

例子与边界

二分类标签 $y\in\{0,1\}$$y\in \{0,1\}$、预测概率 $q$$q$ 的损失是 $-y\log q-(1-y)\log(1-q)$$-y\log q-(1-y)\log (1-q)$。固定 $P$$P$ 时，交叉熵由 $Q=P$$Q=P$ 最小化，因为 KL 散度非负。经验交叉熵只是样本均值；其接近总体值还需独立性、可积性等统计条件。

推论与应用

交叉熵用于熵编码、最大似然估计、分类训练和概率模型评估。

参考资料

• Thomas M. Cover and Joy A. Thomas, Elements of Information Theory, 2nd ed., Wiley, 2006，Chs. 2–8。
• Claude E. Shannon, “A Mathematical Theory of Communication,” Bell System Technical Journal 27, 1948，Parts I–II。