交叉熵

交叉熵是数据来自真实分布 $P$、却用模型分布 $Q$ 的码长 $-\log Q(x)$ 编码时的平均成本；模型越低估真实常见事件，付出的对数代价越大。它同时包含不可消除的真实熵和模型失配代价：$H(P,Q)=H(P)+D_{KL}(P\Vert Q)$。只有在总体分布 $P$ 固定且期望可得时，最小化总体交叉熵才等价于最小化 $D_{KL}(P\Vert Q)$；最大似然训练实际最小化的是样本上的经验负对数似然，两者之间还隔着采样与模型选择误差。

二分类真实标签为 $y\in \{0,1\}$、模型预测正类概率为 $q$ 时，单样本损失是 $-y\log q-(1-y)\log (1-q)$。若真实结果为正而 $q=0.9$，损失约 $0.105$ nat；若 $q=0.01$，损失约 $4.605$，对自信错误惩罚很大。固定 $P$ 时，交叉熵由 $Q=P$ 最小化，因为 KL 散度非负。经验交叉熵只是样本均值，其接近总体值还需独立性、可积性等统计条件。

经验交叉熵是 log loss 总体风险公理库损失函数与总体风险Loss function · Population risk · Expected risk损失刻画一次决策的代价，总体风险是未知分布下的平均代价。的有限样本版本，不等于已知真实分布下的期望；泛化间隙公理库经验风险与泛化间隙Empirical risk · Generalization gap训练平均损失与总体风险之差，以及数据依赖选择带来的困难。可能让训练损失很低而测试风险仍高。若 $Q(x)=0$ 但 $P(x)>0$，交叉熵为无穷，数值实现常用 log-softmax 而非直接取概率后对数。

在熵编码与概率模型评估中，熵公理库Shannon 熵Shannon entropy · Information entropy随机变量不确定性的平均信息量，以最优编码所需位数为基本解释。给出无法消除的平均码长，KL 散度公理库KL 散度Kullback–Leibler divergence · Relative entropy同一可测空间上分布 P 相对于 Q 的对数 Radon–Nikodym 导数在 P 下的积分。则量化使用错误分布造成的额外代价；语言模型与密度估计因此用交叉熵度量模型分布下的期望码长公理库期望Expectation · Expected value实值或复值随机变量关于概率测度的 Lebesgue 积分，概括加权平均与总体质量平衡。。当观测模型和支配测度已经指定时，样本交叉熵也是一项负 log likelihood，最大似然估计公理库最大似然估计Maximum likelihood estimation · MLE在参数空间内选择使已观测数据似然达到上确界的参数估计方法。便在候选模型中最小化这项评分。

分类训练还把二元或多类交叉熵当作代理损失。它为何能服务零一分类、何时得到正确决策边界，应由代理损失与校准公理库分类代理损失与校准classification calibration · classification surrogate loss说明可优化代理风险在什么条件下能够控制二分类的零一超额风险。说明，不能从信息恒等式直接推出。训练交叉熵较小只表示样本内评分改善；参数偏差与风险属于估计规则公理库估计量、决策规则与风险Estimator and decision rule · Statistical risk从观测到行动的可实施规则，以及在逐参数、Bayes 与最坏情形量词下的期望损失。的评价，趋近真实目标还要证明一致性公理库估计量的一致性Consistency of estimators · Consistent estimator估计误差随实验规模增长而消失的点态、统一、弱与强收敛性质及其证明边界。，检验校准与样本外泛化则分别需要抽样理论和复杂度控制。这些结论都不会由低训练损失自动获得。