交叉熵

数据来自 $P$，模型却按 $Q$ 给每个结果分配理想码长 $-\log Q(x)$，交叉熵就是这些码长在 $P$ 下的平均。以 $2$ 为底时单位是 bit，使用自然对数时单位是 nat；实际二进制前缀码的整数码长还要考虑取整或块编码。模型越低估真实常见事件，平均付出的对数代价越大。

当真实熵有限时，分解式把平均成本分成不可消除的真实熵与模型失配的 KL 代价。固定 $P$ 后，优化后者就能优化前者；最大似然训练则把总体平均换成了样本平均，其效果还需要采样与泛化分析。

二分类真实标签为 $y\in \{0,1\}$、模型预测正类概率为 $q$ 时，单样本损失是 $-y\log q-(1-y)\log (1-q)$。使用自然对数，真实结果为正而 $q=0.9$ 时，损失约 $0.105$ nat；若 $q=0.01$，损失约 $4.605$。后者自信地押错方向，因此受到更重惩罚。在这个有限标签模型中，真实熵总有限，KL 非负性确实保证总体交叉熵由 $Q=P$ 最小化。

经验交叉熵是 log loss 总体风险理路损失函数与总体风险Loss function · Population risk · Expected risk损失刻画一次决策的代价，总体风险是未知分布下的平均代价。的有限样本版本，不等于已知真实分布下的期望；泛化间隙理路经验风险与泛化间隙Empirical risk · Generalization gap训练平均损失与总体风险之差，以及数据依赖选择带来的困难。可能让训练损失很低而测试风险仍高。若 $Q(x)=0$ 但 $P(x)>0$，交叉熵为无穷，有限 logits 的数值实现常用 log-softmax，避免先转成概率再取对数时的浮点下溢；真实模型中的零概率仍然给出无穷损失，不能用这一数值变换消掉。

可数字母表上的真实熵可能无穷。这时所有模型的交叉熵都为无穷，不能再从它们的大小选出更好的模型；KL 散度页理路KL 散度Kullback–Leibler divergence · Relative entropy同一可测空间上分布 P 相对于 Q 的对数 Radon–Nikodym 导数在 P 下的积分。给出了交叉熵同为无穷、KL 却分别为零和有限正值的具体反例。

连续情形须先固定共同参考测度与密度 $p,q$，再定义 $h(P,Q)=-\int p\log q$。它可以为负，也不直接是连续观测的二进制码长。一组方便的充分条件是 $\int p|\log p|<\mathrm{\infty }$ 且 $\int p|\log q|<\mathrm{\infty }$；此时可逐项积分得到 $h(P,Q)=h(P)+D(P\Vert Q)$。若在整个候选模型族上满足这些条件，固定 $P$ 时两项优化等价；出现发散积分时必须另查，不能形式地相减无穷量。

离散熵编码中，有限的熵理路Shannon 熵Shannon entropy · Information entropy随机变量不确定性的平均信息量，以最优编码所需位数为基本解释。给出理想平均码长基准，KL 量化模型失配的额外代价。语言模型的交叉熵因此是在真实／数据分布 $P$ 下，对 $Q$ 给出的码长取期望理路期望Expectation · Expected value实值或复值随机变量关于概率测度的 Lebesgue 积分，概括加权平均与总体质量平衡。。密度估计使用相应的连续对数评分；固定观测模型与参考测度后，样本评分之和就是负 log likelihood，最大似然估计理路最大似然估计Maximum likelihood estimation · MLE在参数空间内选择使已观测数据似然达到上确界的参数估计方法。在候选模型中最小化它。

分类训练还把二元或多类交叉熵当作代理损失。它为何能服务零一分类、何时得到正确决策边界，应由代理损失与校准理路分类代理损失与校准classification calibration · classification surrogate loss说明可优化代理风险在什么条件下能够控制二分类的零一超额风险。说明，不能从信息恒等式直接推出。训练交叉熵较小只表示样本内评分改善；参数偏差与风险属于估计规则理路估计量、决策规则与风险Estimator and decision rule · Statistical risk从观测到行动的可实施规则，以及在逐参数、Bayes 与最坏情形量词下的期望损失。的评价，趋近真实目标还要证明一致性理路估计量的一致性Consistency of estimators · Consistent estimator估计误差随实验规模增长而消失的点态、统一、弱与强收敛性质及其证明边界。，检验校准与样本外泛化则分别需要抽样理论和复杂度控制。这些结论都不会由低训练损失自动获得。

固定训练后的 logits，再用独立校准集拟合温度缩放理路温度缩放概率校准Temperature scaling固定分类 logits 后以一个正温度重新分配概率，证明类别排序不变及逆温度目标的凸性，并算出可修正和无法修正的校准例子。，可以保持预测类别而改变 NLL；优化的是后处理参数，仍需独立评估最终概率。对数损失鼓励真实报告的性质，统一表述为严格适当评分理路适当评分规则Proper scoring rule · Strictly proper scoring rule以真实分布为总体期望损失的最优报告，区分适当与严格适当评分，并由凹熵的支撑线构造二元概率损失。。