Shannon 熵

结果 $x$ 的自信息是 ${ı}_X(x)=-{\log }_{2}p(x)$：概率减半，自信息增加一 bit。熵是随机自信息的期望 $H(X)=\mathbb{E}[{ı}_X(X)]$。罕见结果一旦发生很“惊讶”，但其平均贡献还要乘上较小的发生概率。

在已知分布的无损编码模型中，熵是长块平均码长的极限，而不是每个样本各自携带的固定标签。它不等于某个文件的最短压缩长度，也不衡量单次最佳猜测；后一个问题通常由最大点概率定义的最小熵公理库最小熵Min-entropy · Rényi min-entropy由最可能结果的概率定义、直接刻画单次最优猜测成功率的信息量。控制。

基本界的证明机制 ​

若支持大小为 $m$，对凹函数 ${\log }_2$ 使用 Jensen 不等式可得

其中最后一步使用 $\sum _{x:p(x)>0}p(x)/p(x)=m$。因此 $0\le H(X)\le {\log }_{2}m$。下界由每项非负得到，且仅确定分布取等；Jensen 的等号条件说明上界仅均匀分布取等。这个论证也说明，最大熵结论依赖“支持至多有 $m$ 个点”这一约束。

可复算例：偏置比特 ​

若 $P(X=1)=0.9$、$P(X=0)=0.1$，两个结果的自信息与加权贡献分别为

故 $H(X)\approx 0.4690$ bit。公平比特把两项都变成 $\frac{1}{2}\cdot 1$，总熵为 $1$ bit；确定比特的熵为 $0$。

边界与失败情形 ​

可数支持不保证有限熵。例如在 $k\ge 2$ 上令

其中 $c$ 是归一化常数。概率和收敛，但熵的主导项与 $\sum _{k}1/(k\ln k)$ 同阶，因而 $H(X)=+\mathrm{\infty }$。

连续均匀变量 $U\sim \mathrm{Unif}[0,1/4]$ 的微分熵为 $h(U)={\log }_2(1/4)=-2$，而离散熵从不为负。更一般地，$h(aX)=h(X)+{\log }_2|a|$；仅改变测量单位就会改变微分熵。因此不能把 $h$ 当作离散熵，也不能把 $2^{h(X)}$ 无条件解释为离散结果数。

名称相近的度量熵与覆盖数公理库度量熵与覆盖数Metric entropy · Covering number · 覆盖数在指定尺度和度量下，用有限网覆盖函数类，并以覆盖数或度量熵量化其有效大小。也不是 Shannon 熵：前者对给定尺度计算覆盖度量空间所需集合数的对数，不需要概率分布。

联合熵公理库联合熵Joint entropy随机变量元组不确定性的 Shannon 熵。把同一定义施于随机变量元组，条件熵公理库条件熵Conditional entropy已知一个随机变量后另一个随机变量剩余不确定性的平均值。描述获得侧信息后的剩余不确定性，互信息公理库互信息Mutual information一个随机变量对另一个随机变量不确定性的平均减少量。描述减少量。这三者的链式恒等式构成后续信息不等式的代数基础。

对离散无记忆源，AEP公理库渐近等分性质Asymptotic equipartition property · AEP离散无记忆源的长序列每符号信息量几乎必然收敛到熵。把样本平均自信息收敛到 $H(X)$，无噪声编码定理公理库无噪声编码定理Source coding theorem · Noiseless coding theorem独立同分布信源的无损压缩平均码率可以逼近但不能低于其熵。再把它解释为长块无损压缩的每符号极限。有记忆源通常要改用熵率；允许误差、失真或预测攻击时，还必须分别说明相应模型，不能只引用单字母 Shannon 熵。