Shannon 熵

结果 $x$ 的自信息是 ${ı}_X(x)=-{\log }_{2}p(x)$：概率减半，自信息增加一 bit。熵是随机自信息的期望 $H(X)=\mathbb{E}[{ı}_X(X)]$。罕见结果一旦发生很“惊讶”，但其平均贡献还要乘上较小的发生概率。

在有限字母表的独立同分布源中，若支持至少含两个符号，对长为 $n$ 的块作二元前缀无损编码，最优平均码长 $L_n^{\ast }$ 满足 $nH(X)\le L_n^{\ast }<nH(X)+1$。退化源只有一个可能块时，外部给定块数可用空描述；未知块数的串联唯一可译约定则需一个正码字，最优块长为1，其每符号成本 $1/n$ 仍趋零。对前面的非退化源，除以 $n$ 后每符号的整数码长开销不足 $1/n$；退化源在两种块数约定下也都得到极限 $H(X)=0$。因此熵是长块平均码长的极限，不是每个样本各自携带的固定标签。它不等于某个文件的最短压缩长度，也不衡量单次最佳猜测；后一个问题通常由最大点概率定义的最小熵公理库最小熵Min-entropy · Rényi min-entropy由最可能结果的概率定义、直接刻画单次最优猜测成功率的信息量。控制。

基本界的证明机制 ​

若支持大小为 $m$，对凹函数 ${\log }_2$ 使用Jensen 不等式公理库Jensen 不等式Jensen's inequality凸函数作用于平均值不超过函数值的相同加权平均。可得

其中最后一步使用 $\sum _{x:p(x)>0}p(x)/p(x)=m$。因此 $0\le H(X)\le {\log }_{2}m$。下界由每项非负得到，且仅确定分布取等；Jensen 的等号条件说明上界仅均匀分布取等。这个论证也说明，最大熵结论依赖“支持至多有 $m$ 个点”这一约束。

可复算例：偏置比特 ​

若 $P(X=1)=0.9$、$P(X=0)=0.1$，两个结果的自信息与加权贡献分别为

故 $H(X)\approx 0.4690$ bit。公平比特把两项都变成 $\frac{1}{2}\cdot 1$，总熵为 $1$ bit；确定比特的熵为 $0$。

熵小于一 bit，为什么单个比特仍难再压缩 ​

对上述偏置比特，单符号的无损二元前缀码仍需给两个结果分配非空码字，最优平均长度为 $1$，不是 $0.4690$。把两次独立样本合成一块，概率为 $0.81,0.09,0.09,0.01$；依次分配码字 0,10,110,111，平均块长为

每符号变为 $0.645$ bit，已低于 $1$，但仍高于熵。码长受整数与前缀约束；块变长后才能摊薄开销。这也解释了“单次输出有两种可能”与“长期每次不足一 bit”并不矛盾。

边界与失败情形 ​

可数支持不保证有限熵。例如在 $k\ge 2$ 上令

其中 $c$ 是归一化常数。概率和收敛，但熵的主导项与 $\sum _{k}1/(k\ln k)$ 同阶，因而 $H(X)=+\mathrm{\infty }$。

连续均匀变量 $U\sim \mathrm{Unif}[0,1/4]$ 的微分熵为 $h(U)=-2$，但按格宽 $1/1024$ 量化后的离散熵为 $8$ bit。微分熵页公理库微分熵Differential entropy · 连续熵连续密度的平均负对数，连接测量尺度、细量化熵与固定方差下的高斯最大熵。完整计算这个例子的单位变换与量化关系；$2^{h(U)}$ 在这里不能解释为离散结果数。

名称相近的度量熵与覆盖数公理库度量熵与覆盖数Metric entropy · Covering number · 覆盖数在指定尺度和度量下，用有限网覆盖函数类，并以覆盖数或度量熵量化其有效大小。也不是 Shannon 熵：前者对给定尺度计算覆盖度量空间所需集合数的对数，不需要概率分布。

联合熵公理库联合熵Joint entropy随机变量元组不确定性的 Shannon 熵。把同一定义施于随机变量元组，条件熵公理库条件熵Conditional entropy已知一个随机变量后另一个随机变量剩余不确定性的平均值。描述获得侧信息后的剩余不确定性，互信息公理库互信息Mutual information用联合分布相对独立边缘乘积的 KL 散度量化统计依赖。描述减少量。这三者的链式恒等式构成后续信息不等式的代数基础。

把经典分布放在正交状态上，$\rho =\sum _j{p}_j|j⟩⟨j|$ 的特征值就是 $p_j$。von Neumann 熵公理库von Neumann 熵Von Neumann entropy · 量子熵 · 冯诺依曼熵von Neumann 熵是密度算子特征值分布的 Shannon 熵，用于定量区分状态混合程度、制备标签和纯联合态的局部相关性。由此将 Shannon 熵扩展为密度算子特征值分布的熵；对非正交纯态的混合，则必须先求谱，制备标签和指定测量结果各自仍用 Shannon 熵描述。

对离散无记忆源，AEP公理库渐近等分性质Asymptotic equipartition property · AEP离散无记忆源的长序列每符号信息量几乎必然收敛到熵。把样本平均自信息收敛到 $H(X)$，无噪声编码定理公理库无噪声编码定理Source coding theorem · Noiseless coding theorem独立同分布信源的无损压缩平均码率可以逼近但不能低于其熵。再把它解释为长块无损压缩的每符号极限。有记忆源通常要改用熵率；允许误差、失真或预测攻击时，还必须分别说明相应模型，不能只引用单字母 Shannon 熵。

若某些源值允许共用描述、另一些必须区分，就需要在概率之外增加冲突结构。图熵公理库图熵与随机独立集Graph entropy · Körner graph entropy以包含真实顶点的随机独立集定义图熵，证明稳定集多面体公式，并算出路径与均匀五边形，区分随机辅助信息、着色熵和固定长强积率。对包含真实顶点的随机独立集最小化互信息；完全图恢复 $H(X)$，无边图则为0。它的OR幂平均描述解释与严格零错强幂的最坏固定长率不同，不能仅凭“熵”字互换。