形式陈述

离散随机变量 $X$$X$ 的熵为

$$ H(X)=-\sum_x P(X=x)\log_2 P(X=x), $$$$H(X)=-\sum _{x}P(X=x){\log }_{2}P(X=x),$$

并约定 $0\log 0=0$$0\log 0=0$。单位为 bit。

直觉

罕见事件发生时带来更多信息；熵对每种结果的信息量 $-\log_2p$$-{\log }_{2}p$ 按其概率取平均。

例子与边界

公平硬币的熵为 $1$$1$ bit，永远输出同一面的硬币熵为 $0$$0$。熵是分布的性质，不等同于某个具体字符串的压缩后长度或主观“混乱程度”。

推论与应用

熵决定无损压缩极限，并导出条件熵、互信息、KL 散度以及密码学中的密钥不确定性分析。

参考资料

• Claude E. Shannon, “A Mathematical Theory of Communication,” 1948.
• Thomas M. Cover and Joy A. Thomas, Elements of Information Theory, 2nd ed., Chapter 2.