形式陈述

设离散随机变量 $(X,Y)$$(X,Y)$ 的联合分布为 $p(x,y)$$p(x,y)$。其联合熵定义为

$$ H(X,Y)=-\sum_{x,y}p(x,y)\log p(x,y), $$$$H(X,Y)=-\sum _{x,y}p(x,y)\log p(x,y),$$

约定 $0\log0=0$$0\log 0=0$。对有限或熵良定义的可数取值变量，有链式法则

$$ H(X,Y)=H(X)+H(Y\mid X)=H(Y)+H(X\mid Y). $$$$H(X,Y)=H(X)+H(Y\mid X)=H(Y)+H(X\mid Y).$$

对 $n$$n$ 个变量同理，

$$ H(X_1,\ldots,X_n)=\sum_{i=1}^n H(X_i\mid X_1,\ldots,X_{i-1}). $$$$H(X_1,\dots ,X_n)=\sum _{i=1}^{n}H(X_i\mid X_1,\dots ,X_{i-1}).$$

直觉

联合熵把变量对 $(X,Y)$$(X,Y)$ 当成一个整体随机对象，衡量同时描述二者平均需要多少信息。相关性越强，知道一个变量后描述另一个变量的新增成本通常越小。

例子与边界

若 $Y=X$$Y=X$，则 $H(X,Y)=H(X)$$H(X,Y)=H(X)$，而不是 $2H(X)$$2H(X)$；若 $X,Y$$X,Y$ 独立且熵有限，则 $H(X,Y)=H(X)+H(Y)$$H(X,Y)=H(X)+H(Y)$。对连续随机变量，微分熵使用积分定义，可能为负且不具备离散熵的所有性质，不能直接把本条公式的直觉无条件移植。

推论与应用

联合熵用于无损联合编码、相关信源压缩、互信息和典型集分析。链式法则把高维信息量分解成逐变量的条件信息，是信息论中大量不等式的基础。

参考资料

• Thomas M. Cover and Joy A. Thomas, Elements of Information Theory, 2nd ed., Wiley, 2006，§§2.1–2.5。
• Claude E. Shannon, “A Mathematical Theory of Communication,” Bell System Technical Journal 27, 1948，Part I, §§6–8。