联合熵 | Codeboy's Blog

形式陈述

设离散随机变量 $(X,Y)$ 的联合分布为 $p(x,y)$ 。本页默认以 $2$ 为对数底，并约定 $0\log 0=0$ 。联合熵就是把随机变量对视为一个随机对象后的Shannon 熵：

H(X,Y)=-\sum_{x,y}p(x,y)\log_2 p(x,y)\in[0,+\infty].

对每个 $p_X(x)>0$ 的 $x$ ，令 $p(y\mid x)=p(x,y)/p_X(x)$ ；零概率 $x$ 上的条件分布可任取，因为它在平均中权重为零。定义

H(Y\mid X)=\sum_{x:p_X(x)>0}p_X(x) \left[-\sum_y p(y\mid x)\log_2p(y\mid x)\right].

链式法则以扩展非负数的等式成立：

H(X,Y)=H(X)+H(Y\mid X)=H(Y)+H(X\mid Y).

对 $n$ 个变量，反复应用可得

H(X_1,\ldots,X_n) =\sum_{i=1}^nH(X_i\mid X_1,\ldots,X_{i-1}),

其中 $i=1$ 的条件为空。只有在被减项有限时，才应把链式法则改写成 $H(Y\mid X)=H(X,Y)-H(X)$ ，以免出现 $+\infty-+\infty$ 。

直觉

要描述一对结果，可以先描述 $X$ ，再在已知 $X$ 的码本中描述 $Y$ 。第一段平均花费 $H(X)$ ，第二段平均花费 $H(Y\mid X)$ ；共享的不确定性因此不会计算两次。次序可交换，所以同一联合熵也等于 $H(Y)+H(X\mid Y)$ 。

在 $p(x,y)>0$ 的点上，概率分解 $p(x,y)=p_X(x)p(y\mid x)$ 给出

-\log_2p(x,y)=-\log_2p_X(x)-\log_2p(y\mid x).

对联合分布取期望，第一项边缘化成 $H(X)$ ，第二项正是 $H(Y\mid X)$ 。零质量点由 $0\log0=0$ 处理。证明不需要独立性；独立只会进一步令 $p(y\mid x)=p_Y(y)$ 。

例子与边界

令联合质量表为

\begin{array}{c|cc} &Y=0&Y=1\\ \hline X=0&0.4&0.1\\ X=1&0.1&0.4 \end{array}.

两个边缘都均匀，所以 $H(X)=H(Y)=1$ bit。给定任一 $X=x$ ， $Y=x$ 的概率为 $0.8$ ，故

H(Y\mid X)=h_2(0.2) =-0.8\log_2 0.8-0.2\log_2 0.2 \approx0.7219.

链式法则给 $H(X,Y)\approx1.7219$ bit；直接计算也得到

-2(0.4\log_2 0.4)-2(0.1\log_2 0.1) \approx1.7219.

对有限熵的离散变量，

\max\{H(X),H(Y)\}\le H(X,Y)\le H(X)+H(Y).

左侧来自条件熵非负，右侧来自条件化平均不增熵。若 $Y=X$ ，左端取等；若 $X,Y$ 独立，右端取等。若有熵为无穷，不能用差值公式随意相消。

$H(X,Y)$ 不等于把数值变量相加后的 $H(X+Y)$ ；后者会合并不同有序对。对连续变量，联合微分熵也可能为负并受坐标变换影响，离散非负界不能照搬。

推论与应用

联合熵把熵扩展到随机向量；条件熵是链式法则中的新增成本，互信息则可写成

I(X;Y)=H(X)+H(Y)-H(X,Y)

（相关熵有限时）。多变量链式法则用于相关信源压缩、联合典型性、网络信息论和秘密共享中的熵论证；每一步都必须保留条件变量的次序与联合分布，不能只凭边缘熵重建依赖关系。

参考资料

Thomas M. Cover and Joy A. Thomas, Elements of Information Theory, 2nd ed., Wiley, 2006, §§2.1–2.5.
Claude E. Shannon, “A Mathematical Theory of Communication,” Bell System Technical Journal 27, 1948, Part I, §§6–8.
David J. C. MacKay, Information Theory, Inference, and Learning Algorithms, Cambridge University Press, 2003, §2.4.