形式陈述

对离散随机变量 $X,Y$$X,Y$，若 $p(y)>0$$p(y)>0$，定义

$$ H(X\mid Y=y)=-\sum_xp(x\mid y)\log p(x\mid y). $$$$H(X\mid Y=y)=-\sum _{x}p(x\mid y)\log p(x\mid y).$$

条件熵是对观测值的平均：

$$ H(X\mid Y)=\sum_y p(y)H(X\mid Y=y) =-\sum_{x,y}p(x,y)\log p(x\mid y). $$$$H(X\mid Y)=\sum _{y}p(y)H(X\mid Y=y)=-\sum _{x,y}p(x,y)\log p(x\mid y).$$

在相关熵有限时，

$$ H(X\mid Y)=H(X,Y)-H(Y),\qquad 0\le H(X\mid Y)\le H(X). $$$$H(X\mid Y)=H(X,Y)-H(Y),0\le H(X\mid Y)\le H(X).$$

直觉

条件熵衡量观察到 $Y$$Y$ 后，$X$$X$ 平均还剩多少不确定性。它对各个 $Y=y$$Y=y$ 的后验不确定性按出现概率加权，而不是选择某个特定观测值。

例子与边界

若 $X$$X$ 是 $Y$$Y$ 的确定函数，则 $H(X\mid Y)=0$$H(X\mid Y)=0$；若 $X$$X$ 与 $Y$$Y$ 独立，则 $H(X\mid Y)=H(X)$$H(X\mid Y)=H(X)$。单个条件值下的熵 $H(X\mid Y=y)$$H(X\mid Y=y)$ 可能高于 $H(X)$$H(X)$，但离散情形平均后满足“conditioning reduces entropy”。

推论与应用

条件熵刻画有侧信息时的编码成本，并出现在 Slepian–Wolf 编码、信道容量与 Fano 不等式中。对于连续变量，微分条件熵可为负，$H(X\mid Y)\le H(X)$$H(X\mid Y)\le H(X)$ 仍需在量存在且定义合适时理解。

参考资料

• Thomas M. Cover and Joy A. Thomas, Elements of Information Theory, 2nd ed., Wiley, 2006，§§2.2–2.5。
• Claude E. Shannon, “A Mathematical Theory of Communication,” Bell System Technical Journal 27, 1948，Part I, §§6–8。