条件熵

观察 $Y=y$ 会把先验 $P_X$ 换成后验 $P_{X\mid Y=y}$。有些 $y$ 几乎确定 $X$，有些反而留下很分散的后验；条件熵把这些情形按它们实际出现的概率平均。因此 $H(X\mid Y)$ 不是某个随意挑选的 $H(X\mid Y=y)$，也不是对零概率事件做普通除法。

“条件化平均不增熵”的证明机制 ​

边缘分布是后验分布的混合：

Shannon 熵的凹性于是给出

有限情形中，等号当且仅当所有正概率 $y$ 对应同一个后验 $P_X$，也就是 $X$ 与 $Y$ 独立。另一方面，$H(X\mid Y)=0$ 当且仅当每个正概率后验都是点质量，等价于存在函数 $f$ 使 $X=f(Y)$ 几乎必然成立。

可复算例：二元对称观测 ​

令 $X$ 为公平比特，$N\sim \mathrm{Bernoulli}(0.1)$ 与 $X$ 独立，并令 $Y=X\oplus N$。对任一 $y$，后验满足

所以

当翻转率为 $0$ 时条件熵为 $0$；为 $1/2$ 时 $Y$ 与 $X$ 独立，条件熵回到 $1$ bit。

单个条件值可能增加熵 ​

取联合概率

此时 $P(X=1)=0.1$，故 $H(X)\approx 0.4690$ bit；但给定 $Y=1$ 后 $X$ 公平，所以 $H(X\mid Y=1)=1$ bit。由于 $P(Y=1)=0.2$ 且 $Y=0$ 时 $X$ 确定，平均条件熵只有 $H(X\mid Y)=0.2$ bit，并未违反平均不增。

连续变量使用微分条件熵，它可以为负；若 $X=Y$ 且分布无原子，点条件分布还是奇异的，形式上的 $h(X\mid Y)$ 可能为 $-\mathrm{\infty }$ 或需要更谨慎的定义。离散的非负结论不能直接移植；在相关互信息与微分熵均良定义时，$h(X\mid Y)\le h(X)$ 仍由互信息非负得到。

互信息公理库互信息Mutual information一个随机变量对另一个随机变量不确定性的平均减少量。满足 $I(X;Y)=H(X)-H(X\mid Y)$，把“剩余不确定性”改写为“减少了多少”。Fano 不等式公理库Fano 不等式Fano's inequality用估计错误概率上界条件熵，从而把信息不足转化为推断下界。用条件熵约束离散译码错误；有侧信息的无损编码、Slepian–Wolf 分布式压缩和信道逆定理也依赖同一个条件量。

所有应用都要写清条件信息究竟是什么。若接收者已经知道额外变量 $Z$，相关成本通常是 $H(X\mid Y,Z)$ 或条件互信息，而不是无条件的 $H(X)$；遗漏条件变量会重复计算接收者已有的信息。