条件熵

观察 $Y=y$ 会把先验 $P_X$ 换成后验 $P_{X\mid Y=y}$。有些 $y$ 几乎确定 $X$，有些反而留下很分散的后验；条件熵把这些情形按它们实际出现的概率平均。因此 $H(X\mid Y)$ 不是某个随意挑选的 $H(X\mid Y=y)$，也不是对零概率事件做普通除法。

“条件化平均不增熵”的证明机制 ​

边缘分布是后验分布的混合：

对每个 $x$，函数 $\phi (t)=-t{\log }_{2}t$ 在 $[0,1]$ 上凹且有界。把 $p(X=x\mid Y)$ 视作关于 $Y$ 的随机变量，逐坐标使用Jensen 不等式理路Jensen 不等式Jensen's inequality凸函数作用于平均值不超过函数值的相同加权平均。，再把非负项对 $x$ 求和，便得到熵的凹性结论。这个论证也适用于可数取值，允许两侧为正无穷：

有限情形中，等号当且仅当所有正概率 $y$ 对应同一个后验 $P_X$，也就是 $X$ 与 $Y$ 独立。另一方面，$H(X\mid Y)=0$ 当且仅当每个正概率后验都是点质量，等价于存在函数 $f$ 使 $X=f(Y)$ 几乎必然成立。

可复算例：二元对称观测 ​

令 $X$ 为公平比特，$N\sim \mathrm{Bernoulli}(0.1)$ 与 $X$ 独立，并令 $Y=X\oplus N$。对任一 $y$，后验满足

所以

这里 $H(Y)=1$，因而联合熵为 $H(X,Y)=1+h_2(0.1)\approx 1.4690$ bit：描述观测先用一 bit，再描述是否发生翻转。条件熵因此是额外描述的平均成本，而不是每次都要发送 $0.4690$ 个 bit。

当翻转率为 $0$ 时条件熵为 $0$；为 $1/2$ 时 $Y$ 与 $X$ 独立，条件熵回到 $1$ bit。

单个条件值可能增加熵 ​

取联合概率

此时 $P(X=1)=0.1$，故 $H(X)\approx 0.4690$ bit；但给定 $Y=1$ 后 $X$ 公平，所以 $H(X\mid Y=1)=1$ bit。由于 $P(Y=1)=0.2$ 且 $Y=0$ 时 $X$ 确定，平均条件熵只有 $H(X\mid Y)=0.2$ bit，并未违反平均不增。

连续变量使用微分条件熵，它可以为负；若 $X=Y$ 且分布无原子，点条件分布还是奇异的，形式上的 $h(X\mid Y)$ 可能为 $-\mathrm{\infty }$ 或需要更谨慎的定义。离散的非负结论不能直接移植；在相关互信息与微分熵均良定义时，$h(X\mid Y)\le h(X)$ 仍由互信息非负得到。

当 $H(X)<\mathrm{\infty }$ 时，互信息理路互信息Mutual information用联合分布相对独立边缘乘积的 KL 散度量化统计依赖。满足 $I(X;Y)=H(X)-H(X\mid Y)$，把“剩余不确定性”改写为“减少了多少”。Fano 不等式理路Fano 不等式Fano's inequality用估计错误概率上界条件熵，从而把信息不足转化为推断下界。用条件熵约束离散译码错误；有侧信息的无损编码、Slepian–Wolf 分布式压缩和信道逆定理也依赖同一个条件量。

有限熵条件不能遗漏。例如令 $X$ 具有无限熵，并让 $Y$ 与它独立，则 $H(X\mid Y)=H(X)=\mathrm{\infty }$，但 $I(X;Y)=0$。此时 $\mathrm{\infty }-\mathrm{\infty }$ 没有定义，应从联合分布与边缘乘积分布的 KL 散度定义互信息。

所有应用都要写清条件信息究竟是什么。若接收者已经知道额外变量 $Z$，相关成本通常是 $H(X\mid Y,Z)$ 或条件互信息，而不是无条件的 $H(X)$；遗漏条件变量会重复计算接收者已有的信息。

最坏情形最优连接理路最坏情形最优连接Worst-case optimal joins · WCOJ从AGM熵界到一般NPRR锚关系递归，完整核算三角形和四三元表实例的枚举与索引成本。把这条原则用于计数：从完整连接答案中均匀抽取元组，按属性次序展开链式法则，再用增加条件不增熵与分数覆盖约束，得到输出大小的 AGM 界。均匀的是完整答案分布，投影到各输入表后的边缘分布不必均匀。

有损恢复时，边信息的作用还取决于编码器能看到什么。Wyner–Ziv 定理理路Wyner–Ziv 带边信息有损编码Wyner-Ziv coding在编码器看不到边信息时，用辅助描述与分箱得到译码端边信息下的最小有损编码率。要求辅助描述只由 $X$ 生成，重建却可同时使用 $U,Y$；其目标 $I(X;U|Y)$ 中的条件化节省了译码器已有信息，而 Markov 条件保留编码端的信息限制。