互信息

乘积分布 $P_X{P}_Y$ 描述“保留两个边缘、但抹掉一切依赖”后的基线。互信息比较真实联合规律与这条独立基线，因此捕捉所有统计依赖，而不只线性关系。离散且相关熵有限时，它还等于观察 $Y$ 后 $X$ 的平均不确定性减少量。

虽然“$Y$ 告诉我们多少关于 $X$ 的信息”听起来有方向，KL 展开对交换 $x,y$ 不变，所以 $I(X;Y)=I(Y;X)$。它仍不是距离：对离散 $X$，$I(X;X)=H(X)$ 通常非零，也没有普通距离的三角不等式。

非负性与零点的证明机制 ​

KL 的 Gibbs 不等式立即给出

等号当且仅当 $P_{XY}=P_X{P}_Y$（几乎处处），也就是 $X,Y$ 独立。当各项可积时，把对数比拆成 $\log p(x,y)-\log p_X(x)-\log p_Y(y)$ 并分别边缘化，就得到熵恒等式。可数无限空间中，原 KL 和式仍可能是良定义的非负扩展实数，但拆成三个发散的熵再相减不合法；例如独立的两个无限熵变量仍有互信息 $0$，因为每个非零概率点的对数比都是 $\log 1=0$。

可复算例：BSC 的均匀输入 ​

令 $X$ 为公平比特，$Y=X\oplus N$，其中 $N\sim \mathrm{Bernoulli}(0.1)$ 独立。联合概率是

而四个边缘乘积都为 $0.25$。因此

另一种复算是 $I(X;Y)=1-h_2(0.1)=1-0.4690=0.5310$ bit。

一次观察可能增加不确定性 ​

“平均减少量”不意味着每个观察结果都减少熵。令 $\text{Pr}[Y=0]=0.9$，且此时 $X=0$；令 $\text{Pr}[Y=1]=0.1$，且此时 $X$ 为公平比特。于是 $\text{Pr}[X=1]=0.05$，所以 $H(X)=h_2(0.05)\approx 0.2864$。

观察到罕见的 $Y=1$ 时，$H(X\mid Y=1)=1$，反而高于事前熵；但平均条件熵为 $0.9\cdot 0+0.1\cdot 1=0.1$，故 $I(X;Y)\approx 0.1864>0$。非负性约束的是按观察概率加权的平均值，不能逐个条件事件套用。

边界与失败情形 ​

零协方差不推出零互信息。令 $X$ 在 $\{-1,0,1\}$ 上均匀并取 $Y=X^2$。由对称性 $\mathrm{Cov}(X,Y)=0$，但 $Y$ 是 $X$ 的非平凡确定函数，所以

若 $X$ 为非原子连续变量且 $Y=X$，联合分布集中在对角线上，而 $P_X\otimes P_Y$ 给对角线零质量；于是互信息为 $+\mathrm{\infty }$。此时把微分熵形式 $h(X)-h(X\mid Y)$ 当作两个普通有限数相减会掩盖奇异性。

有限样本上的分箱、近邻或神经估计值只是估计量，可能有偏并依赖调参；它们不自动成为真实互信息的上界或下界。

若 $X\to Y\to Z$ 构成 Markov 链，数据处理不等式公理库数据处理不等式Data processing inequality对 Markov 链 X→Y→Z，有 I(X;Z)≤I(X;Y)。给出 $I(X;Z)\le I(X;Y)$。信道容量公理库信道容量Channel capacity对输入分布最大化输入与输出互信息所得的每次使用信息率。进一步对输入分布最大化 $I(X;Y)$，把单次互信息变成长期可靠速率的阈值。

在统计与学习下界中，互信息把样本能揭示多少候选索引与Fano 不等式公理库Fano 不等式Fano's inequality用估计错误概率上界条件熵，从而把信息不足转化为推断下界。的译码错误联系起来。应用时必须指定联合分布、观测通道和条件信息；“输出只有一 bit”本身并不能代替条件互信息的链式计算。