互信息 | Codeboy's Blog

形式陈述

离散随机变量 $X,Y$ 的互信息定义为其联合分布与独立边缘乘积分布之间的KL 散度：

\begin{aligned} I(X;Y) &=D(P_{XY}\|P_XP_Y)\\ &=\sum_{x,y}p(x,y) \log_2\frac{p(x,y)}{p_X(x)p_Y(y)}. \end{aligned}

若 $p(x,y)>0$ ，两个边缘必然也为正，所以离散比值在所有有贡献的点上有定义。本页默认单位为 bit；改用自然对数则单位为 nat。

在相关熵有限、没有 $+\infty-+\infty$ 的歧义时，条件熵给出等价恒等式

\begin{aligned} I(X;Y) &=H(X)-H(X\mid Y)\\ &=H(Y)-H(Y\mid X)\\ &=H(X)+H(Y)-H(X,Y). \end{aligned}

对一般随机元素，第一行 KL 定义仍适用：若 $P_{XY}\not\ll P_X\otimes P_Y$ ，则令 $I(X;Y)=+\infty$ 。

直觉

乘积分布 $P_XP_Y$ 描述“保留两个边缘、但抹掉一切依赖”后的基线。互信息比较真实联合规律与这条独立基线，因此捕捉所有统计依赖，而不只线性关系。等价地，它是观察 $Y$ 后 $X$ 的平均不确定性减少量。

虽然“ $Y$ 告诉我们多少关于 $X$ 的信息”听起来有方向，KL 展开对交换 $x,y$ 不变，所以 $I(X;Y)=I(Y;X)$ 。它仍不是距离： $I(X;X)=H(X)$ 通常非零，也没有普通距离的三角不等式。

KL 的 Gibbs 不等式立即给出

I(X;Y)=D(P_{XY}\|P_XP_Y)\ge0.

等号当且仅当 $P_{XY}=P_XP_Y$ （几乎处处），也就是 $X,Y$ 独立。把对数比拆成 $\log p(x,y)-\log p_X(x)-\log p_Y(y)$ 并分别边缘化，则得到熵恒等式。

例子与边界

令 $X$ 为公平比特， $Y=X\oplus N$ ，其中 $N\sim\operatorname{Bernoulli}(0.1)$ 独立。联合概率是

p(0,0)=p(1,1)=0.45, \qquad p(0,1)=p(1,0)=0.05,

而四个边缘乘积都为 $0.25$ 。因此

\begin{aligned} I(X;Y) &=2(0.45)\log_2\frac{0.45}{0.25} +2(0.05)\log_2\frac{0.05}{0.25}\\ &\approx0.5310\ \text{bit}. \end{aligned}

另一种复算是 $I(X;Y)=1-h_2(0.1)=1-0.4690=0.5310$ bit。

零协方差不推出零互信息。令 $X$ 在 $\{-1,0,1\}$ 上均匀并取 $Y=X^2$ 。由对称性 $\operatorname{Cov}(X,Y)=0$ ，但 $Y$ 是 $X$ 的非平凡确定函数，所以

I(X;Y)=H(Y)=h_2(1/3)\approx0.9183\ \text{bit}.

若 $X$ 为非原子连续变量且 $Y=X$ ，联合分布集中在对角线上，而 $P_X\otimes P_Y$ 给对角线零质量；于是互信息为 $+\infty$ 。此时把微分熵形式 $h(X)-h(X\mid Y)$ 当作两个普通有限数相减会掩盖奇异性。

有限样本上的分箱、近邻或神经估计值只是估计量，可能有偏并依赖调参；它们不自动成为真实互信息的上界或下界。

推论与应用

若 $X\to Y\to Z$ 构成 Markov 链，数据处理不等式给出 $I(X;Z)\le I(X;Y)$ 。信道容量进一步对输入分布最大化 $I(X;Y)$ ，把单次互信息变成长期可靠速率的阈值。

在统计与学习下界中，互信息把样本能揭示多少候选索引与Fano 不等式的译码错误联系起来。应用时必须指定联合分布、观测通道和条件信息；“输出只有一 bit”本身并不能代替条件互信息的链式计算。

参考资料

Thomas M. Cover and Joy A. Thomas, Elements of Information Theory, 2nd ed., Wiley, 2006, §§2.3, 2.8.
Imre Csiszár and János Körner, Information Theory: Coding Theorems for Discrete Memoryless Systems, 2nd ed., Cambridge University Press, 2011, §§2.1–2.2.
Claude E. Shannon, “A Mathematical Theory of Communication,” Bell System Technical Journal 27, 1948, Part I, §§6–12.