形式陈述

若随机变量形成 Markov 链 $X\to Y\to Z$，即给定 $Y$ 后 $Z$ 与 $X$ 条件独立，则数据处理不等式为

$$I(X;Z)\le I(X;Y).$$

特别地，对任意确定函数 $g$，$I(X;g(Y))\le I(X;Y)$。更一般地，若同一随机信道 $K$ 分别作用于分布 $P,Q$，则

$$D(PK\Vert QK)\le D(P\Vert Q).$$

证明可由 KL 散度的 log-sum 不等式、链式法则或条件互信息非负性得到。

直觉

只观察原数据经过的后处理，无法凭空恢复处理前已丢失的、关于目标变量的信息；随机化和压缩至多保持信息。

例子与边界

$Z=g(Y)$ 时，任何从 $Z$ 预测 $X$ 的方法都可看作先观察 $Y$ 再自行计算 $g$，故 $Z$ 不会更有信息。若把额外侧信息 $W$ 与 $g(Y)$ 一起提供，比较对象已改变，互信息可能上升；这不违反定理。等号可在 $Z$ 保留了 $Y$ 关于 $X$ 的全部充分信息时出现，但一般处理会严格损失。

推论与应用

该不等式给出通信、压缩、统计估计和隐私机制的基本下界，也是信道级联容量上界、Fano 型论证和充分统计量理论的核心工具。

参考资料

• Thomas M. Cover and Joy A. Thomas, Elements of Information Theory, 2nd ed., Wiley, 2006，§2.8, data-processing inequality。
• Imre Csiszár and János Körner, Information Theory: Coding Theorems for Discrete Memoryless Systems, 2nd ed., Cambridge University Press, 2011，Chs. 1–2, divergence contraction under channels。