数据处理不等式

处理器只拿到 $Y$，无论它确定计算、随机化、量化还是丢弃数据，都不能恢复 $Y$ 已经没有的关于 $X$ 的信息。关键不在“处理是否复杂”，而在处理器是否还有另一条通往 $X$ 的信息路径。只要 $Z$ 偷看了 $X$、训练数据或旁路信号，所需 Markov 条件就可能失效。

互信息证明机制 ​

条件互信息的链式法则可按两种顺序展开同一个量：

Markov 条件令 $I(X;Z\mid Y)=0$，而条件互信息非负，所以

KL 收缩版本可由 log-sum 不等式证明：输出 $z$ 把多个输入 $x$ 的概率质量混合在一起，凸性保证这种合并不会增大散度。

可复算例：串联两个 BSC ​

令 $X$ 为公平比特，$Y=X\oplus N_1$、$Z=Y\oplus N_2$，其中 $N_1,N_2$ 独立且都服从 $\mathrm{Bernoulli}(0.1)$。显然 $X\to Y\to Z$。第一段给出

两次翻转恰有一次发生的概率为

所以级联等效为 BSC$(0.18)$，并且

若后处理是可逆函数，则 $Y$ 可由 $Z$ 恢复，反向也有一条 Markov 链，因而取等；更一般的等号条件要求 $Z$ 保留 $Y$ 中关于 $X$ 的充分信息。

Markov 条件缺失时会失败 ​

令 $X$ 为公平比特、$Y$ 为常数，并让 $Z=X$。此时

但这不是反例，因为 $P_{Z\mid X,Y}$ 仍依赖 $X$，所以 $X\to Y\to Z$ 根本不成立。给后处理额外侧信息也属于同一种模型改变。

DPI 收缩的是互信息或分布的 KL，不是样本值的欧氏距离；确定映射完全可能拉大某些点对距离。

数据处理不等式给出级联信道的容量上界，并支撑充分统计量、隐私机制和信息瓶颈分析。在译码下界中，消息 $M$、信道输出 $Y^n$ 与估计 $\hat{M}$ 形成 $M\to Y^n\to \hat{M}$，于是估计器不可能比完整观测携带更多消息信息；再结合Fano 不等式公理库Fano 不等式Fano's inequality用估计错误概率上界条件熵，从而把信息不足转化为推断下界。即可把信息不足转成错误下界。

统计、学习和通信归约都必须逐项验证相应 Markov 链。算法输出是观测的函数这一事实只控制后处理阶段；若算法还访问独立数据、公共随机币以外的相关侧信息，联合分布和条件独立关系必须重新写出。