形式陈述

设 $X$$X$ 取有限集合 $\mathcal X$$\mathcal{X}$ 中值，$\widehat X$$\hat{X}$ 是估计，错误概率 $P_e=\Pr[\widehat X\ne X]$$P_e=\text{Pr}[\hat{X}\ne X]$。Fano 不等式给出

$$ H(X\mid\widehat X)\le h_2(P_e)+P_e\log(|\mathcal X|-1). $$$$H(X\mid \hat{X})\le h_2(P_e)+P_e\log (|\mathcal{X}|-1).$$

反向使用可由较大的条件熵推出任何估计器都必须有非小错误率。字母表有限及对数底数需明确。

直觉

若估计几乎总正确，知道估计后对真值只剩很少不确定性；反之，残余信息太多就不可能准确恢复。

例子与边界

若 $P_e=0$$P_e=0$，则条件熵为 0。若 $X$$X$ 在 $M$$M$ 个消息上均匀，而观测只含很少互信息，结合 $H(X\mid Y)=H(X)-I(X;Y)$$H(X\mid Y)=H(X)-I(X;Y)$ 可得译码错误下界。Fano 给的是上界条件熵或间接下界错误率，通常不是紧等式；连续参数估计需先离散化或用其他信息论下界。

推论与应用

Fano 不等式用于信道编码逆定理、统计估计极小极大下界、学习理论和多假设检验。

参考资料

• Thomas M. Cover and Joy A. Thomas, Elements of Information Theory, 2nd ed., Wiley, 2006，Chs. 2–8。
• Claude E. Shannon, “A Mathematical Theory of Communication,” Bell System Technical Journal 27, 1948，Parts I–II。