“Fano 不等式以 条件熵 与 互信息为桥梁,用于信道编码逆定理、通信下界、多假设检验和密码恢复不可能性。学习与统计估计中的 packing 选择、样本信息上界和极小极大风险归约统一由 Pa…”
形式陈述 ​
沿用统计决策规则与风险,给定模型族
极小极大风险为
其中下确界与上确界的顺序表示先选择统一算法,再由对手挑最坏参数;一般不能交换 inf 与 sup。是否允许随机化算法、可测性和输出空间都属于定义的一部分。
统计决策论中的估计量、决策规则与风险把
直觉
minimax 值描述一场设计在先、世界选择在后的对抗:算法必须在不知道真实参数时制定一套统一规则,风险却由最不利参数评价。上界需要交出一条具体算法并控制其最坏风险;下界则要证明每条算法都会在某些难以区分的参数上付出代价。
例子与边界
以 Bernoulli 均值估计为例,取
这只说明
Bayes 风险对先验平均,minimax 对最坏参数。选择任何先验后,所有算法的最坏风险至少为其先验平均风险,因此 Bayes 问题可给 minimax 下界,但两者不相等。还应区分绝对风险、超额风险、错误概率和局部 minimax,它们使用不同损失与参数邻域。
若先固定一个估计器再报告其最坏风险,得到的是该算法的风险上界,不是 minimax 值;若交换成
推论与应用
两点检验把任意估计器转成区分两个相近参数的检验,给出最基本的 minimax 下界;Fano 方法把两个点扩展成大型 packing,Assouad 引理则把难题组织成超立方坐标。三者都以“分布难区分而正确行动相距很远”为核心,适合不同几何结构。
上界与下界同阶时,便得到问题在指定损失、参数类和样本协议下的最优统计速率。局部 minimax、Bayes 风险和超额风险改变了最坏集合或基准,引用结果前必须先对齐这些量词。
参考资料
- Alexandre Tsybakov, Introduction to Nonparametric Estimation, 2009.
- Bin Yu, “Assouad, Fano, and Le Cam,” 1997.