Skip to content

极小极大风险

Minimax risk

在模型族最坏参数上评价算法风险,再在所有允许算法中寻找最优值。

条目类型
定义

形式陈述

沿用统计决策规则与风险,给定模型族 {Pθ:θΘ}、样本 SPθm 与决策损失 L,算法 A 的最坏风险为

supθΘEθL(A(S),θ),

极小极大风险为

Rm(Θ)=infAsupθΘEθL(A(S),θ).

其中下确界与上确界的顺序表示先选择统一算法,再由对手挑最坏参数;一般不能交换 inf 与 sup。是否允许随机化算法、可测性和输出空间都属于定义的一部分。

统计决策论中的估计量、决策规则与风险EθL(A(S),θ) 识别为固定参数下的频率风险:先对样本与规则自身的随机性平均损失,再在参数类上取最坏情形,并在允许的规则中取下确界。学习理论的预测风险可以复用这套量词骨架,但必须逐项说明随机对象、行动空间与损失,不能另建一个同名的 minimax 概念。

直觉

minimax 值描述一场设计在先、世界选择在后的对抗:算法必须在不知道真实参数时制定一套统一规则,风险却由最不利参数评价。上界需要交出一条具体算法并控制其最坏风险;下界则要证明每条算法都会在某些难以区分的参数上付出代价。

先取最坏风险再最小化
例子与边界

以 Bernoulli 均值估计为例,取 Pp=Bernoulli(p)p[0,1] 和平方损失 (p^p)2。样本均值 p^ 无偏,因此它的风险可以直接计算:

Ep(p^p)2=Varp(p^)=p(1p)m14m.

这只说明 Rm([0,1])1/(4m),因为 minimax 还允许其他估计器;要证明同阶下界,可选两个距离约 1/m 的参数,使其样本分布仍难区分,但错误动作产生约 1/m 平方损失。

Bayes 风险对先验平均,minimax 对最坏参数。选择任何先验后,所有算法的最坏风险至少为其先验平均风险,因此 Bayes 问题可给 minimax 下界,但两者不相等。还应区分绝对风险、超额风险、错误概率和局部 minimax,它们使用不同损失与参数邻域。

若先固定一个估计器再报告其最坏风险,得到的是该算法的风险上界,不是 minimax 值;若交换成 supθinfA,算法仿佛知道真实 θ 后才选择,值常退化为零。Inf–sup 的顺序正是“先设计统一程序,再面对未知世界”的数学表达。

推论与应用

两点检验把任意估计器转成区分两个相近参数的检验,给出最基本的 minimax 下界;Fano 方法把两个点扩展成大型 packing,Assouad 引理则把难题组织成超立方坐标。三者都以“分布难区分而正确行动相距很远”为核心,适合不同几何结构。

上界与下界同阶时,便得到问题在指定损失、参数类和样本协议下的最优统计速率。局部 minimax、Bayes 风险和超额风险改变了最坏集合或基准,引用结果前必须先对齐这些量词。

参考资料
  • Alexandre Tsybakov, Introduction to Nonparametric Estimation, 2009.
  • Bin Yu, “Assouad, Fano, and Le Cam,” 1997.
关系图谱10 个相邻概念 · 1 类关系

拖动节点调整位置。

显示关系

显示:依赖

  1. 前置三跳
  2. 前置二跳
  3. 前置一跳
  4. 当前条目
  5. 后续一跳
  6. 后续二跳
  7. 后续三跳
文字版关系按与当前条目的最短距离分组