两点检验下界

两点构造 ​

从参数空间挑 ${\theta }_0,{\theta }_1$，令目标距离 $d({\theta }_0,{\theta }_1)\ge 2s$，单样本分布分别为 $P_0,P_1$。任意估计器 $\hat{\theta }(X_{1:m})$ 都诱导一个检验：输出离哪个参数点更近的假设。由三角不等式，若 $d(\hat{\theta },{\theta }_j)<s$，该检验在参数 $j$ 下必然正确。

从估计误差到检验错误 ​

令检验为 $\phi \in \{0,1\}$。上面的归约给

$$\underset{j\in \{0,1\}}{max}{P}_j^{\otimes m}\{d(\hat{\theta },{\theta }_j)\ge s\}\ge \frac{1}{2}[P_0^{\otimes m}(\phi =1)+P_1^{\otimes m}(\phi =0)].$$

由Neyman–Pearson 引理公理库Neyman–Pearson 引理Neyman–Pearson lemma简单零假设对简单备择下，给定显著性约束时似然比阈值检验具有最大功效。的最优似然比检验，二元检验的最小错误和恰由总变差距离公理库总变差距离Total variation distance · TV distance两个概率分布对最优可测事件所赋概率之差的最大值。刻画：

$$\underset{\phi }{inf}\{P_0^{\otimes m}(\phi =1)+P_1^{\otimes m}(\phi =0)\}=1-\mathrm{TV}(P_0^{\otimes m},P_1^{\otimes m}).$$

因此右侧至少为 $(1-\mathrm{TV})/2$（采用 max-risk 的常数约定）。这里的等式是共同支配测度下逐点选择较大密度一侧的结果，不是任意距离都能替换的模板。只要两个乘积分布仍难区分，就不可能在两点上同时精确估计。

Bernoulli 均值例子 ​

估计 Bernoulli 均值，取 ${\theta }_0=1/2-a$、${\theta }_1=1/2+a$，则参数间隔为 $2a$。单样本 KL 在小 $a$ 时为 $O(a^2)$，而独立乘积满足

$$\mathrm{KL}(P_0^{\otimes m}\Vert P_1^{\otimes m})=m\mathrm{KL}(P_0\Vert P_1)=O(m{a}^2).$$

由 Pinsker 不等式，TV 至多为 $O(a\sqrt{m})$。选择 $a=c/\sqrt{m}$ 且 $c$ 足够小，TV 保持严格小于 $1$，于是任何估计器都以常数概率有 $\mathrm{\Omega }(m^{-1/2})$ 绝对误差。这给出匹配样本均值上界的速率。

数据处理视角与边界 ​

估计器是观测的函数，数据处理不等式公理库数据处理不等式Data processing inequality对 Markov 链 X→Y→Z，有 I(X;Z)≤I(X;Y)。说明它不能增加区分两分布的信息。证明中不能把单样本 KL 直接当作 $m$ 样本 KL；乘 $m$ 来自独立乘积。两点法善于得到一维或单方向速率，却常看不见高维的 $d$ 因子；这时要构造 packing 并用 Fano，或使用 Assouad 超立方体。若损失不是度量，参数间隔到检验正确性的那一步需按损失几何重新证明。

参考资料

• Lucien Le Cam, Asymptotic Methods in Statistical Decision Theory, Springer, 1986.
• Alexandre Tsybakov, Introduction to Nonparametric Estimation, Springer, 2009.