两点检验下界

两个参数若在目标损失中相隔很远，准确估计就必须知道数据来自哪一边；但若它们诱导的样本分布几乎重叠，任何检验都会频繁混淆。两点法把这两种要求并置：参数距离制造误差尺度，统计距离控制不可辨识概率。

样本数增加会把乘积分布推远，因此候选间隔不能固定不变。典型构造让单样本 KL 为 $O(1/m)$，使总 KL 保持常数，同时让参数距离尽可能大；这份平衡直接产生估计速率。

Bernoulli 均值例子 ​

取 $a=1/(8\sqrt{m})$、${\theta }_0=1/2-a$、${\theta }_1=1/2+a$。以下KL 散度理路KL 散度Kullback–Leibler divergence · Relative entropy同一可测空间上分布 P 相对于 Q 的对数 Radon–Nikodym 导数在 P 下的积分。均用自然对数。直接计算并用 $a\le 1/4$，得到

独立乘积的 KL 可加，故 $D(P_0^{\otimes m}\Vert P_1^{\otimes m})\le 1/4$。Pinsker 不等式 $\mathrm{TV}(P,Q)\le \sqrt{D(P\Vert Q)/2}$ 给出样本 TV 小于 $1/2$。上面的两点式于是保证

这与样本均值的 $1/(4m)$ 风险上界同阶。

Pinsker 也可由KL 数据处理理路数据处理不等式Data processing inequality对 Markov 链 X→Y→Z，有 I(X;Z)≤I(X;Y)。看出：把观测压成某事件 $A$ 的指示变量，得到 $D(P\Vert Q)\ge \mathrm{kl}(P(A),Q(A))$。二元 KL 关于第一个参数的二阶导数为 $1/[p(1-p)]\ge 4$，在 $p=q$ 处值和一阶导数均为零，因此 $\mathrm{kl}(p,q)\ge 2(p-q{)}^2$；端点由极限或无穷值约定处理。对 $A$ 取上确界即得所需 TV 界。

数据处理视角与边界 ​

估计器是观测的函数，数据处理不等式理路数据处理不等式Data processing inequality对 Markov 链 X→Y→Z，有 I(X;Z)≤I(X;Y)。说明它不能增加区分两分布的信息。证明中不能把单样本 KL 直接当作 $m$ 样本 KL；乘 $m$ 来自独立乘积。两点法善于得到一维或单方向速率，却常看不见高维的 $d$ 因子；这时要构造 packing 并用 Fano，或使用 Assouad 超立方体。若损失不是度量，参数间隔到检验正确性的那一步需按损失几何重新证明。

把尾概率下界乘以 $s^p$，即可得到 $d^p$ 型损失的风险下界。Bernoulli 例子取 $a\asymp m^{-1/2}$，给出均值估计的 $m^{-1/2}$ 绝对误差或 $m^{-1}$ 平方误差量级，与样本均值上界匹配。

当困难只沿一个自然方向发生时，两点法最简洁；需要维数因子时，应改用 Packing–Fano 或 Assouad，把多个可区分方向同时编码进候选集合。方法选择取决于参数几何，而不是下界定理名称的强弱排序。