形式陈述
设 对模型 同时完备理路完备统计量Complete statistic · Completeness统计量分布族的期望算子具有唯一性:全参数零均值的可积函数只能几乎处处为零。且充分理路充分统计量Sufficient statistic以参数无关的条件分布保留整个模型区分能力的数据压缩,并连接因子分解与决策等价。。若可测函数 对每个参数点二阶可积,并且
则 是 的一致最小方差无偏估计量(uniformly minimum-variance unbiased estimator, UMVU):对任意满足 且 的估计量 ,
对所有 同时成立。唯一性按统计等价理解:任何另一 UMVU 估计量都与 在每个 下几乎处处相等。
中文名称中的“一致”指同一规则在无偏比较类中对每个参数点都达到最小方差;估计量一致性理路估计量的一致性Consistency of estimators · Consistent estimator估计误差随实验规模增长而消失的点态、统一、弱与强收敛性质及其证明边界。则讨论样本量趋于无穷时的收敛,是另一个性质。
直觉
证明
任取一个二阶可积无偏估计量 。由Rao–Blackwell 定理理路Rao–Blackwell 定理Rao–Blackwell theorem借充分统计量上的条件期望消除参数无关随机性,并以 Jensen 不等式逐参数降低凸损失风险。和充分性的共同条件核,构造同一个可实施函数
它保持无偏且方差不增。现在 与 都是 的函数,并对同一目标无偏,故
对所有参数成立。完备性迫使 几乎处处。因此
在每个参数点成立,完成 UMVU 证明。
这个唯一性还覆盖所有 UMVU 估计量。若 也是 UMVU,它的 Rao–Blackwell 化必等于 ;两条 UMVU 性质又迫使 。全方差分解的等号条件于是给 几乎处处。证明链中,充分性负责把任意候选投影进 ,完备性识别该投影,方差等号再消除投影外的残余随机性。
例子与边界
若不同时间段的独立事故数 ,则总数 完备且充分。因为
是单位时间事故率 的唯一 UMVU 估计。这个结论比较的是所有二阶可积无偏规则,包括只看某一时段或以额外随机币扰动的规则。
再估计下一单位时间零事故的概率 。从容易想到的无偏估计 出发;给定 后,,因此对 ,Rao–Blackwell 化为
Poisson 概率生成函数核对其期望:
所以 是该非线性目标的唯一 UMVU。构造路线“先找粗糙无偏估计,再条件化”比猜测 的函数更系统;完备性负责的只是最终唯一性认证。
边界与失败情形
定理只在二阶可积无偏类中比较方差。带小偏差的收缩、截断或投影规则可能有更低 MSE,非平方损失下也可能选择不同估计;这些准则对应不同的估计决策问题。
目标必须先落在无偏期望算子的值域中。若不存在任何无偏估计量,就要改用其他估计准则;完备性解决的是已有无偏表示的唯一性。
只有充分性时,Rao–Blackwell 化能降方差,却可能留下多个不同的无偏 函数;只有完备性时,基于 的无偏表示虽唯一,却无法把任意完整样本规则投影成参数无关的同一函数。两条假设各自承担不可替换的一步。
二阶矩不存在时,最小方差比较没有定义。一阶可积足以借完备性证明基于 的无偏表示唯一,却不足以使用方差分解完成 UMVU 论证。
把参数空间限制到有限点集或弯曲子族后,充分性可以保留,完备性却可能失去:要求期望为零的参数点变少了,原来无法同时满足的零期望条件可能有新的非零解。
推论与应用
寻找 UMVU 的标准路线分三步:用因子分解找到充分统计量,单独证明它完备,再把一个容易构造的无偏估计量对该统计量条件化。定理随后一次性完成全无偏类的方差比较,无需逐个候选优化。
满秩自然指数族的自然参数空间若包含全维开集,其自然统计量就是完备充分统计量,为这条构造路线提供了一类常用模型。
不同参数下的几乎处处唯一可能对应不同零集。标准支配模型通常选择共同版本表达规则;两条公式若只在整个模型都不可能取到的统计量值上不同,代表同一估计量。若两条规则在某个参数下以正概率给出不同结果,它们就不是该意义下的同一估计量。
若应用重罚极端误差、要求输出服从参数约束,或允许少量偏差换取稳定性,应回到明确的损失与风险理路估计量、决策规则与风险Estimator and decision rule · Statistical risk从观测到行动的可实施规则,以及在逐参数、Bayes 与最坏情形量词下的期望损失。。此时应按相应风险比较候选规则。
参考资料
- E. L. Lehmann and Henry Scheffé, “Completeness, Similar Regions, and Unbiased Estimation,” Sankhyā 10, 1950。
- Erich L. Lehmann and George Casella, Theory of Point Estimation, 2nd ed., Springer, 1998,§1.7。
- George Casella and Roger L. Berger, Statistical Inference, 2nd ed., Duxbury, 2002,§7.3。