形式陈述
设统计量 在 下诱导分布族 。若对任意可测函数 ,只要
就必有
则称 对该模型完备。量词顺序至关重要:同一个 必须在整个参数空间上期望为零,才能推出它在整个分布族下几乎处处为零。
有界完备只对所有有界 要求该性质,比通常完备弱。完备性属于 的分布族,而不是单次观察值,也不是“统计量包含全部样本信息”的日常语言。
直觉
把 看成一个对所有参数都无偏估计零的规则。完备性说不存在隐藏的非零零估计量,因此两个基于 的无偏估计若目标相同,它们的差必须几乎处处为零。这是一种无偏表示的唯一性条件。
充分性公理库充分统计量Sufficient statistic给定该统计量后,样本剩余条件分布不再依赖未知参数的数据压缩。关注是否丢失参数信息,完备性关注分布族是否足以区分 的所有可积函数。两者逻辑独立,只有结合时才产生强有力的唯一最优结论。
例子与证明
令 独立 Poisson,,则 。若 可积且对所有 有
乘以 得到一个在正半轴恒为零的幂级数。解析函数唯一性迫使每个系数 为零,因此 对所有 , 完备。
同一 也由因子分解定理充分。若两个基于 的可积估计量 都对 无偏,则
对所有 成立,完备性给出 几乎处处。
这个唯一性可形成实际计算。Poisson 模型中 的期望是 ,所以它无偏估计该目标。若另一个基于 的函数也对所有 无偏估计 ,两者之差对全参数空间期望为零,完备性迫使它们相同;这比仅比较某个 的方差更强。
边界与失败情形
若参数空间太小,完备性容易失败。设 但 只允许 。函数空间无限维,而“在两个分布下期望为零”只给两个线性约束,通常存在非零有界函数同时满足;连续全位置族的某些完备性质不能缩到两点参数集后照搬。
“对所有参数”也不能替换为对稠密子集成立,除非期望作为参数函数具有连续或解析延拓等附加性质。Poisson 证明能这样延拓,是因为幂级数解析;一般模型没有这个自动通道。
Bernoulli 样本的成功次数也给出有限支持正例:若 且 对全部 成立,则 是恒零多项式,Bernstein 基线性无关迫使每个 。有限支持不妨碍完备,关键是参数族提供足够多约束。
对称模型中也可构造零期望函数。例如 、,取奇函数 ,对所有 都有期望零但并非几乎处处为零,所以 对尺度族不完备。
完备不等于充分。即使某统计量的边缘族完备,它仍可能遗漏样本中关于参数的其他信息;反之,最小充分统计量也可能不完备。
必须保留可积性。若 根本不存在,“等于零”没有定义,不能把条件扩展到任意病态函数。
推论与应用
Lehmann–Scheffé 定理指出:若 完备且充分,任何基于 的无偏估计量都是目标的唯一一致最小方差无偏估计。充分性经 Rao–Blackwell 消除无关随机性,完备性再保证候选唯一。
满秩自然指数族在自然参数空间含非空开集时,常由 Laplace 变换唯一性得到自然统计量的完备性;curved 子族则可能失去这一性质。
参考资料
- Erich L. Lehmann and George Casella, Theory of Point Estimation, 2nd ed., Springer, 1998,§1.7。
- George Casella and Roger L. Berger, Statistical Inference, 2nd ed., Duxbury, 2002,§6.2.4。
- A. M. Kagan, Yu. V. Linnik, and C. R. Rao, Characterization Problems in Mathematical Statistics, Wiley, 1973,完备族章节。