形式陈述
设样本空间 上的模型 被同一 -有限测度 支配,并固定密度公理库似然函数Likelihood function固定可观测数据后,由共同支配密度定义、仅在参数间作相对比较的似然函数。 。令 可测。若存在一个非负可测函数 ,且对每个 都存在非负可测函数 ,使
对所有参数在共同的 -零集外成立,则 对模型充分公理库充分统计量Sufficient statistic以参数无关的条件分布保留整个模型区分能力的数据压缩,并连接因子分解与决策等价。。这里 对整个模型通用, 可以随参数变化;所有参数—数据交互都被限制在 中。
证明充分方向时,在纤维 内,参数因子 对所有 相同;构造给定 的条件分布公理库条件分布Conditional distribution · Regular conditional distribution给定观测值后随机量的概率律,以及它与原联合分布相容的核表示。时,它在归一化分子与分母中约去,只留下由 和参考测度决定的条件规律。因此条件于 后,样本内部位置不再含 。
逆向“充分推出分解”要处理共同版本。标准 Borel 样本空间和统计量空间中,若充分性由一个对所有参数通用的正则条件核见证,并可选择相容的共同密度版本,则 的边缘密度进入 ,纤维内参数无关的部分进入 ,得到上述形式。初等离散或 Euclidean 密度模型通常满足这些条件;在任意可测空间上使用“当且仅当”前,必须核对正则条件核和可测版本的存在。
直觉
统计量把样本空间切成一条条纤维。分解成立时,沿同一纤维移动只会改变 ,所有参数的似然同时乘上相同倍数;不同参数之间的相对证据保持不变。跨纤维移动才会通过 改变参数比较。
这一定理的力量在于把条件概率问题变成代数整理。验证时应先写完整联合密度与支持,再把所有含参数的项收集到 ;把含参数因子塞入 ,或先删去参数依赖支持,都会使判据失去含义。
有限样本空间中,这个消去过程可完整写成
分母为零的 属于条件分布版本可任意指定的零概率情形,不应拿来否定充分性。
例子与边界
对实验室重复读数 ,若 已知,则
利用
可写成
因此 对位置参数充分。若 与 都未知,参数依赖还通过 进入,摘要必须扩为 。模型一扩大,原统计量立即可能不再充分。
右删失指数寿命数据也能直接分解。观察 ,若删失独立且其分布不含故障率 ,则与 有关的联合密度为
所以 充分:故障总数与总暴露时间共同保留率参数信息。只保留其中一项会遗漏另一种似然变化。
边界与失败情形
共同支配是适用条件。若模型含无法由同一 -有限测度统一支配的分布,密度版本不能直接使用;充分性仍可从共同条件核或充分 -代数定义判断。
密度等式只需几乎处处成立,但不可数参数族中的逐参数零集并集未必仍是零集。因而需要共同版本,或把结论明确写成相应的版本化陈述;这个技术点在有限参数族中常被有限并集自动化解。
一次分解只认证充分性。它既不认证最小充分公理库最小充分统计量Minimal sufficient statistic能由任何其他充分统计量可测地恢复的充分统计量,代表样本中的最粗充分划分。,也不认证完备公理库完备统计量Complete statistic · Completeness统计量分布族的期望算子具有唯一性:全参数零均值的可积函数只能几乎处处为零。;完整样本甚至总能取 、、,却没有任何压缩。
参数依赖支持并不会阻止因子分解。Uniform 的联合密度含 ,指示因子只经最大值进入,所以 充分。忽略指示函数只看光滑部分,会错误地认为数据根本没有进入参数项。
更换共同支配测度时,密度乘上的 Radon–Nikodym 因子只依赖 ,可吸收到 ,充分性保持不变。若所谓换测度引入了参数因子,实际已改变模型表示所依赖的共同结构,不能据此移动数据的参数依赖。
推论与应用
独立样本的密度乘积常把数据压缩成若干和,这正是指数族公理库统计指数族Exponential family · Natural exponential family密度的参数依赖通过自然参数与统计量内积进入,并由对数配分函数归一化的分布族。产生固定维自然充分统计量的机制。继续研究最小充分性时,可比较两样本 的似然比 是否与 无关,从而判断它们是否应位于同一最粗充分纤维。
因子分解只认证模型信息的保留,不评价统计量的计算成本、数值稳定性或估计风险。后续 Rao–Blackwell 化利用充分性降低给定规则的凸风险,仍需另行指定估计目标与损失。
参考资料
- George Casella and Roger L. Berger, Statistical Inference, 2nd ed., Duxbury, 2002,§6.2。
- Erich L. Lehmann and George Casella, Theory of Point Estimation, 2nd ed., Springer, 1998,§1.5。
- Robert V. Hogg, Joseph W. McKean, and Allen T. Craig, Introduction to Mathematical Statistics, 8th ed., Pearson, 2019,Ch. 7。