形式陈述
设样本空间 ( X , A ) 与统计量空间 ( T , B ) 均为标准 Borel 空间,模型 { P θ : θ ∈ Θ } 被同一 σ -有限测度 μ 支配,并固定密度 理路 似然函数 Likelihood function 固定可观测数据后,由共同支配密度定义、仅在参数间作相对比较的似然函数。 p θ = d P θ / d μ 。令 T : ( X , A ) → ( T , B ) 可测。标准 Borel 假设用于保证条件概率核存在,正反两方向都保留这项空间条件。若存在一个非负可测函数 h : X → [ 0 , ∞ ) ,且对每个 θ 都存在非负可测函数 g θ : T → [ 0 , ∞ ) ,使
p θ ( x ) = g θ ( T ( x ) ) h ( x ) 对所有参数在共同的 μ -零集外成立,则 T 对模型充分 理路 充分统计量 Sufficient statistic 以参数无关的条件分布保留整个模型区分能力的数据压缩,并连接因子分解与决策等价。 。这里 h 对整个模型通用,g θ 可以随参数变化;所有参数—数据交互都被限制在 g θ ( T ( x ) ) 中。
证明充分方向时,在纤维 F t = { x : T ( x ) = t } 内,参数因子 g θ ( t ) 对所有 x 相同;构造给定 T = t 的条件分布 理路 条件分布 Conditional distribution · Regular conditional distribution 给定观测值后随机量的概率律,以及它与原联合分布相容的核表示。 时,它在归一化分子与分母中约去,只留下由 h 和参考测度决定的条件规律。因此条件于 T 后,样本内部位置不再含 θ 。
逆向“充分推出分解”要处理共同版本。标准 Borel 样本空间和统计量空间中,若充分性由一个对所有参数通用的正则条件核见证,并可选择相容的共同密度版本,则 T 的边缘密度进入 g θ ( t ) ,纤维内参数无关的部分进入 h ( x ) ,得到上述形式。初等离散或 Euclidean 密度模型通常满足这些条件;在任意可测空间上使用“当且仅当”前,必须核对正则条件核和可测版本的存在。
直觉
统计量把样本空间切成一条条纤维。分解成立时,沿同一纤维移动只会改变 h ( x ) ,所有参数的似然同时乘上相同倍数;不同参数之间的相对证据保持不变。跨纤维移动才会通过 g θ 改变参数比较。
这一定理的力量在于把条件概率问题变成代数整理。验证时应先写完整联合密度与支持,再把所有含参数的项收集到 g θ ( T ( x ) ) ;把含参数因子塞入 h ,或先删去参数依赖支持,都会使判据失去含义。
有限样本空间中,这个消去过程可完整写成
P θ ( X = x ∣ T = t ) = g θ ( t ) h ( x ) ∑ y : T ( y ) = t g θ ( t ) h ( y ) = h ( x ) ∑ y : T ( y ) = t h ( y ) . 分母为零的 t 属于条件分布版本可任意指定的零概率情形,不应拿来否定充分性。
例子与边界
对实验室重复读数 X 1 , … , X n ∼ i i d N ( μ , σ 2 ) ,若 σ 2 已知,则
p μ ( x ) = ( 2 π σ 2 ) − n / 2 exp [ − 1 2 σ 2 ∑ i ( x i − μ ) 2 ] . 利用
∑ i ( x i − μ ) 2 = ∑ i x i 2 − 2 μ ∑ i x i + n μ 2 , 可写成
g μ ( ∑ i x i ) = exp [ μ σ 2 ∑ i x i − n μ 2 2 σ 2 ] , h ( x ) = ( 2 π σ 2 ) − n / 2 exp [ − 1 2 σ 2 ∑ i x i 2 ] . 因此 T = ∑ i X i 对位置参数充分。若 μ 与 σ 2 都未知,参数依赖还通过 ∑ i X i 2 进入,摘要必须扩为 ( ∑ i X i , ∑ i X i 2 ) 。模型一扩大,原统计量立即可能不再充分。
右删失指数寿命数据也能直接分解。观察 ( Y i , Δ i ) ,若删失独立且其分布不含故障率 λ ,则与 λ 有关的联合密度为
λ ∑ i Δ i exp ( − λ ∑ i Y i ) . 所以 T = ( ∑ i Δ i , ∑ i Y i ) 充分:故障总数与总暴露时间共同保留率参数信息。只保留其中一项会遗漏另一种似然变化。
边界与失败情形
共同支配是适用条件。若模型含无法由同一 σ -有限测度统一支配的分布,密度版本不能直接使用;充分性仍可从共同条件核或充分 σ -代数定义判断。
密度等式只需几乎处处成立,但不可数参数族中的逐参数零集并集未必仍是零集。因而需要共同版本,或把结论明确写成相应的版本化陈述;这个技术点在有限参数族中常被有限并集自动化解。
一次分解只认证充分性。它既不认证最小充分 理路 最小充分统计量 Minimal sufficient statistic 能由任何其他充分统计量可测地恢复的充分统计量,代表样本中的最粗充分划分。 ,也不认证完备 理路 完备统计量 Complete statistic · Completeness 统计量分布族的期望算子具有唯一性:全参数零均值的可积函数只能几乎处处为零。 ;完整样本甚至总能取 T ( x ) = x 、g θ ( T ) = p θ ( x ) 、h = 1 ,却没有任何压缩。
参数依赖支持并不会阻止因子分解。Uniform( 0 , θ ) 的联合密度含 θ − n 1 { x ( n ) ≤ θ } ,指示因子只经最大值进入,所以 X ( n ) 充分。忽略指示函数只看光滑部分,会错误地认为数据根本没有进入参数项。
更换共同支配测度时,密度乘上的 Radon–Nikodym 因子只依赖 x ,可吸收到 h ,充分性保持不变。若所谓换测度引入了参数因子,实际已改变模型表示所依赖的共同结构,不能据此移动数据的参数依赖。
推论与应用
独立样本的密度乘积常把数据压缩成若干和,这正是指数族 理路 统计指数族 Exponential family · Exponential family in natural parameters 密度的参数依赖通过自然参数与统计量内积进入,并由对数配分函数归一化的分布族。 产生固定维自然充分统计量的机制。继续研究最小充分性时,可比较两样本 x , y 的似然比 p θ ( x ) / p θ ( y ) 是否与 θ 无关,从而判断它们是否应位于同一最粗充分纤维。
因子分解只认证模型信息的保留,不评价统计量的计算成本、数值稳定性或估计风险。后续 Rao–Blackwell 化利用充分性降低给定规则的凸风险,仍需另行指定估计目标与损失。
参考资料
George Casella and Roger L. Berger, Statistical Inference , 2nd ed., Duxbury, 2002,§6.2。
Erich L. Lehmann and George Casella, Theory of Point Estimation , 2nd ed., Springer, 1998,§1.5。
Robert V. Hogg, Joseph W. McKean, and Allen T. Craig, Introduction to Mathematical Statistics , 8th ed., Pearson, 2019,Ch. 7。