最小充分统计量 | Codeboy's Blog

形式陈述

统计量 $T$ 称为最小充分，若 $T$ 是充分统计量，并且对任意充分统计量 $S$ ，存在可测函数 $f$ 使

T=f(S)

在模型中每个 $P_\theta$ 下几乎处处成立。也就是说，任何充分统计量都至少能决定 $T$ ； $T$ 的 $\sigma$ -代数包含于每个充分 $\sigma$ -代数，忽略零测集后是最粗的充分信息。

用可数似然族检验最小性

似然比例可以识别哪些样本应合并，但密度只在几乎处处意义下确定，不能把任意版本的逐点纤维直接当成最小充分性的定义。下面给出一组明确的充分条件。

设样本空间和 $T$ 的值域均为标准 Borel 空间，模型受同一个 $\sigma$ -有限测度 $\mu$ 支配，且已经证明 $T$ 充分。选取非空可数参数子族 $\{\theta_j:j\ge1\}$ 和正权重 $w_j$ ，使 $\sum_jw_j=1$ ，并使概率混合

Q=\sum_jw_jP_{\theta_j}

支配整个模型，即每个 $P_\theta\ll Q$ 。有限子族可用有限求和。取非负有限值密度版本 $p_{\theta_j}$ ，令 $q=\sum_jw_jp_{\theta_j}$ 。在 $0<q<\infty$ 的共同满概率可测域 $\mathcal X_0$ 上，定义

r_j(x)=\frac{p_{\theta_j}(x)}{q(x)}.

若对任意 $x,y\in\mathcal X_0$ 都有

\bigl[\forall j:\ r_j(x)=r_j(y)\bigr] \quad\Longrightarrow\quad T(x)=T(y),

则 $T$ 最小充分。这是可用的充分判据；它不要求所有最小充分统计量的任意逐点版本都满足同一个纤维等式。

为什么这能证明最小性？任取充分统计量 $S$ ，其参数无关的条件分布也适用于混合律 $Q$ ，所以每个似然密度比 $r_j=dP_{\theta_j}/dQ$ 都是 $S$ 的可测函数， $Q$ -几乎处处成立。只有可数多个 $j$ ，可以移除同一个 $Q$ -零集。判据又使 $T$ 可测地由序列 $(r_j)_j$ 恢复；标准 Borel 条件保证这里的可测因子分解。于是 $T$ 是 $S$ 的可测函数， $Q$ -几乎处处成立；由 $P_\theta\ll Q$ ，同一结论对整个模型成立。[4, Method 3.1；这里另显式选择支配全模型的混合律]

在 $\mathcal X_0$ 上，两个非零似然向量归一化后相等，等价于存在有限 $c_{xy}>0$ 使

p_{\theta_j}(y)=c_{xy}p_{\theta_j}(x)\quad\text{对所有 }j.

这定义一个等价关系。也可写成不含除法的交叉乘积等式，但必须保留非零向量条件；两个向量的零坐标也属于被比较的信息。实际使用时通常先由因子分解定理证明充分，再用可数子族排除任何进一步合并。

直觉

充分统计量可以保留多余信息，例如在 Bernoulli 样本中，完整样本与成功次数都充分。最小充分性要求继续合并那些对所有参数都不可区分的样本，直到再合并就会损失参数信息。

“最小”按信息偏序定义，不按向量维数、存储字节或数值大小定义。两个一维统计量可能不可相互恢复；一个高维但受约束的表示也可能与低维表示包含完全相同的 $\sigma$ -信息。

例子与边界

对 Bernoulli $(p)$ 独立样本 $x\in\{0,1\}^n$ ，联合质量为

p_p(x)=p^{s(x)}(1-p)^{n-s(x)}, \qquad s(x)=\sum_ix_i.

对两个样本 $x,y$ ，似然比为

\frac{p_p(x)}{p_p(y)} =\left(\frac{p}{1-p}\right)^{s(x)-s(y)}.

它对所有 $0<p<1$ 与 $p$ 无关，当且仅当 $s(x)=s(y)$ 。因子分解给出成功次数 $S=\sum_iX_i$ 的充分性。取两个不同的内部参数值即可区分不同的成功次数，且其混合对整个有限样本空间都赋正质量，所以满足上述可数族判据， $S$ 最小充分。

当 $n\ge2$ 且模型包含 $0<p<1$ 时，统计量 $(S,X_1)$ 也充分，但不是最小： $S$ 可由它恢复，反向不能。 $2S$ 与 $S$ 则通过一一变换互相恢复，二者代表同一个最小充分信息，不存在唯一的数值写法。

对 Uniform $(0,\theta)$ 样本，把样本空间取为 $(0,\infty)^n$ ，似然版本可写为 $\theta^{-n}\mathbf1\{x_{(n)}\le\theta\}$ 。因子分解先给出最大值的充分性。再取全部正有理数参数：其正权重混合支配每个 $P_\theta$ ；若两个最大值不同，可在二者之间选一个有理参数，使一边密度为零、另一边为正，排除似然向量成比例。因此 $X_{(n)}$ 最小充分，无需计算未定义的 $0/0$ 。

正态模型进一步展示 nuisance 参数如何改变答案。若方差已知、均值未知， $\sum_iX_i$ 最小充分；若均值和方差都未知，似然比同时依赖 $\sum_iX_i$ 与 $\sum_iX_i^2$ ，二元统计量才划出正确等价类。标准正态密度下，可数有理参数子族仍能识别这些摘要，因子分解与上述判据给出最小性。沿用小模型的最小充分统计量会丢失新增参数信息。

边界与失败情形

似然比写成 $0/0$ 时没有定义。共同满概率域外如何编码，不改变模型意义下的统计量；在域内比较非零似然向量时，仍必须保留各参数下的零坐标，不能直接约去支持指示函数。

密度版本会造成更深的错误。令 $\theta\in[0,1]$ ，所有 $P_\theta$ 都是同一个均匀分布，却选取 Lebesgue 密度

p_\theta(x)=1+\mathbf1_{\{x=\theta\}},\qquad x\in[0,1].

每个版本只改了一个零测点，仍表示同一分布。但对不同 $x,y$ ，取 $\theta=x$ 与 $\theta=y$ 会得到不同的似然比例，逐点比较全部不可数参数便把每个点都分成单独一类。恒等统计量于是满足这个逐点纤维规则，却不是最小充分：模型中所有分布相同，常数统计量已经充分。标准 Borel 空间本身不能排除这种参数依赖的零集修改。

最小充分性也对修改统计量的共同零集不敏感。因此，即使一套规则密度的纤维给出了某个最小充分版本，也不能要求任意几乎处处相等的版本逐点具有完全相同的纤维。

并非每个统计实验都在普通可测空间中拥有良好最小充分统计量。存在性与“所有充分 $\sigma$ -代数的交仍充分”有关，后者在一般空间里可能失败；在标准 Borel 支配模型中，可通过可数似然密度比组织这份信息；具体的逐点判据仍需核对上面的版本条件。

样本维数随 $n$ 增长不代表不最小。某些非指数族模型的最小充分统计量确实接近完整次序样本；这反映模型没有固定维无损压缩，不是构造失败。

最小充分不蕴含完备、无偏或低风险。它只比较数据所保留的参数信息，不决定用这份信息构造何种估计量。

最小充分性还允许随机样本大小或顺序信息成为统计量的一部分，只要实验模型如此规定。先把样本排序再说“维数没变”无法证明最小；应先证明排序摘要充分，再使用版本条件已核对的最小性判据，或直接证明它可由任意充分统计量可测恢复。

对参数作一一重新标记不会改变模型中的分布族，因此最小充分性不变。若缩小参数空间，充分性需要保留的信息可能减少，原来的最小充分统计量也可能不再最小。用似然纤维解释这种变化时，仍须采用相容的规则版本或前述可数族判据；最小充分性取决于当前分布族，而不是某个密度公式的字面写法。

推论与应用

最小充分统计量把所有充分规则归约到同一信息接口。若两个候选统计量都最小充分，它们在忽略共同零测集后必能彼此可测恢复，因此差异只是编码方式。

似然比等价类还揭示参数依赖的精确入口，常用于判断加入未知 nuisance 参数后最小充分统计量为何必须扩大；在规则模型中，因子分解定理提供更直接的充分性候选。

独立同分布模型中，样本排列往往首先被合并，因为联合密度对坐标置换不变；但排序样本未必已经最小。Bernoulli 模型的排序样本已经与成功次数一一对应，而一般未知分布的非参数模型可能必须保留完整经验测度。可合并到哪一步由模型族决定。

参考资料

[4] Rafael Oliveira Cavalcante and Alexandre Galvão Patriota, Version-Robust Methods for Identifying Minimal Sufficient Statistics, 2026, Method 3.1 与 §4：可数似然子族及密度版本的处理。
Erich L. Lehmann and George Casella, Theory of Point Estimation, 2nd ed., Springer, 1998，§1.6。
George Casella and Roger L. Berger, Statistical Inference, 2nd ed., Duxbury, 2002，§6.2.2。
Leo Breiman, Statistics: With a View Toward Applications, Houghton Mifflin, 1973，关于 sufficiency 的章节。

形式陈述 ​

用可数似然族检验最小性 ​

边界与失败情形 ​

反向链接

形式陈述

用可数似然族检验最小性

边界与失败情形