Skip to content

定义Definition

充分统计量

施工中 · 内容逐步修订

Sufficient statistic

以参数无关的条件分布保留整个模型区分能力的数据压缩,并连接因子分解与决策等价。

形式陈述 ​

设可观测样本 X 的分布属于模型 {Pθ:θ∈Θ},T=T(X) 是统计量。若存在一个对所有参数通用的概率核 K(t,A),使每个 θ∈Θ 与每个样本事件 A 都满足

Pθ(X∈A∣T)=K(T,A)Pθ-几乎处处,

则称 T 对实验族 {Pθ} 充分。等价地,对每个有界可测 f,条件期望 Eθ[f(X)∣T] 都能选择成同一个不含 θ 的 T 函数。条件于 T 后,原样本尚未确定的随机性因此不能继续区分参数。

在标准 Borel 空间中,正则条件分布保证上述核表述可用。核只在 T 的边缘分布几乎处处意义下唯一;定义要求存在一个共同版本,而非先为每个 θ 任取版本、再在参数各自的零集外声称它们相同。一般可测空间中可直接用充分 σ-代数表述,避开逐点条件分布版本问题。

若模型被共同 σ-有限测度 μ 支配,且所需共同密度版本与可测性条件成立,Fisher–Neyman 因子分解定理给出实用判据:T 充分当且仅当存在非负可测函数 gθ 与不含参数的 h,使

pθ(x)=gθ(T(x))h(x)

对每个 θ 在共同有效的 μ-几乎处处意义下成立。它把条件分布性质翻译成密度结构:数据对参数的全部似然依赖只经 T(x) 进入。

在离散情形,可直接用 pθ(x)/Pθ(T=t) 看见这个机制:对满足 T(x)=t 的样本,分子和分母中的 gθ(t) 抵消,留下由 h 归一化的条件概率。连续情形不能拿零概率事件作这个比值,需要上面的条件核版本。

直觉

充分性允许丢掉原数据,只要求丢掉的细节在给定摘要后按一条参数无关规律分布。若有人告知 T=t,还可用同一个核 K(t,⋅) 模拟那些细节,却不会因此获得新的参数信息。这个性质总是相对于完整模型族;扩大候选分布时,原有压缩常会失去充分性。

恒等映射 T(X)=X 总是充分,说明“充分”本身不承诺压缩率。实用统计量希望在保留模型区分能力的同时降低维数或结构复杂度;看起来维数小既不是充分性的定义,也无法替代条件分布验证。

例子与边界

设不同监测站在已知暴露时长 ti>0 内记录事故数,条件独立且 Xi∼Poisson(tiλ)。联合质量函数为

pλ(x)=e−λ∑itiλ∑ixi∏i=1ntixixi!.

取 T=∑iXi,可写成

gλ(T)=e−λ∑itiλT,h(x)=∏itixixi!,

所以 T 充分。更具体地,在 T=t 条件下,

(X1,…,Xn)∣T=t∼Multinomial(t;t1∑jtj,…,tn∑jtj),

该条件分布与 λ 无关。总事故数保留共同发生率的信息;事件如何按已知暴露时长分配,只反映设计比例。例如两个站点的暴露时长比为 1:3,总事故数为 2,则事故分配 (0,2),(1,1),(2,0) 的条件概率为 9/16,6/16,1/16。无论共同发生率 λ 为多少,这三项都相同。若各站还有未知站点效应,这个条件分布就会含新参数,T 对扩大的模型不再充分。

对共同成功率的 Bernoulli 样本,成功次数 S=∑iXi 同理充分。给定 S=s 后,所有含 s 个一的序列条件概率均为 1/(ns)。若每位受试者具有不同未知成功概率,仅保留总数便会掩盖个体结构,充分结论随模型改变而消失。

边界与失败情形 ​

样本均值对任意 IID 模型都存在,却不会自动充分。对 Xi∼Unif(0,θ),似然为

θ−n1{maxiXi≤θ},

参数依赖通过样本最大值进入。例如 (1,3) 与 (2,2) 的均值均为 2,在 θ=2.5 时前者似然为零而后者为正;在 θ=4 时两者都为 1/16。因此相同均值下的样本区分仍随参数改变;均值无法保留这种区分,最大值则能。这个例子也表明参数依赖支持并不妨碍充分性,关键是把支持指示完整保留下来。

无偏、低方差和充分处在不同层级。充分统计量可能没有被指定估计任何目标;无偏估计量也可能只使用样本的一小部分。Rao–Blackwell 改进之所以要求充分性,正是为了让条件期望成为对所有参数通用的可实施规则,不能由“方差较小”反推充分。

密度因子分解版本要求共同支配与相容版本。无支配模型仍可从共同条件核或充分 σ-代数定义出发;找不到统一密度只说明这项代数判据不可直接使用,不说明统计量不充分。

最小充分性还要求该统计量能由任何其他充分统计量决定,代表最粗的充分划分;完备性则禁止基于它构造非平凡的全参数零均值函数。这两项都不会由充分性自动推出。

推论与应用

若 T 充分,任何基于完整样本的随机化决策都可先观察 T,再按参数无关的 K(T,⋅) 重建剩余随机性,从而复制原规则在每个参数下的风险。这不要求模拟出的原数据等于真实那份数据,只要求每个 θ 下的分布正确;充分性保留的是实验的决策能力,而不是全部事实记录。这给“关于该实验族没有丢失决策信息”一个操作性含义。

在参数与样本空间都有限时,这个决策解释还有逆向结论:确定性压缩T(X)与原实验双向随机模拟等价,当且仅当T充分。逆向证明可取任一全支持先验,比较压缩前后的参数后验向量;条件均值与平方范数等号迫使后验不变,再由Bayes公式恢复共同条件核。若只要求近似保留,则缺陷距离必须把同一重建核的误差对全部参数统一控制;某个先验下平均误差小还不够。

在指数族中,样本常通过固定维自然统计量进入联合密度,从而得到与样本量无关维数的充分压缩。Rao–Blackwell 定理把已有估计量条件化到 T 上,在凸损失下不增加风险;再加入完备性,Lehmann–Scheffé 定理才给出唯一 UMVU 结论。

充分统计量的边缘分布通常仍含参数;这与辅助统计量的整条抽样分布无参数形成清晰对照。若一个统计量同时完备且充分,Basu 定理进一步给出它与任意辅助统计量独立;“没有进入某个充分统计量”本身还不足以证明辅助性。

参考资料
  • George Casella and Roger L. Berger, Statistical Inference, 2nd ed., Duxbury, 2002,§6.2。

  • Erich L. Lehmann and George Casella, Theory of Point Estimation, 2nd ed., Springer, 1998,Ch. 1。

  • David Blackwell and M. A. Girshick, Theory of Games and Statistical Decisions, Dover, 1979,关于 sufficient experiments 的章节。

  • Larry Wasserman, All of Statistics: A Concise Course in Statistical Inference, Springer, 2004,§9.13.2:充分性、最小充分性与 Rao–Blackwell,CMU 教材全文。

关系图谱17 个相邻概念 · 4 类关系

拖动节点调整位置。

显示关系

显示:依赖

  1. 前置三跳
  2. 前置二跳
  3. 前置一跳
  4. 当前条目
  5. 后续一跳
  6. 后续二跳
  7. 后续三跳
文字版关系按与当前条目的最短距离分组
分类位置

上位 / 更一般

暂未标注直接上位概念。

下位 / 直接特例

类型化关系