统计量与抽样分布

形式陈述 ​

在统计模型公理库统计模型与参数Statistical model · Statistical parameter由参数索引的概率分布族，以及从该分布族提取待推断目标的参数化结构。 $\{P_{\theta }:\theta \in \mathrm{\Theta }\}$ 中，设样本 $X=(X_1,\dots ,X_n)$ 取值于 $({\mathcal{X}}^n,{\mathcal{A}}^{\otimes n})$。统计量是可测映射

$$T:{\mathcal{X}}^n\to (\mathcal{T},\mathcal{B}),$$

其定义不能使用未知的 $\theta$。随机变量公理库随机变量Random variable · Random element从概率空间到可测空间的可测映射；实值情形是狭义随机变量。 $T(X)$ 在 $P_{\theta }^{\otimes n}$ 下的推前分布

$${\mathcal{L}}_{\theta }(T)=P_{\theta }^{\otimes n}\circ T^{-1}$$

称为 $T$ 的抽样分布。它通常随 $\theta$ 和 $n$ 改变；“统计量不依赖未知参数”并不意味着其分布与参数无关。

统计量可以是标量、向量、函数或测度。样本均值 $\overline{X}$、次序统计量、经验分布和整个样本本身都符合定义。若统计量专门用来估计某个目标，才称为估计量；统计量本身不预设用途或优劣。

直觉 ​

统计量是数据压缩规则，抽样分布则描述重复进行同一实验时该压缩结果如何波动。观测一次只能得到 $t_{obs}=T(x)$，看不到抽样分布；后者由模型假设和参数决定，用来校准标准误、置信区间与检验阈值。

这区分了三个层次：原始样本是随机输入，统计量是对输入的固定函数，抽样分布是这个函数在假想重复样本上的概率律。把观测到的直方图称作“抽样分布”会把一次数据摘要和重复实验规律混在一起。

例子与计算 ​

若 $X_1,\dots ,X_n$ 独立且 $X_i\sim N(\mu ,{\sigma }^2)$，统计量

$$\overline{X}=\frac{1}{n}\sum _{i=1}^n{X}_i$$

满足精确抽样分布

$$\overline{X}\sim N(\mu ,\frac{{\sigma }^2}{n}).$$

$\overline{X}$ 的公式没有未知参数，合法；而 $(\overline{X}-\mu )/(\sigma /\sqrt{n})$ 使用了未知的 $\mu ,\sigma$，它是理论分析中的枢轴量表达，不是可直接由数据计算的统计量，除非参数已知或替换为估计量。

Bernoulli 样本中，$S=\sum _i{X}_i$ 是统计量且

$$S\sim \mathrm{Binomial}(n,\theta ).$$

观测 $S=7$ 不等于其抽样分布；后者仍是对 $0,\dots ,n$ 全部可能结果的概率分配。

次序统计量给出另一条可追踪的分布变换。若 $X_1,\dots ,X_n$ 独立且有连续分布函数 $F_{\theta }$，最大值 $M=X_{(n)}$ 满足

$$P_{\theta }(M\le t)=P_{\theta }(X_1\le t,\dots ,X_n\le t)=F_{\theta }(t{)}^n.$$

这里先把事件 $\{M\le t\}$ 拉回为所有样本同时不超过 $t$，再用独立性相乘，最终得到抽样分布。若样本不独立，最后一步立即失效；同一个最大值公式不会自动带来 $F_{\theta }(t{)}^n$。

边界与失败情形 ​

统计量不得偷偷依赖未知参数。例如用 $T_{\theta }(X)=\mathbf{1}\{X>\theta \}$ 作为“统计量”不合法，因为实验者无法在不知道 $\theta$ 时计算它。带已知设计常数、样本量和随机化种子的规则则可以。

相同公式在不同模型下有不同抽样分布。样本均值在正态模型下精确正态，在一般有限方差模型下只渐近正态，在重尾且均值不存在时甚至没有围绕总体均值的通常解释。不能把某个模型下推导的分布当成公式的固有属性。

Bootstrap 分布是给定观测数据后重抽样产生的条件近似，不等于真实 $P_{\theta }$ 下的抽样分布。二者接近需要一致性条件；小样本、边界参数或非光滑统计量可能使近似失败。

可测性也不是装饰性条件。若对样本定义一个不可测的“选择规则”，$P_{\theta }(T\in B)$ 可能没有意义，因而谈不上抽样分布。在通常 Euclidean 数据与连续、分段连续运算中可测性容易满足；涉及任意集合选择或函数空间上确界时则需要核对。

推论与应用 ​

若 $T$ 的抽样分布不含 $\theta$，它是辅助统计量；若某个含参数表达的分布不依赖 $\theta$，相应枢轴量可反演出置信集合。充分统计量则要求给定 $T$ 后剩余样本条件分布不再含参数，重点不在边缘抽样分布是否无参数。

标准误是统计量抽样分布标准差的数值或估计，不能与样本标准差互换。大样本理论通过中心极限定理、Delta 方法等近似难以精确计算的抽样分布。

参考资料

• George Casella and Roger L. Berger, Statistical Inference, 2nd ed., Duxbury, 2002，§5.1。
• Larry Wasserman, All of Statistics, Springer, 2004，Ch. 5–6。
• A. W. van der Vaart, Asymptotic Statistics, Cambridge University Press, 1998，Ch. 2–3。