经验测度

经验测度把一份样本表改写成一个“以观测频率为概率”的分布。用它回答“落在区域 $A$ 的概率是多少”，得到的就是样本中落在 $A$ 的比例；用它计算期望，得到的就是样本平均。

这是一种有意的信息保留：它保存各个观测值及重复次数的相对比例，忽略观测顺序；仅凭 $P_n$ 也不能恢复样本量，例如 $(1,3)$ 与 $(1,1,3,3)$ 给出同一测度。对独立同分布样本，许多统计量正好只依赖这些信息；对时间序列，顺序本身可能携带重要关系，经验测度不能代替完整序列。

它也没有假定总体就是样本中的几个点。即使总体连续，有限样本得到的经验测度仍是离散的；将这个离散对象拿来近似总体是否有效，取决于比较哪些事件或函数，而不取决于两张图看起来是否同样平滑。

用一份样本连起点质量、分布函数与平均值 ​

取样本 $(1,1,3,5)$。经验测度为

因此 $P_4(\{1\})=1/2$，$P_4((2,5])=1/2$，而 $P_4(\{2\})=0$。最后一个零只表示样本中没有出现 $2$，不等于证明总体不可能在其附近取值。

在实数上，经验分布函数为 $F_n(t)=P_n((-\mathrm{\infty },t])$。上述样本给出

它在样本点处向上跳跃，并且右连续；重复出现的 $1$ 产生高度 $1/2$ 的跳跃。积分取 $f(x)=x$，得到 $P_{4}f=(1+1+3+5)/4=2.5$。点质量、阶梯分布函数和样本均值，都是同一个经验分布的不同读法。

样本平均收敛要说明测试对象 ​

若 $X_i$ 独立同分布于 $P$，对于一个预先固定的可测集合 $A$，强大数定律给出

对一个固定的可测函数 $f$，若 ${\mathbb{E}}_P|f(X)|<\mathrm{\infty }$，则同样有 $P_{n}f\to Pf$ 几乎必然。这里“固定”很重要：不能先用数据挑出最容易出错的集合或函数，再直接引用一个固定对象上的收敛结论。

在实数独立同分布样本上，Glivenko–Cantelli 定理进一步保证

这同时控制所有阈值集合 $(-\mathrm{\infty },t]$，比单独固定一个阈值更强，但依然没有控制所有可测集合。一般函数类上的一致收敛需要另行研究该类的复杂度。

离散经验分布为什么仍可能离总体“很远” ​

设 $P$ 是实数上的无原子 Borel 概率分布，即每个单点的概率都为零。对任意一份有限样本，令 $S_n=\{X_1,\dots ,X_n\}$，则

因此按 $d_{\mathrm{TV}}(P_n,P)=\underset{A}{sup}|P_n(A)-P(A)|$ 的约定，总变差距离始终等于 $1$，即使经验分布函数已经一致逼近总体分布函数。这并不矛盾：总变差允许从所有可测集合中选择最能区分两者的集合，包括依赖这份样本的有限集合 $S_n$。

所以“经验测度趋于总体”必须带上具体的收敛方式。对实数独立同分布样本，可以获得弱收敛；对可积固定函数可以获得相应积分收敛；全体可测事件上的统一近似则是另一项更强的要求。

插件估计与自助法 ​

给定分布泛函 $T(P)$，插件估计用 $T(P_n)$ 替代未知的 $T(P)$。均值给出样本均值，分位数给出经验分位数；是否一致、误差如何，仍需要结合泛函的性质和样本假设，不能仅从替换记号推出。

普通非参数 bootstrap 在给定原样本之后，独立地从 $P_n$ 中有放回抽样，再计算统计量。这解释了为什么重复值必须保留正确质量：从四个样本位置均匀抽取时，上例抽到值 $1$ 的概率是 $1/2$，不是对三个不同值均匀抽取的 $1/3$。对有时间依赖的数据，简单重抽单点通常不保留依赖结构，需要不同的重采样设计。

平滑、加权与在线更新 ​

直方图把样本先分箱，核密度估计把每个点质量替换成一个小核；它们是对经验测度做进一步处理，不是经验测度的另一种原封不动的表达。选择箱宽或带宽引入了新的建模与误差问题。

若非负权重满足 $\sum _i{w}_i=1$，则 $\sum _i{w}_i{\delta }_{x_i}$ 是加权经验概率测度；普通经验测度是 $w_i=1/n$ 的情形。等权样本增加一个观测时有

从而均值等线性统计量可以在线更新。这个恒等式没有宣称有限大小的摘要一定能保存经验测度的全部信息；保存所有不同样本值仍可能需要随样本量增长的空间。