Horvitz–Thompson 估计量

形式陈述

怎样让一个不常被抽中的对象代表它在总体中的份额？对有限总体抽样设计，若所有目标单位都有 $\pi_i>0$ ，总量 $t_y=\sum_{i\in U}y_i$ 的 Horvitz–Thompson 估计为

\widehat t_{HT}=\sum_{i\in S}\frac{y_i}{\pi_i}=\sum_{i\in U}I_i\frac{y_i}{\pi_i}.

按设计取期望，每项 $E_p[I_iy_i/\pi_i]=y_i$ ，所以 $E_p\widehat t_{HT}=t_y$ 。这个证明不要求 $y_i$ 正态，也不要求样本内对象独立。

由指示变量的协方差展开，精确设计方差为

V_p(\widehat t_{HT})=\sum_{i,j\in U}(\pi_{ij}-\pi_i\pi_j) \frac{y_i}{\pi_i}\frac{y_j}{\pi_j}.

若有关单位对满足 $\pi_{ij}>0$ ，可再作一次逆概率加权，得到无偏方差估计

\widehat V=\sum_{i,j\in S}\frac{\pi_{ij}-\pi_i\pi_j}{\pi_{ij}} \frac{y_i}{\pi_i}\frac{y_j}{\pi_j}.

其中 $\pi_{ii}=\pi_i$ 。总量估计只要求一阶正概率；上述可直接使用的无偏方差估计还需要二阶正概率，这是两种不同条件。

直觉

把 $I_i/\pi_i$ 看作平均值为一的放大开关。对象经常缺席，出现时就按缺席频率补偿。这个补偿在所有可能样本的平均意义下准确，并不承诺每一份样本的加权总量恰好等于真值。

方差公式同样在“单位对”层面补偿：两个人是否一起出现会影响估计量一起升高还是相互抵消。只保留单人权重，通常不足以还原这一信息。

例子与边界

总体 $y=(2,4,8)$ 。只抽两人，三个样本 $\{1,2\},\{1,3\},\{2,3\}$ 的概率分别为 $1/2,3/10,1/5$ 。于是 $\pi=(4/5,7/10,1/2)$ ，三种估计分别为

\widehat t_{12}=\frac{115}{14},\qquad \widehat t_{13}=\frac{37}{2},\qquad \widehat t_{23}=\frac{152}{7}.

按设计平均， $\tfrac12(115/14)+\tfrac3{10}(37/2)+\tfrac15(152/7)=14$ ，恰为总体总量。继续计算三种估计与 $14$ 的平方差，得到

V_p(\widehat t_{HT})=\frac{243}{7}\approx34.7143.

这是一份完整的有限样本核验；把 $\pi_{12}=1/2$ 、 $\pi_{13}=3/10$ 、 $\pi_{23}=1/5$ 放入协方差公式会得到同样结果。

若一个数值较大的单位只以极小概率入样，它出现时会产生极大的加权贡献。逆概率权重修正代表性，同时可能增加波动。因此设计时常用已知规模信息提高大贡献单位的入样机会，而不是等抽完再希望权重消除一切问题。

若某两人永远不会一起出现， $\pi_{ij}=0$ ，它们的交叉项无法由同一份样本直接观察。此时应使用适合该设计的其他方差方法、界或额外假设，并标明依据。

推论与应用

已知 $N$ 时， $\widehat t_{HT}/N$ 是总体均值的无偏估计。Hájek 比率估计改用估计的总体规模归一化，牺牲一般的精确无偏性，换取某些资料结构下的稳定性。二者应按估计目标和实际设计比较。

参考资料

Horvitz and Thompson, A Generalization of Sampling Without Replacement from a Finite Universe, JASA 47, 1952, pp. 663–685，总量估计的原始论文。
U.S. EPA spsurvey, Technical Details, “The Horvitz-Thompson Estimator” and “Variance Estimation”，总体方差与样本方差表达。