形式陈述
把缺失值补一次再照常分析,为什么常会低估不确定性?多重插补保留多份合理补全,用“每份分析内部的不确定性”和“不同补全之间的差异”共同推断同一个目标参数。
给定已观察资料,从适当的插补模型中条件独立 理路 独立性 Statistical independence 从概率表理解独立性,区分两两、相互和条件独立,并用可计算反例澄清零协方差与条件均值的限度。 地生成 M ≥ 2 份补全资料。每份使用同一个目标及完整资料分析规则,第 m 份给出有限的标量估计 Q m 与非负有限的方差估计 U m 。Rubin 合并规则为
Q ¯ = 1 M ∑ m Q m , U ¯ = 1 M ∑ m U m , B = 1 M − 1 ∑ m ( Q m − Q ¯ ) 2 , T = U ¯ + ( 1 + 1 / M ) B . “适当”(proper)不是随意加入随机数:插补需反映模型参数的不确定性,并与该目标的完整资料分析相容。在指定重复响应机制下,合并点估计应校准到完整资料估计,平均内部方差应校准到完整资料方差,插补间变化还须足以反映缺失造成的额外波动。完整资料分析本身也须有效;这些均值与方差要求依赖目标和响应机制,不能由“每份都近似正态”单独推出。
U ¯ 是组内方差 理路 方差 Variance 随机变量相对其均值的平方偏差期望,也是最佳常数平方预测的剩余误差。 ,B 是组间方差,B / M 补偿有限插补次数带来的模拟误差。标准误为 T 。在上述适当插补与有效分析条件下,若完整资料推断近似正态、自由度足够大,且 B > 0 ,可使用 Rubin 的近似自由度
ν = ( M − 1 ) [ 1 + U ¯ ( 1 + 1 / M ) B ] 2 对预设的 0 < α < 1 ,构造Student t 理路 Student t 分布 Student's t-distribution · t distribution 由独立正态分子与卡方随机尺度定义 t 分布,解释自由度、重尾机制及正态样本均值的精确推断。 近似区间 Q ¯ ± t ν , 1 − α / 2 T 。这是附条件的近似校准,不是任意随机填补的有限样本覆盖保证。小样本还需适当自由度修正。若 B = 0 < T ,按极限并结合完整资料自由度处理;若 T = 0 ,通常的非退化 t 标准化无定义,须另查模型是否真的没有不确定性。
直觉
全方差分解 理路 全期望公式与全方差公式 Law of total expectation · Law of total variance · Iterated expectation 借助条件信息分解总体均值,并把总波动拆成组内与组间两部分。 把“给定补全后的方差”与“补全改变估计值的方差”相加。多重插补用 U ¯ 和 B 分别近似两部分。多做插补能减少 B / M ,却不会让资料真正缺失造成的 B 消失。
有效合并依赖适当的随机插补、与分析相容的模型,以及合理的缺失机制 理路 缺失数据机制 Missing-data mechanism · MCAR · MAR · MNAR 用观测指示变量的条件分布描述哪些数据被保留,并区分完全随机、随机和非随机缺失及忽略机制的条件。 假设。常见 MAR 分析需要在插补模型中纳入解释缺失与结果的重要观测信息,并反映模型参数的不确定性。反复填写同一个预测均值,会使 B = 0 ,却没有真实表达缺失的不确定性。
例子与边界
三份补全给出 Q = ( 10 , 12 , 11 ) ,各份完整资料方差均为 4 。于是 Q ¯ = 11 、U ¯ = 4 、B = 1 ,总方差为 4 + 4 / 3 = 16 / 3 ,标准误约 2.309 。
只平均三个标准误,会得到 2 ,遗漏组间变化。把三份资料堆成一个三倍大的数据集,则会把同一组已观察信息重复当作新样本。正确流程是每份单独拟合、最后合并参数及方差。
对于风险比或优势比,通常先在对数尺度合并,再把估计和区间变回原尺度。多个参数联合检验需要合并方差协方差矩阵;各份 p 值的简单平均不对应 Rubin 规则。
MNAR 情形需要进一步假设或敏感性分析。增加 M 只使计算更稳定,并不修正错误缺失机制。复杂调查还要在每份完整资料中采用正确设计方差,并让插补考虑权重、分层和簇信息。
推论与应用
单元练习:设计、校准与补全分开验收
取总体 y = ( 2 , 4 , 8 ) ,两人样本概率为 p 12 = 1 / 2 , p 13 = 3 / 10 , p 23 = 1 / 5 。按有限总体设计 理路 有限总体抽样设计 Finite population sampling design 把有限总体数值固定、样本集合随机,区分一阶纳入机会与决定方差的联合抽取结构。 列出一阶、二阶纳入概率;计算HT 总量及设计方差 理路 Horvitz–Thompson 估计量 Horvitz-Thompson estimator 以逆纳入概率恢复总体总量,逐项证明设计无偏,并区分总量与方差估计的正概率要求。 ;若抽中 { 1 , 3 } ,比较 HT 均值、Hájek 均值 理路 Hájek 比率估计量 Hajek ratio estimator 用随机权重和归一化总量,解释规模波动的抵消、线性化方差及有限样本比率偏差。 与只校准人数的总量 理路 调查校准加权 Calibration weighting · Generalized regression estimator 在匹配已知辅助总量的约束下调整设计权重,推导线性校准解并检查正权可行性。 。最后合并三份补全给出的 Q = ( 10 , 12 , 11 ) 、U = ( 4 , 4 , 4 ) 。
一阶概率是 ( 4 / 5 , 7 / 10 , 1 / 2 ) ,三个非对角二阶概率就是各样本概率。总体总量为 14 ,HT 的三个可能结果为 115 / 14 , 37 / 2 , 152 / 7 ,设计方差为 243 / 7 。
在 { 1 , 3 } 样本中,HT 均值为 ( 37 / 2 ) / 3 = 37 / 6 ;Hájek 均值为 74 / 13 。只校准人数为三、并取二次距离中 q i = 1 时,所有原权重乘 3 / ( 13 / 4 ) = 12 / 13 ,新权重为 ( 15 / 13 , 24 / 13 ) ,校准总量是 222 / 13 。它恰等于三倍 Hájek 均值,仍与真总量有抽样差异。
合并部分得到 Q ¯ = 11 、T = 16 / 3 、ν = 32 。把同一目标改成 Q ∗ = 7 + 3 Q ,相应 U m ∗ = 9 U m ,应得 Q ¯ ∗ = 40 、T ∗ = 48 、自由度仍为32,标准误和区间半宽均乘三;这是实际单位迁移,不能只改点估计而保留旧方差。
再说明:若观测来自同一簇,组内相关应先进入每份分析的 U m ;B 表达补全之间的差异,不能代替簇抽样方差。验收答案必须把设计随机性、权重约束和缺失不确定性分清,并准确给出上述可复算结果。
参考资料