缺失数据机制 | Codeboy's Blog

形式陈述

数据缺失后，能否只分析留下的数值？先把“本来会有的数据”和“实际看到了什么”分开。设完整数据向量为 $Y$ ，数据模型为 $f_\theta(y)$ ；掩码 $R$ 的第 $j$ 个分量为一表示 $Y_j$ 可见。对给定掩码 $r$ ，写 $y_{\mathrm{obs}(r)}$ 与 $y_{\mathrm{mis}(r)}$ 表示可见、缺失部分。缺失机制是条件分布

g_\psi(r\mid y)=P_\psi(R=r\mid Y=y).

采用对所有可能掩码和数据取值成立的版本，三类机制为：

MCAR（完全随机缺失）： $g_\psi(r\mid y)=g_\psi(r)$ ，即掩码与完整数据独立。
MAR（随机缺失）： 对每个 $r$ ，任何满足 $y_{\mathrm{obs}(r)}=y'_{\mathrm{obs}(r)}$ 的两种完整数据，都有 $g_\psi(r\mid y)=g_\psi(r\mid y')$ 。给定该掩码下已见的数据，缺失概率不再随未见部分改变。
MNAR（非随机缺失）： 上述 MAR 条件不成立。

这些等式在模型支持上理解，并对允许的机制参数成立。MAR 的“已观测部分”随 $r$ 改变，不能拿一个固定坐标子集替代所有掩码。只对本次实现的掩码和已见数值要求同样的补全不变性，称 realized MAR；它比这里的 everywhere MAR 弱，二者不应混用。

直觉

MCAR 像与内容无关的设备随机丢包。MAR 则允许丢失机会取决于已经记录的年龄或组别；例如已知年龄较大的人更愿意回答收入问题，仍可能是 MAR。若在年龄相同的人中，高收入者更不愿透露收入，缺失还依赖未见收入，就可能是 MNAR。

“随机”不是说各记录被等概率保留，也不是说缺失无关紧要。它描述在指定观测信息条件下的概率关系；更换观测变量或改变采集流程，机制分类可能随之改变。

例子与边界

MAR 仍会使完整病例均值偏离总体

设有限总体有 $100$ 人，协变量 $X$ 对所有人都可见，其中 $X=0,1$ 各 $50$ 人，结果恰为 $Y=X$ 。在两组内分别随机选取 $5$ 人和 $45$ 人观察 $Y$ 。是否观察仅依赖已经记录的 $X$ ，因此对结果缺失而言是 MAR，却不是 MCAR。

总体结果均值为 $(50\cdot0+50\cdot1)/100=0.5$ ；完整病例中的结果均值则为

\frac{5\cdot0+45\cdot1}{5+45}=0.9.

偏差来自两组在可见结果中的占比改变。若先在每组计算均值，再按全体已知的组别比例各 $1/2$ 加权，得到 $\frac12\cdot0+\frac12\cdot1=0.5$ 。这个例子中组内结果恒定，所以计算恰好恢复总体值；一般随机样本只会带来有抽样误差的估计。MAR 本身没有批准直接删除缺失病例。

何时可以在似然中忽略机制

实际观测为 $(r,y_{\mathrm{obs}})$ ，完整观测似然是

L(\theta,\psi)=\int f_\theta(y_{\mathrm{obs}},y_{\mathrm{mis}}) g_\psi(r\mid y_{\mathrm{obs}},y_{\mathrm{mis}})\,dy_{\mathrm{mis}}.

在 MAR 下，机制项对积分变量不变，因而

L(\theta,\psi)=g_\psi(r\mid y_{\mathrm{obs}}) \int f_\theta(y_{\mathrm{obs}},y_{\mathrm{mis}})\,dy_{\mathrm{mis}}.

要在关于 $\theta$ 的似然推断中删去第一因子，还需 $\theta,\psi$ 参数可分：允许的联合参数空间是笛卡尔积，不存在把两者绑在一起的约束。Bayesian 推断通常还要求先验分解为 $p(\theta)p(\psi)$ ；否则对机制参数积分后仍可能留下依赖 $\theta$ 的因子。这里的忽略性针对相应似然或后验推断，不表示任意完整病例统计量都无偏，也不替代重复抽样性质的证明。

MNAR 时因子一般不能提出积分。例如只记录收入超过某个未公开门槛的人，看到的收入密度同时受总体分布和选择概率影响。不同的完整数据模型与选择机制可能生成同一个观测律，形成可识别性障碍；仅增加同类观测未必能解开它。

推论与应用

缺失机制应结合数据采集过程、已知设计信息和科学知识说明。一般不能仅从已观测数据验证 MAR，因为其关键条件涉及看不见的值。可检查特定 MCAR 假设与可见数据是否冲突，但未拒绝某项检验也不证明 MAR 或 MCAR 成立。

在可忽略模型下，可用EM处理缺失变量的边缘似然；在机制不可忽略或结论对它敏感时，应显式建模选择过程，比较不同机制假设下的结论，并说明额外识别信息来自哪里。

在协变量全部可见、结果按 MAR 缺失且记录概率为正时，识别完整均值之后还可追问估计精度。半参数效率与有效影响函数把误差分成组间人群波动与组内结果波动，推导缺失增加的首阶方差，并给出有限分层下达到该界的估计方法。

自测

若上述两组都随机观察 $10$ 人，完整病例均值是多少？答案为 $0.5$ ，且该设计对每人的保留概率均为 $0.2$ ，与结果无关。不过，相同的一阶保留概率不单独证明整个缺失掩码与完整数据独立，分层定额抽样仍有组内联合选择结构。若同一组内是否回答还依赖未见的 $Y$ ，仅按 $X$ 重加权是否足够？通常不足，因为组内可见者也已被选择。

若未测量结果来自预先规定的随机补测设计，可用两相抽样逐相加权并分解方差。若采用模型补全，多重插补与 Rubin 规则则把每份完整资料分析的方差和补全之间的变化分别保留；缺失机制假设仍需明确。

参考资料

Donald B. Rubin, “Inference and Missing Data”, Biometrika 63(3), 1976, pp. 581–592，§§5、7、8，随机缺失及似然、Bayesian 推断中的忽略性条件。
Roderick J. A. Little and Donald B. Rubin, Statistical Analysis with Missing Data, 3rd ed., Wiley, 2019，Ch. 1，缺失模式与机制。

形式陈述 ​

MAR 仍会使完整病例均值偏离总体 ​

何时可以在似然中忽略机制 ​

自测 ​

反向链接

形式陈述

MAR 仍会使完整病例均值偏离总体

何时可以在似然中忽略机制

自测