Skip to content

模型Model

缺失数据机制

Missing-data mechanism · MCAR · MAR · MNAR

用观测指示变量的条件分布描述哪些数据被保留,并区分完全随机、随机和非随机缺失及忽略机制的条件。

形式陈述 ​

数据缺失后,能否只分析留下的数值?先把“本来会有的数据”和“实际看到了什么”分开。设完整数据向量为 Y,数据模型为 fθ(y);掩码 R 的第 j 个分量为一表示 Yj 可见。对给定掩码 r,写 yobs(r) 与 ymis(r) 表示可见、缺失部分。缺失机制是条件分布

gψ(r∣y)=Pψ(R=r∣Y=y).

采用对所有可能掩码和数据取值成立的版本,三类机制为:

  • MCAR(完全随机缺失): gψ(r∣y)=gψ(r),即掩码与完整数据独立。
  • MAR(随机缺失): 对每个 r,任何满足 yobs(r)=yobs(r)′ 的两种完整数据,都有 gψ(r∣y)=gψ(r∣y′)。给定该掩码下已见的数据,缺失概率不再随未见部分改变。
  • MNAR(非随机缺失): 上述 MAR 条件不成立。

这些等式在模型支持上理解,并对允许的机制参数成立。MAR 的“已观测部分”随 r 改变,不能拿一个固定坐标子集替代所有掩码。只对本次实现的掩码和已见数值要求同样的补全不变性,称 realized MAR;它比这里的 everywhere MAR 弱,二者不应混用。

直觉

MCAR 像与内容无关的设备随机丢包。MAR 则允许丢失机会取决于已经记录的年龄或组别;例如已知年龄较大的人更愿意回答收入问题,仍可能是 MAR。若在年龄相同的人中,高收入者更不愿透露收入,缺失还依赖未见收入,就可能是 MNAR。

“随机”不是说各记录被等概率保留,也不是说缺失无关紧要。它描述在指定观测信息条件下的概率关系;更换观测变量或改变采集流程,机制分类可能随之改变。

例子与边界

MAR 仍会使完整病例均值偏离总体 ​

设有限总体有 100 人,协变量 X 对所有人都可见,其中 X=0,1 各 50 人,结果恰为 Y=X。在两组内分别随机选取 5 人和 45 人观察 Y。是否观察仅依赖已经记录的 X,因此对结果缺失而言是 MAR,却不是 MCAR。

总体结果均值为 (50⋅0+50⋅1)/100=0.5;完整病例中的结果均值则为

5⋅0+45⋅15+45=0.9.

偏差来自两组在可见结果中的占比改变。若先在每组计算均值,再按全体已知的组别比例各 1/2 加权,得到 12⋅0+12⋅1=0.5。这个例子中组内结果恒定,所以计算恰好恢复总体值;一般随机样本只会带来有抽样误差的估计。MAR 本身没有批准直接删除缺失病例。

何时可以在似然中忽略机制 ​

实际观测为 (r,yobs),完整观测似然是

L(θ,ψ)=∫fθ(yobs,ymis)gψ(r∣yobs,ymis)dymis.

在 MAR 下,机制项对积分变量不变,因而

L(θ,ψ)=gψ(r∣yobs)∫fθ(yobs,ymis)dymis.

要在关于 θ 的似然推断中删去第一因子,还需 θ,ψ 参数可分:允许的联合参数空间是笛卡尔积,不存在把两者绑在一起的约束。Bayesian 推断通常还要求先验分解为 p(θ)p(ψ);否则对机制参数积分后仍可能留下依赖 θ 的因子。这里的忽略性针对相应似然或后验推断,不表示任意完整病例统计量都无偏,也不替代重复抽样性质的证明。

MNAR 时因子一般不能提出积分。例如只记录收入超过某个未公开门槛的人,看到的收入密度同时受总体分布和选择概率影响。不同的完整数据模型与选择机制可能生成同一个观测律,形成可识别性障碍;仅增加同类观测未必能解开它。

推论与应用

缺失机制应结合数据采集过程、已知设计信息和科学知识说明。一般不能仅从已观测数据验证 MAR,因为其关键条件涉及看不见的值。可检查特定 MCAR 假设与可见数据是否冲突,但未拒绝某项检验也不证明 MAR 或 MCAR 成立。

在可忽略模型下,可用EM处理缺失变量的边缘似然;在机制不可忽略或结论对它敏感时,应显式建模选择过程,比较不同机制假设下的结论,并说明额外识别信息来自哪里。

自测 ​

若上述两组都随机观察 10 人,完整病例均值是多少?答案为 0.5,且该设计对每人的保留概率均为 0.2,与结果无关。若同一组内是否回答还依赖未见的 Y,仅按 X 重加权是否足够?通常不足,因为组内可见者也已被选择。

参考资料
  • Donald B. Rubin, “Inference and Missing Data”, Biometrika 63(3), 1976, pp. 581–592,§§5、7、8,随机缺失及似然、Bayesian 推断中的忽略性条件。
  • Roderick J. A. Little and Donald B. Rubin, Statistical Analysis with Missing Data, 3rd ed., Wiley, 2019,Ch. 1,缺失模式与机制。
关系图谱7 个相邻概念 · 2 类关系

拖动节点调整位置。

显示关系

显示:依赖

  1. 前置三跳
  2. 前置二跳
  3. 前置一跳
  4. 当前条目
  5. 后续一跳
  6. 后续二跳
  7. 后续三跳
文字版关系按与当前条目的最短距离分组
类型化关系