Skip to content

算法Algorithm

Turnbull 区间删失估计

施工中 · 内容逐步修订

Turnbull estimator

用区间概率建立非参数似然,再以自洽质量更新估计区间删失分布,不伪造精确事件日。

形式陈述 ​

在事件时间模型中,取整数 n≥1,设正且有限的 T1,…,Tn 是来自F的独立同分布寿命。每人按一份预先确定的检查计划观察,或随机选取与其T独立、且分布不含F的检查计划,各单位的检查随机化也独立。检查准确记录是否已发生事件,所见相邻阴性/阳性检查给 Ti∈(Li,Ri],其中 0≤Li<Ri;始终未发现事件者令 Ri=∞。

给定整份检查计划,观察到这段区间的事件概率就是 F(Ri)−F(Li)。因此忽略不含F的计划因子后,事件时间似然为

L(F)=∏i=1n{F(Ri)−F(Li)}.

这里 F(∞)=1。括住T的实际 (Li,Ri] 本来就随T而改变,不能把上述条件说成“区间两端与T独立”。更一般的可忽略机制需要证明:报告某区间的机制因子在区间内不再随真实T变化,且不含目标参数;本页采用前面的独立检查计划作为清楚的充分条件。相同的符号 Li 在本页表示区间左端,不是延迟进入时间;有截断时必须再加入条件化分母,本页算法只处理无截断的区间删失。

把所有有限端点连同0从小到大排序,划成左开右闭的相邻单元,并保留最后的开向无穷区间。这样每个观察区间是若干完整单元之并,端点的包含关系也没有丢失。可以删除从不落入任何观察区间的单元:正似然的最优解不会把质量浪费在那里。若不同单元在每份记录中都同时出现或同时缺席,还可合并它们的质量。

将保留的候选单元记为 I1,…,IK,K≥1。令 pj 为I_j中的总质量,aij∈{0,1} 表示整个I_j是否包含在第i个观察区间内。这里允许保留冗余单元,不必先选出唯一的“跳点”。于是要在概率单纯形上最大化

ℓ(p)=∑ilog⁡(∑jaijpj),pj≥0,∑jpj=1.

这一凹目标允许不同支持分配取得同一最大值;资料往往只能识别某些区间的总质量,不能确定区间内部的具体跳跃位置。

自洽更新怎样工作 ​

每个观察区间须至少包含一个候选支持区间,否则这份离散表示与输入不相容。给所有可能需要的支持区间正的初始质量。第 r 轮先计算第 i 人的事件落在 Ij 中的条件权重

wij(r)=aijpj(r)∑kaikpk(r),pj(r+1)=1n∑iwij(r).

第一步按现有分布把每人的一单位概率分摊到兼容区间;第二步平均这些分摊。取潜变量为每人真实寿命所属的候选单元,这就是精确EM的一份有限离散实例。E步求条件单元质量,M步最大化 ∑i,jwij(r)log⁡pj,解正是平均权重。采用 0log⁡0=0,并只在正后验支持上计算对数;正初值与相容记录保证本页所用新旧后验和辅助量有限。每轮保持非负性与总和一,并使似然不下降。每轮稠密成本为 O(nK);端点排序另需 O(nlog⁡n),区间关联可用稀疏结构节省存储。

停止时不能只看参数变化很小。对每行兼容概率 ri=∑jaijpj>0 的候选 p,记 gj=∑iaij/ri。因为 ∑jpjgj=n,负对数似然的凸性与一阶支撑不等式给出对任意单纯形中的 q,

ℓ(q)−ℓ(p)≤gT(q−p)≤maxjgj−n.

当某行在 q 下概率为零时,左侧为 −∞,不等式仍成立。因此 maxjgj−n 是可计算的全局对数似然差上界;它为零便认证全局最优,不需要从 EM 的单调性推断已经找到最大值。上界非负,因为 maxjgj≥∑jpjgj=n。在极大点,所有正质量单元满足 gj=n,零质量单元须满足 gj≤n,这也能拒绝被零初值卡住的伪解。临近边界时EM可能很慢,停止报告应给似然、这个差界及迭代次数,而不只给参数改变量。

直觉

一次检查未发现故障,下一次发现故障,只能确定事件发生在两次检查之间。把事件都放到第二次检查日,会怎样改变估计?Turnbull 方法保留整个可能区间,用区间概率构造非参数似然。

例子与边界

三个区间的实际更新 ​

观察区间是 (0,2]、(1,3] 和 (2,3]。先用三个端点单元 (0,1]、(1,2]、(2,3],赋质量 (1/3,1/3,1/3)。三人的兼容质量分别为 2/3,2/3,1/3。

条件分摊依次为 (1/2,1/2,0)、(0,1/2,1/2) 和 (0,0,1)。平均后得到 (1/6,1/3,1/2)。初始似然为 (2/3)(2/3)(1/3)=4/27;更新后为 (1/2)(5/6)(1/2)=5/24,确实增加。

可以直接检查最优解:把第一单元质量移到第二单元不会减少任何观测概率,因此最优时可取 p1=0。余下似然为 p2p3,在 p2+p3=1 下由 p2=p3=1/2 最大化,最大值 1/4。在 p=(0,1/2,1/2) 处,g=(2,3,3),上面的差界为零,给出同一个最优性证书。第一、二人仍没有被人为指定一个精确事件时刻。

改用坏初值 p=(1/3,0,2/3)。三行概率分别为 1/3,2/3,2/3,EM一轮后原样不动;似然只有 4/27,而 g=(3,9/2,3) 给差界 3/2,明确拒绝最优。中间单元一开始为零,乘法更新便无法把它恢复。反过来,若所有人只知在 (1,2] 内发生,任何把总质量1放在该区间内的分布都有同一似然;观察更多相同区间,也不能定位其内部的跳跃。

边界与反例 ​

若同一组人实际上都在 1.1 发生事件,但下一次检查统一在 2,以检查日套用 KM 就会把事件推迟到 2。增加样本量不会消除这种时间分辨率错误。区间似然只承认 (1,2] 内发生,符合观察所能支持的精度。

若因症状恶化而提前检查,检查过程可能与潜在事件有关。此时“区间已经记录下来”并不足以使检查机制可忽略,需要额外模型或设计论证。

推论与应用

此方法是最大似然在不完整事件时间上的具体实现。输出图上的阶梯位置应配合可识别区间解释;看上去精细的画线不能替代资料没有提供的时间信息。

参考资料
关系图谱22 个相邻概念 · 3 类关系

拖动节点调整位置。

显示关系

显示:依赖

  1. 前置三跳
  2. 前置二跳
  3. 前置一跳
  4. 当前条目
  5. 后续一跳
  6. 后续二跳
  7. 后续三跳
文字版关系按与当前条目的最短距离分组
分类位置

上位 / 更一般

下位 / 直接特例

暂未标注直接特例。

类型化关系