形式陈述
在事件时间模型理路生存分析基础Survival analysis · Kaplan–Meier estimator对事件时间、删失、survival 与 hazard 建模并估计生存曲线的基础框架。中,取整数 ,设正且有限的 是来自F的独立同分布寿命理路独立同分布样本IID sample · Independent and identically distributed sample以乘积分布描述来自同一总体的独立重复观测。。每人按一份预先确定的检查计划观察,或随机选取与其T独立、且分布不含F的检查计划,各单位的检查随机化也独立。检查准确记录是否已发生事件,所见相邻阴性/阳性检查给 ,其中 ;始终未发现事件者令 。
给定整份检查计划,观察到这段区间的事件概率就是 。因此忽略不含F的计划因子后,事件时间似然为
这里 。括住T的实际 本来就随T而改变,不能把上述条件说成“区间两端与T独立”。更一般的可忽略机制需要证明:报告某区间的机制因子在区间内不再随真实T变化,且不含目标参数;本页采用前面的独立检查计划作为清楚的充分条件。相同的符号 在本页表示区间左端,不是延迟进入时间;有截断时必须再加入条件化分母,本页算法只处理无截断的区间删失。
把所有有限端点连同0从小到大排序,划成左开右闭的相邻单元,并保留最后的开向无穷区间。这样每个观察区间是若干完整单元之并,端点的包含关系也没有丢失。可以删除从不落入任何观察区间的单元:正似然的最优解不会把质量浪费在那里。若不同单元在每份记录中都同时出现或同时缺席,还可合并它们的质量。
将保留的候选单元记为 ,。令 为I_j中的总质量, 表示整个I_j是否包含在第i个观察区间内。这里允许保留冗余单元,不必先选出唯一的“跳点”。于是要在概率单纯形上最大化
这一凹目标允许不同支持分配取得同一最大值;资料往往只能识别某些区间的总质量,不能确定区间内部的具体跳跃位置。
自洽更新怎样工作
每个观察区间须至少包含一个候选支持区间,否则这份离散表示与输入不相容。给所有可能需要的支持区间正的初始质量。第 轮先计算第 人的事件落在 中的条件权重
第一步按现有分布把每人的一单位概率分摊到兼容区间;第二步平均这些分摊。取潜变量为每人真实寿命所属的候选单元,这就是精确EM理路期望最大化算法Expectation-maximization algorithm · EM algorithm · EM 算法交替计算潜变量的条件分布与提高完整数据期望对数似然,以迭代优化观测似然的算法。的一份有限离散实例。E步求条件单元质量,M步最大化 ,解正是平均权重。采用 ,并只在正后验支持上计算对数;正初值与相容记录保证本页所用新旧后验和辅助量有限。每轮保持非负性与总和一,并使似然不下降。每轮稠密成本为 ;端点排序另需 ,区间关联可用稀疏结构节省存储。
停止时不能只看参数变化很小。对每行兼容概率 的候选 ,记 。因为 ,负对数似然的凸性与一阶支撑不等式理路凸函数Convex function函数在任意凸组合处不超过相同权重下函数值的凸组合。给出对任意单纯形中的 ,
当某行在 下概率为零时,左侧为 ,不等式仍成立。因此 是可计算的全局对数似然差上界;它为零便认证全局最优,不需要从 EM 的单调性推断已经找到最大值。上界非负,因为 。在极大点,所有正质量单元满足 ,零质量单元须满足 ,这也能拒绝被零初值卡住的伪解。临近边界时EM可能很慢,停止报告应给似然、这个差界及迭代次数,而不只给参数改变量。
直觉
一次检查未发现故障,下一次发现故障,只能确定事件发生在两次检查之间。把事件都放到第二次检查日,会怎样改变估计?Turnbull 方法保留整个可能区间,用区间概率构造非参数似然。
例子与边界
三个区间的实际更新
观察区间是 、 和 。先用三个端点单元 、、,赋质量 。三人的兼容质量分别为 。
条件分摊依次为 、 和 。平均后得到 。初始似然为 ;更新后为 ,确实增加。
可以直接检查最优解:把第一单元质量移到第二单元不会减少任何观测概率,因此最优时可取 。余下似然为 ,在 下由 最大化,最大值 。在 处,,上面的差界为零,给出同一个最优性证书。第一、二人仍没有被人为指定一个精确事件时刻。
改用坏初值 。三行概率分别为 ,EM一轮后原样不动;似然只有 ,而 给差界 ,明确拒绝最优。中间单元一开始为零,乘法更新便无法把它恢复。反过来,若所有人只知在 内发生,任何把总质量1放在该区间内的分布都有同一似然;观察更多相同区间,也不能定位其内部的跳跃。
边界与反例
若同一组人实际上都在 发生事件,但下一次检查统一在 ,以检查日套用 KM 就会把事件推迟到 。增加样本量不会消除这种时间分辨率错误。区间似然只承认 内发生,符合观察所能支持的精度。
若因症状恶化而提前检查,检查过程可能与潜在事件有关。此时“区间已经记录下来”并不足以使检查机制可忽略,需要额外模型或设计论证。
推论与应用
此方法是最大似然理路最大似然估计Maximum likelihood estimation · MLE在参数空间内选择使已观测数据似然达到上确界的参数估计方法。在不完整事件时间上的具体实现。输出图上的阶梯位置应配合可识别区间解释;看上去精细的画线不能替代资料没有提供的时间信息。
参考资料