Skip to content

统计模型的可识别性

Identifiability of a statistical model · Parameter identifiability

观测分布能否唯一决定参数或目标,以及对称、观测机制与弱识别造成的边界。

领域
统计学
条目类型
定义

形式陈述

参数化统计模型 {Pθ:θΘ} 称为全局可识别,若映射

ΘP,θPθ

是单射,即

Pθ=Pθθ=θ

对所有 θ,θΘ 成立。这里的等号表示两个分布对每个可测事件给出相同概率;若用共同支配密度验证,只需密度几乎处处相等,不能要求任意选取的版本逐点相同。

即使完整参数不可识别,目标 g:ΘT 仍可能可识别。它的精确条件是

Pθ=Pθg(θ)=g(θ).

此时存在分布泛函 ψ:PT 使 g(θ)=ψ(Pθ);等价地,g 在关系 θθPθ=Pθ 的商空间上有良好定义。局部可识别只要求某个 θ0 的邻域内没有另一等价参数,弱于全局可识别;微分模型中满秩 Jacobian 或非奇异信息常是局部判据,却不能排除远处的对称解。

直觉

若两个参数产生完全相同的可观测分布,重复同一种实验只会得到同一个乘积分布,样本量再大也没有区分它们的依据。问题出在实验没有编码所需差异,并非优化器或估计方法不够强;因此可识别性位于一致估计、标准误和区间估计之前。

不可识别常来自冗余坐标、群对称、潜变量缺失或观测通道把不同状态合并。应对方式也要匹配原因:删去冗余坐标、把目标改成等价类、施加有科学含义的约束,或收集能打破对称的新类型观测。任意规定一个标签顺序只能选定表示,不能凭空增加数据证据。

例子与边界

正态模型 N(μ,σ2) 在参数空间 μR,σ>0 上可识别,因为相同分布必有相同均值与方差。若允许 σR{0},则 σσ 产生同一分布;改用 v=σ2>0 删除的是坐标冗余,不是增加模型假设。

两成分混合

Pθ=πN(μ1,1)+(1π)N(μ2,1)

在不加约束时具有标签交换:

(π,μ1,μ2)(1π,μ2,μ1).

完整有序三元组不可识别,但混合分布本身以及按标签置换取商后的成分集合仍可能可识别。约束 μ1<μ2 能在非退化区域选出代表;到 μ1=μ2 时,两个成分合并,混合权重也失去识别,说明标签约束没有修复模型边界。

医学筛查给出更实际的观测机制例子。设患病率为 p,检测灵敏度为 s=P(Y=1D=1),特异度为 c=P(Y=0D=0)。若只看到检测阳性 Y、没有金标准诊断 D,则

P(Y=1)=sp+(1c)(1p).

无论积累多少同类筛查结果,都只识别这个阳性率,不能同时恢复 (p,s,c)。独立校准研究若已知 s,cs+c>1,才可由 p={P(Y=1)(1c)}/(s+c1) 识别患病率;当 s+c=1 时,检测结果与疾病状态无关,公式分母归零。可识别性因此属于“潜在模型、观测映射和已知设计信息”的整体。

边界与失败情形

可识别并不表示容易估计。两个分布虽然不同,却可能在总变差、Hellinger 或 Kullback–Leibler 距离上极近;有限样本下它们仍难区分。弱识别描述映射在局部几乎退化的情形,常表现为Fisher 信息接近奇异、似然长而平,或估计分布对小扰动异常敏感。

反过来,不可识别不表示数据毫无信息。若只观测 Y=θ2+ε,符号通常不可识别,|θ|θ2 却仍是合法目标。推断报告应落在数据真正识别的商空间上,而不是把“不能恢复原坐标”夸大成“什么都不能推断”。

只检查有限个矩相同通常不足以证明分布相同,也不足以证明不可识别;除非该分布族已知由这些矩唯一决定。某一份数据给两个参数相同的似然值同样不构成不可识别,因为定义比较的是全部可能观测的分布,而非一个样本点上的平局。

结构可识别性是总体分布层面的性质;有限样本的不确定性、后验多峰与优化局部极值是相关但不同的问题。数值算法找不到唯一解可能源自样本噪声或非凸计算,不能单独证明模型不可识别;模型可识别也不能保证优化目标只有一个有限样本极值。

推论与应用

可识别性是一致估计的必要条件。若 Pθ(n)=Pθ(n) 对所有 n 成立,而同一估计量序列分别依概率收敛到 g(θ)g(θ),依概率极限的唯一性迫使两目标相等。这个短证明确认了障碍来自概率律,而不依赖所选算法。

潜变量模型、因果模型、矩阵分解和神经网络常带置换、缩放或旋转对称性。实践中应先写出观测等价类,再决定是添加实验信息、施加可辩护的规范化,还是只报告预测分布等可识别目标。随后才有理由研究渐近方差、置信区间和计算误差。

参考资料
  • Thomas S. Ferguson, A Course in Large Sample Theory, Chapman & Hall, 1996,§1.1。
  • Erich L. Lehmann and George Casella, Theory of Point Estimation, 2nd ed., Springer, 1998,§1.5。
  • A. W. van der Vaart, Asymptotic Statistics, Cambridge University Press, 1998,§5.2 与 Ch. 7。
关系图谱5 个相邻概念 · 1 类关系

拖动节点调整位置。

显示关系

显示:依赖

  1. 前置三跳
  2. 前置二跳
  3. 前置一跳
  4. 当前条目
  5. 后续一跳
  6. 后续二跳
  7. 后续三跳
文字版关系按与当前条目的最短距离分组