Skip to content

定义Definition

概率程序中的条件化与评分

Conditioning in probabilistic programs · Score semantics

把 observe 看成筛选、score 看成加权,计算归一化常数并分别处理零证据、连续观测和不终止。

形式陈述 ​

本页先考虑几乎必然终止、没有非确定选择的生成程序。observe B 为违反 B 的执行赋权零,满足者权重不变;score w 将当前非负权重乘以可测数值 w。终止输出形成未归一化测度 ν。[1,2]

只有当

0<Z=ν(S)<∞

时,才能定义后验概率 π(A)=ν(A)/Z。Z 是证据或归一化常数。若所有评分都不超过一,得到次概率测度;一般评分可大于一,总质量也可大于一,因此超出次概率语义的数值范围。

这与条件分布相连,但程序必须说明评分、拒绝及不终止分别如何处理。存在多种条件化语义,不能只写一个除法就认为所有模型相同。

直觉

生成步骤描述观测前可能发生什么,observe 删除不合证据的执行,score 按证据吻合程度重新分配相对权重。直到最后归一化,权重都只是尚未加到一的量,不能逐项当成最终概率。

归一化把全部路径联系起来,所以一般不能把每个局部分支先各自归一化,再直接按原分支概率混合。那会抹掉不同分支对证据的支持程度。

例子与边界

两个盒子的完整后验计算 ​

先以 2/5 选盒 A,以 3/5 选盒 B。从 A 抽到红球的概率为 3/4,从 B 抽到红球的概率为 1/6。执行 observe red 后返回盒子标签。

未归一化输出质量为

ν(A)=25⋅34=310,ν(B)=35⋅16=110.

于是 Z=2/5,后验为 π(A)=3/4、π(B)=1/4。也可不实际抽红球,而对盒 A 执行 score 3/4、对盒 B 执行 score 1/6,得到同一加权测度。这是有限离散模型中似然加权与显式证据筛选的一次直接核对。

零证据不能靠随便填值修复 ​

若程序只可能返回零,却执行 observe x=1,则 ν=0、Z=0,归一化未定义。把每项 0/0 设成零并不能得到概率分布,把它设成均匀分布则凭空添加了模型没有给出的信息。

连续情况也要谨慎:x∼Uniform[0,1] 后硬性 observe x=1/2 的事件概率为零,因此上述筛选规则同样给零测度。若实际观测带噪声,应使用相应似然密度评分;若要沿连续变量定义正则条件分布,则需要测度分解及版本选择,不能把单点等式当作正概率事件。

权重有限与程序终止是两项条件 ​

若 score 2 执行一次,Z=2 仍可归一化;大于一不等于非法。若可积性失败使 Z=∞,则同样不能归一化。

若程序有不终止概率,按终止且被接受的输出定义 ν 再归一化,会同时条件于终止。例如一半返回零、一半永远循环,没有任何 observe,归一化仍会得到 δ0 并隐藏终止概率 1/2。一些条件 wp 语义用不同分母保留非终止信息;引用这些规则时须先核对约定。[1]

推论与应用

评分串联时权重相乘,不同执行的质量相加,最后再统一归一化。这给重要性采样等推断方法提供语义目标,却不保证有限样本估计没有方差或偏差问题。

模型语义回答后验应是什么,推断算法回答如何近似它。若 Z=0 或无穷,增加采样次数不会自动修复语义缺陷;应先检查观测模型、评分尺度及终止条件。

参考资料
关系图谱11 个相邻概念 · 1 类关系

拖动节点调整位置。

显示关系

显示:依赖

  1. 前置三跳
  2. 前置二跳
  3. 前置一跳
  4. 当前条目
  5. 后续一跳
  6. 后续二跳
  7. 后续三跳
文字版关系按与当前条目的最短距离分组