条件分布

形式陈述 ​

离散情形中，只要 $\text{Pr}(Y=y)>0$，

$$\text{Pr}(X=x\mid Y=y)=\frac{\text{Pr}(X=x,Y=y)}{\text{Pr}(Y=y)}.$$

若 $(X,Y)$ 有联合密度且 $f_Y(y)>0$，则条件密度在相应的几乎处处意义下为

$$f_{X\mid Y}(x\mid y)=\frac{f_{X,Y}(x,y)}{f_Y(y)}.$$

一般地，设 $X$ 取值于 $(S,\mathcal{S})$，$Y$ 取值于 $(T,\mathcal{T})$。给定 $Y$ 的正则条件分布是从 $T$ 到 $S$ 的概率核公理库概率核（Markov 核）Probability kernel · Markov kernel · 转移核从每个输入状态可测地指定一个输出概率分布的映射。 $K$，满足对所有 $A\in \mathcal{S},B\in \mathcal{T}$，

$$\mathbb{P}(X\in A,Y\in B)={\int }_{B}K(y,A){\mathbb{P}}_Y(dy).$$

常写 $K(y,A)=\text{Pr}(X\in A\mid Y=y)$。两个版本只需在 ${\mathbb{P}}_Y$-几乎处处相同；在标准 Borel 空间等常用条件下正则条件分布存在，但任意可测空间上不能保证存在。

直觉 ​

条件分布不是把一个可能为零的事件概率硬塞进分母，而是为每个可观察输入 $y$ 配一份关于 $X$ 的分布，并要求把这些局部分布按 $Y$ 的边缘律混合后，恰好重建原联合分布。积分恒等式负责“相容”，核的可测性负责“可以混合”；零测集上的逐点值不影响任何积分，因此没有天然唯一答案。

例子与边界 ​

离散例子中，令 $X$ 为公平比特，给定 $X$ 后，信道以概率 $0.9$ 正确输出 $Y=X$、以概率 $0.1$ 翻转。由对称性 $\text{Pr}(Y=1)=1/2$，Bayes 计算给出 $\text{Pr}(X=1\mid Y=1)=0.9$。连续例子取三角形 $0<x<y<1$ 上的联合密度 $f_{X,Y}(x,y)=2$。此时 $f_Y(y)=2y$，故 $X\mid Y=y$ 的条件密度为 $1/y$（$0<x<y$）：观测到 $y$ 后，$X$ 在 $(0,y)$ 上均匀，而把它按 $f_Y$ 混合会恢复原三角形密度。

若 $Y$ 连续，则通常 $\text{Pr}(Y=y)=0$，初等比值没有定义；上面的核版本仍可存在。即便存在，改变某个零概率 $y$ 处的 $K(y,\cdot )$ 也不会改变联合分布，所以不能把该点的数值当作由模型唯一决定。更一般的可测空间中正则版本甚至可能不存在，故“总能对每个 $y$ 写出条件分布”需要空间假设。

推论与应用 ​

对可积函数 $g$，核给出条件平均 $\int g(x)K(y,dx)$，连接到条件期望公理库条件期望Conditional expectation相对于子 σ-代数可测并保持其事件上积分的随机变量。；对 $Y$ 再积分得到全期望公式。Bayes 定理公理库Bayes 定理Bayes' theorem · Bayes' rule用先验概率和似然反转条件概率，得到观察证据后的后验概率。在有密度或离散质量时重新加权该核，Markov 链的一步条件律和离散无记忆信道也都是同一结构。联合分布决定条件分布的几乎处处等价类，而条件核加上 $Y$ 的边缘分布又能通过积分重建联合分布。

参考资料

• MIT OpenCourseWare, 6.436J Fundamentals of Probability, lectures on conditional distributions and regular conditional probabilities.
• Olav Kallenberg, Foundations of Modern Probability, 3rd ed., Springer, 2021, Ch. 8, conditioning and disintegration.
• Patrick Billingsley, Probability and Measure, 3rd ed., Wiley, 1995, sections on conditional probabilities and distributions.