联合分布

形式陈述 ​

设 $X:(\mathrm{\Omega },\mathcal{F})\to (S,\mathcal{S})$、$Y:(\mathrm{\Omega },\mathcal{F})\to (T,\mathcal{T})$ 为随机元素。二者的联合分布是乘积可测空间上的推出测度

$$\mathcal{L}(X,Y)(A)=\mathbb{P}((X,Y)\in A),A\in \mathcal{S}\otimes \mathcal{T}.$$

离散情形记 $p_{X,Y}(x,y)=\text{Pr}(X=x,Y=y)$，边缘化为 $p_X(x)=\sum _y{p}_{X,Y}(x,y)$。若联合分布对乘积 Lebesgue 测度有密度 $f_{X,Y}$，则在适当的几乎处处意义下

$$f_X(x)=\int f_{X,Y}(x,y)dy,f_Y(y)=\int f_{X,Y}(x,y)dx.$$

$X,Y$ 独立当且仅当 $\mathcal{L}(X,Y)=\mathcal{L}(X)\otimes \mathcal{L}(Y)$；等价地，对所有可测矩形 $A\times B$，联合概率等于两边缘概率之积。密度因子化只是联合密度确实存在时的对应表达，不能代替一般定义。

直觉 ​

边缘分布像两张各自拍摄的单人照片，只说明每个坐标单独出现什么；联合分布则是一张同框照片，保留谁与谁一起出现。固定两份边缘分布，仍可用许多不同方式配对样本，这些不同配对就是不同耦合。独立性是其中最特殊的一种：同框信息恰好不再增加任何坐标间关联。

例子与边界 ​

令 $X$ 为公平 Bernoulli 变量。第一种构造取 $Y=X$；第二种让 $Y$ 成为与 $X$ 独立的公平 Bernoulli 变量。两种构造里 $X,Y$ 的边缘分布完全相同，但第一种只有 $(0,0),(1,1)$ 各以 $1/2$ 出现，第二种四个点各以 $1/4$ 出现。因此前者满足 $\text{Pr}(X=Y)=1$，后者为 $1/2$。仅凭边缘无法恢复联合分布，也无法判断独立性。

联合分布未必有联合密度。若 $U$ 在 $[0,1]$ 均匀分布且 $(X,Y)=(U,U)$，两边缘都有普通密度，联合测度却集中在对角线 $x=y$ 上；对角线的二维 Lebesgue 测度为零。零协方差同样不够：对关于零对称的非退化 $U$，$U$ 与 $U^2$ 协方差为零，却显然依赖。

推论与应用 ​

联合分布是条件分布公理库条件分布Conditional distribution · Regular conditional distribution给定观测值后随机量的概率律，以及它与原联合分布相容的核表示。、条件期望公理库条件期望Conditional expectation相对于子 σ-代数可测并保持其事件上积分的随机变量。和 Bayes 更新的共同输入。信息论中的联合熵公理库联合熵Joint entropy随机变量元组不确定性的 Shannon 熵。、互信息公理库互信息Mutual information一个随机变量对另一个随机变量不确定性的平均减少量。与数据处理不等式都比较联合结构和边缘乘积；Markov 链则通过相邻时刻的联合规律编码条件依赖。固定边缘后选择联合分布的过程形成耦合法，可用于比较两个概率律及证明收敛界，但“同边缘”本身并不会选出唯一耦合。

参考资料

• MIT OpenCourseWare, 6.436J Fundamentals of Probability, lectures on random vectors, joint laws, and independence.
• Olav Kallenberg, Foundations of Modern Probability, 3rd ed., Springer, 2021, Chs. 1 and 4, distributions, product measures, and independence.