概率分布

随机试验可以包含许多细节，而分布只保留某个观察量的概率规律。独立地掷两枚公平硬币有四种等可能结果；若 $X$ 只记录正面个数，则

HT 与 TH 被观察量合并成同一个数值。给定 $X$ 的分布，可以回答关于正面个数的问题，却无法恢复两次抛掷的顺序。这种信息丢失不是计算失误，而是“只记录该变量的律”的定义结果。

两个变量同分布，只表示它们对所有可测结果范围给出相同概率，并不表示它们每次取相同值，更不表示它们独立。同分布比较的是各自的统计规律；同一个概率空间上的联合分布才记录二者如何一起变化。

质量函数、密度与 CDF ​

若存在有限或可数集合 $S_0\subseteq S$，满足 $\nu (S_0)=1$ 且每个 $s\in S_0$ 的单点集可测，则质量函数 $p(s)=\nu (\{s\})$ 满足 $\sum _{s\in S_0}p(s)=1$，并且 $\nu (B)=\sum _{s\in B\cap S_0}p(s)$。这是离散分布的表示方式；质量函数也可视为相对于计数测度的密度，区别于相对于长度测度的密度。

实数上的分布若相对于 Lebesgue 测度有密度 $f$，则

密度值不是单点概率，也可以大于 $1$：在 $[0,1/2]$ 上均匀分布的密度为 $2$，但任一单点的概率仍为零。概率由“高度与宽度一起积分”得到，而不是把高度直接解释为事件概率。

任意实数上的 Borel 概率分布都有累积分布函数

$F$ 单调不减、右连续，并在两端趋于 $0$ 与 $1$；它唯一确定分布，因为 $\nu ((a,b])=F(b)-F(a)$，这些区间足以确定 Borel 概率测度。

连续的 CDF 为什么还不够 ​

对实数上的 Borel 概率分布，CDF 在 $t$ 的跳跃量满足

因此“所有单点质量为零”和“CDF 连续”等价；在这个空间上，它们也等价于分布无原子。原子指正质量却无法拆成两块正质量部分的可测集。存在 Lebesgue 密度则更强：它要求 $F$ 绝对连续，而不只是连续。

Cantor 分布说明差别。令 $B_k$ 为独立公平比特，取 $X=\sum _{k\ge 1}2B_k/3^k$。它的值落在三进制只使用 $0,2$ 的 Cantor 集上；任何具体值至多对应一条这样的数字序列，匹配前 $n$ 位的概率为 $2^{-n}$，故单点概率为零。另一方面，第 $n$ 轮构造中剩余区间的总长度为 $(2/3{)}^n$，趋于零；Cantor 集因而长度为零，却承载全部概率，故该分布不可能具有 Lebesgue 密度。[1,2]

点质量与连续质量的混合 ​

考虑 $\nu =\frac{1}{4}{\delta }_0+\frac{3}{4}\mathrm{Unif}[0,1]$：四分之一质量放在 $0$，其余均匀铺在区间上。其分布函数公理库分布函数Cumulative distribution function · CDF实值分布在每个阈值左侧累积的概率，是非降右连续且端点极限为零和一的函数。是

例如 $\nu (\{0\})=1/4$，而 $\nu ((0,1/2])=3/8$。只画高度 $3/4$ 的密度线，会漏掉原点的四分之一质量；有限高度的普通密度无法给单点分配正概率。

相同边际，完全不同的联合行为 ​

令 $U,V$ 为独立公平比特。下面三对变量的每个坐标都服从 $\mathrm{Bernoulli}(1/2)$：

但二者相等的概率依次是 $1/2,1,0$。各坐标的边际分布完全相同，联合行为却覆盖独立、完全一致、完全相反三种情况。给定边际再选择一个联合分布，就是选择一种耦合；边际信息本身没有规定该怎么耦合。

在无限集合上也不能随意使用“每个点等可能”。若可数无限离散空间中每个点都有相同质量 $c$，则 $c>0$ 导致总质量无穷，$c=0$ 又导致总质量为零。连续均匀分布可以让所有单点概率为零，是因为其空间不可数，不能套用同一个可数求和论证。

“均匀”也需要指定参考结构。有限集可规范化计数测度，有限长度区间可规范化长度测度；全体整数或整条实线上不存在平移不变、总质量为 $1$ 的概率测度。例如实线被 $[n,n+1)$ 分割，平移不变会迫使它们全有同一质量，又陷入无穷等质量求和的矛盾。

对可测函数 $g$，只要 $g$ 非负或 $g(X)$ 可积，推前关系给出

因此一个变量的期望公理库期望Expectation · Expected value实值或复值随机变量关于概率测度的 Lebesgue 积分，概括加权平均与总体质量平衡。及其可积函数的期望，只依赖这个变量的律，不依赖它被哪个随机试验实现。若需要计算 $\mathbb{E}[g(X,Y)]$，则通常必须知道联合分布，不能只拿两个边际替代。

上述混合分布的均值为 $\frac{1}{4}\cdot 0+\frac{3}{4}{\int }_0^{1}xdx=3/8$，不必把原子塞进普通密度。进一步变换 $Y=g(X)$ 时，其分布是沿 $g$ 对 ${\mathbb{P}}_X$ 再次推前。

CDF 与密度的关系还决定计算方式：已知 CDF 可以直接求区间概率；只有在绝对连续情形，才能把 CDF 几乎处处的导数作为完整密度。对于含跳跃或奇异部分的分布，只保留导数会丢失概率质量。

统计模型公理库统计模型与参数Statistical model · Statistical parameter对可观测数据候选分布族、参数化坐标与待推断分布泛函的统一刻画。规定一族候选分布及其参数；观测数据生成的经验测度公理库经验测度Empirical measure · Empirical distribution把有限观测的重复频数编码为原子概率测度。则把每条观测记录对应的点质量乘以 $1/n$ 后相加，重复观测的权重随之累加。给定非空观测记录，经验测度由这些记录确定；样本随机时，它才随样本成为随机对象。它与目标分布之间的逼近性质需要相应样本假设和概率定理。理论分布、一次有限样本以及由样本形成的估计，并不是同一个对象。

最后，均值、方差等少量摘要通常不能确定一个分布；即使给出全部矩，也仍需额外条件才能保证唯一性。选择摘要时，应先问要回答哪一类概率问题，而不是默认几个参数已保留完整规律。

在实线上比较两份分布时，一维单调输运公理库一维单调输运Monotone rearrangement transport · Quantile transport按累计质量的相同分位数配对，以消除交叉证明一维凸距离成本的最优性。将同一分位数的质量配对。凸位移成本下，消除交叉不会增加成本，因此分布函数和分位数不仅用于描述分布，也能直接计算最优搬运。