有限混合模型

可以把生成过程看作两次抽签：第一次决定从哪个盒子取球，第二次在选中的盒子内取值。只记录数值、擦去盒子标签后，得到的正是混合分布。推断则沿相反方向走：某个数值在哪些盒子中较常出现，又有哪些盒子原本被选中的机会较大？责任度同时考虑这两项。

成分不是数据中天然写好的“真实类别”。若两个成分高度重叠，即使参数已知，也不能由单个 $x$ 确定标签。把最大责任度对应的成分当成硬标签是一项额外决策，会丢掉剩余不确定性。

混合的方差来自两层变化 ​

考虑

令成分均值 ${\mu }_1=0,{\mu }_2=4$，则 $E[X]=\frac{1}{4}\cdot 0+\frac{3}{4}\cdot 4=3$。按全方差公式公理库全期望公式与全方差公式Law of total expectation · Law of total variance · Iterated expectation借助条件信息分解总体均值，并把总波动拆成组内与组间两部分。，

只平均两个成分的方差会得到 $1$，漏掉盒子之间均值不同造成的 $3$。若误把混合理解为独立 $U\sim N(0,1),V\sim N(4,1)$ 的加权和 $\frac{1}{4}U+\frac{3}{4}V$，虽然均值仍为 $3$，方差却是 $1/16+9/16=5/8$，得到完全不同的分布。

在 $x=2$ 处，两条正态密度相等，所以 $r_1(2)=1/4$，不是 $1/2$。在 $x=0$ 处，第二条密度与第一条之比为 $e^{-8}$，于是

即使第一盒只占总体四分之一，它仍几乎完全解释了这个靠近零的观测。

表示与拟合的边界 ​

交换成分编号不会改变 $f_{\theta }$；两个成分重合时，还可能出现权重冗余。统计模型的可识别性公理库统计模型的可识别性Identifiability of a statistical model · Parameter identifiability观测分布能否唯一决定参数或目标，以及对称、观测机制与弱识别造成的边界。据此区分有序参数、标签置换后的等价类与观测分布。本页的边缘化公式不承诺成分表示唯一，也不把多个拟合峰自动解释为多个科学群体。

若拟合高斯混合时允许某成分方差无限趋近零，把它的均值放在一个观测上就可能让样本似然无界。增加成分数、换初值或运行更久不会修复这个模型边界；方差约束或先验会改变允许的模型或目标，必须明示。

对独立样本，观测对数似然为 $\sum _i\log \sum _k{\pi }_k{f}_{{\theta }_k}(x_i)$。困难来自对数里的和，而完整标签已知时，目标是各成分对数密度的加权和。EM 算法公理库期望最大化算法Expectation-maximization algorithm · EM algorithm · EM 算法交替计算潜变量的条件分布与提高完整数据期望对数似然，以迭代优化观测似然的算法。利用责任度把潜标签的指示量替换为条件期望，再更新参数。

混合也可用于预测密度，而无须为每个成分命名。要从观测分布恢复成分，先查可识别条件；要做参数计算，再查似然是否有有限最优值。若标签确实缺失且缺失概率依赖数据，还须额外分析缺失机制公理库缺失数据机制Missing-data mechanism · MCAR · MAR · MNAR用观测指示变量的条件分布描述哪些数据被保留，并区分完全随机、随机和非随机缺失及忽略机制的条件。，不能仅因为模型包含潜变量就认定可以忽略观测过程。

自测 ​

把上述权重改成各 $1/2$，成分均值仍为 $0,4$、方差仍为 $1$，求总体均值、方差及 $r_1(2)$。检验答案是 $2,5,1/2$；方差中的 $4$ 必须来自成分均值间的变化。