期望最大化算法

EM 不把缺失值填成一个最可能值后假装它已观测。E 步保留潜变量的整个当前分布；M 步在这个分布下平均完整数据的对数似然。比如混合模型中的一个观测可以以 $0.7$ 和 $0.3$ 的权重参与两个成分更新，而不是被永久扔进其中一个簇。

为什么似然不下降 ​

将证据下界公理库证据下界Evidence lower bound · ELBO · Variational lower bound将对数边缘似然分解为任意辅助分布下的可计算期望与到真实后验的非负 KL 缺口。用于固定参数的联合模型，记

这里 $\theta$ 是待优化参数，无须对它设先验。由KL 散度公理库KL 散度Kullback–Leibler divergence · Relative entropy同一可测空间上分布 P 相对于 Q 的对数 Radon–Nikodym 导数在 P 下的积分。分解，

E 步令缺口在旧参数处为零；M 步保持 $q_t$ 不变，因熵项不含 $\theta$，提高 $Q$ 就提高 $F$。因此

证明的关键是旧位置处下界贴住似然。任意近似 $q_t$ 没有这个等号时，即使下界上升，原似然仍可能下降。

三个观测的一轮更新 ​

拟合两成分高斯混合公理库有限混合模型Finite mixture model · 有限混合分布先抽取有限个潜在成分之一，再由该成分生成观测，并通过边缘化得到观测分布的统计模型。，两方差固定为 $1$。数据为 $(0,1,3)$，初值 ${\pi }^{(0)}=1/2,{\mu }_1^{(0)}=0,{\mu }_2^{(0)}=2$。记 $r_i=P(Z_i=1\mid x_i)$，E 步给出

故 $r=(0.880797078,0.5,0.017986210)$。第一成分的有效样本数为 $N_1=\sum _i{r}_i\approx 1.398783288$。忽略与参数无关的项，M 步最大化

对均值求导、对权重在 $(0,1)$ 上求导，分别得到加权平均和有效比例：

把新旧参数代回包含正态归一化常数的观测对数似然，得到 $-4.998032022\to -4.839379547$。均值和权重确实变了，而单调性比较的是同一个观测目标，不是两个不同轮次的 $Q$ 值。

计算成本 ​

一般 EM 的成本取决于后验计算和 M 步优化，不能仅凭“两步交替”给出统一复杂度。对 $N$ 个一维观测、$K$ 个方差固定的高斯成分，每轮计算全部责任度并累计加权和需 $O(NK)$ 时间，执行 $t$ 轮需 $O(tNK)$ 时间。保存整张责任度表需 $O(NK)$ 空间；若每轮固定旧参数，逐个观测计算责任度并累计各成分的有效样本数与加权和，最后统一更新参数，则辅助空间可降为 $O(K)$。这里不计数据和模型本身的存储，也不把达到指定精度所需的轮数 $t$ 当作已知常数。

单调不等于解决全部问题 ​

若似然有有限上界，单调性只保证似然值收敛；参数序列收敛、极限为驻点仍需额外正则条件，更不能推出全局最大。对称初值可能使两个成分持续重合；不同初值可能落入不同局部解。

若高斯方差也自由更新，方差趋零可能使似然无界。此时似然不断上升恰可能是在走向退化。某成分有效样本数为零时，均值更新还会出现除零；实现必须报告退化或采用明示的约束、重启规则，不能悄悄赋一个任意均值。

EM 适合“完整数据容易，观测数据困难”的结构，潜变量可以是缺失数值，也可以是从未观测过的类别。若后验计算本身困难，可转向变分推断公理库变分 Bayesian 推断Variational Bayesian inference · Variational inference · VI在可计算分布族内优化与真实后验的散度，以确定性或随机优化换取受限族中的快速后验近似。等近似路线，但应重新说明优化目标和保证。

判断一次实现是否遵循 EM，可保存每轮观测对数似然，并在小型离散模型上直接枚举潜状态核对 E 步。只画 $Q$ 曲线不足以验证单调性，因为 $Q$ 的条件参数每轮都在改变。多起点有助于发现不同局部解，却不构成全局保证。

自测 ​

上述初值下，若把中间观测 $x=1$ 硬分给第一成分，是否仍是同一次 EM 的 E 步？不是：正确条件概率是 $1/2$。硬指派改变了辅助分布，旧位置下界贴合条件不再成立，所以必须另行分析所得算法。