正态混合的非参数似然与最优性证书

形式陈述

要估计的是一份分布，不是预先规定的几个均值

观察实数 $y_1,\ldots,y_n$ ， $n\ge1$ ，假定它们独立同分布于同一正态位置混合：

m_G(y)=\int\varphi_\sigma(y-\theta)\,dG(\theta), \qquad \sigma^2>0\text{ 已知}. \tag{1}

其中 $\varphi_\sigma$ 表示均值为零、方差为 $\sigma^2$ 的正态密度。

$G$ 遍历 $\mathbb R$ 上的全部概率分布。它若只有有限个原子，就回到有限混合；这里不事先规定原子数、位置或权重。非参数指允许的混合分布不是一个固定维数参数族，不表示没有模型假设。

对数似然为

\ell(G)=\sum_{i=1}^n\log f_i(G),\qquad f_i(G)=\int\varphi_\sigma(y_i-\theta)\,dG(\theta). \tag{2}

至少存在一份最大化分布 $\widehat G$ ，支持包含于 $[y_{\min},y_{\max}]$ ，且至多有 $n$ 个原子。所有最大化解在 $n$ 个数据位置上的密度向量 $(f_1,\ldots,f_n)$ 相同。后一个唯一性不能只凭措辞就升级成任意混合参数表示的唯一性。

给任意候选概率分布 $H$ ，定义证书函数

D_H(\theta)=\sum_{i=1}^n \frac{\varphi_\sigma(y_i-\theta)}{f_i(H)}. \tag{3}

则 $H$ 为全局最大化解，当且仅当

D_H(\theta)\le n\qquad\text{对每个 }\theta\in\mathbb R. \tag{4}

若成立， $D_H(\theta)=n$ 在 $H$ 几乎处处成立；对于离散候选，每个正权原子处都须达到等号。本文称式(4)为最优性证书，它检查整个允许的参数域，而不只是几个已选原子。

直觉

似然在密度向量上是凹问题

令

v(\theta)=\bigl(\varphi_\sigma(y_1-\theta),\ldots, \varphi_\sigma(y_n-\theta)\bigr).

混合分布只通过 $f(G)=\int v(\theta)dG(\theta)$ 进入样本似然。若在两份分布之间混合，其密度向量也按同样比例混合； $\sum_i\log f_i$ 是正象限上的严格凹函数。因此这是凸可行集合上的凹最大化问题。

这里并没有说“把固定个数的原子位置和权重一起当成欧氏坐标后，目标仍联合凹”。那份有限参数化会弯曲可行集合，可以给出不同的数值表现。分布层面的凸性和任意坐标下的凸性不能互换。

为什么最大值存在且只需有限个原子

若 $\theta<y_{\min}$ ，把它移动到 $y_{\min}$ 会缩短它到每个数据点的距离，使所有正态密度值增大； $\theta>y_{\max}$ 同理。所以将区间外质量投影回 $K=[y_{\min},y_{\max}]$ 不会降低似然，寻找最大解可以限制在 $K$ 。

$v(K)$ 是紧集，它的凸包也是紧的。一个直接理由是Carathéodory定理：在 $\mathbb R^n$ 中，每个凸包点至多用 $n+1$ 个点表示；系数单纯形与 $K^{n+1}$ 都是紧的，它们的连续像给出整个凸包。

任意概率混合的积分向量属于这个凸包：以有限分割近似连续函数 $v$ ，得到有限凸组合，再用凸包闭性取极限。反过来每个有限凸组合都对应一个离散混合分布。因 $K$ 紧且正态密度处处正，每个坐标有正的统一下界，故 $\sum\log f_i$ 连续，最大值确实达到。严格凹性保证最优密度向量 $f_*$ 唯一。

把支持数从 $n+1$ 改进到 $n$ ，要再用一个最优性条件。设 $w_i=1/f_{*,i}$ 。在 $f_*$ 向任意 $v(\theta)$ 移动的方向上，导数不应为正，所以 $w\cdot v(\theta)\le n$ 。同时 $w\cdot f_*=n$ 。最优混合只能把质量放在等号集合：若有正质量严格小于 $n$ ，积分也会严格小于 $n$ 。

这个等号集合位于一个仿射维数至多 $n-1$ 的超平面中。再在该面上应用Carathéodory，得到至多 $n$ 个原子的表示。它证明的是“有一份这么小的解”，不要求把拟合出的每个原子解释成真实总体的一个群体。

证书为什么同时必要和充分

向单点质量移动，写 $H_t=(1-t)H+t\delta_\theta$ ，则

\left.\frac d{dt}\ell(H_t)\right|_{t=0+} =D_H(\theta)-n.

所以最优解必须满足式(4)。另一方面，由对数的凹性， $\log u\le u-1$ 给出，对任意 $G$ ，

\begin{aligned} \ell(G)-\ell(H) &\le \sum_i\left\{\frac{f_i(G)}{f_i(H)}-1\right\}\\ &=\int D_H(\theta)\,dG(\theta)-n. \end{aligned} \tag{5}

若式(4)成立，右侧不大于零， $H$ 就是全局最优。这份证明不要求预先知道正确原子数，也不需要把一个数值迭代停止标记当成最优证据。

更一般地，若能认证 $\sup_\theta D_H(\theta)\le n+\varepsilon$ ，式(5)给出整个允许模型上的目标差 $\ell(\widehat G)-\ell(H)\le\varepsilon$ 。这是对数似然差，不是后验均值误差或风险差。

例子与边界

两个靠得很近的观察，单点分布就有完整证书

取观察 $(-a,a)$ ， $0\le a\le\sigma$ ，候选 $H=\delta_0$ 。除去共同常数后，式(3)为

D_H(\theta) =2\exp\{-\theta^2/(2\sigma^2)\} \cosh(a\theta/\sigma^2).

利用 $\log\cosh t\le t^2/2$ ，便有

D_H(\theta)\le 2\exp\left\{-\frac{\sigma^2-a^2}{2\sigma^4}\theta^2\right\}\le2.

所用不等式也可直接证明： $t\ge0$ 时 $\tanh t\le t$ ，因为 $(\tanh t)'=\operatorname{sech}^2t\le1$ 且两者在零相等；积分并用偶性即可。因此这份全实线证书是完整的， $H$ 为不受网格限制的NPMLE。

若 $a>\sigma$ ， $D_H''(0)>0$ 而 $D_H(0)=2$ ，附近便有 $D_H>2$ 。同一候选不再最优，可以加入某个新原子改善似然。这里只拒绝旧候选，没有由此猜测完整最优支持。

一个可以精确验收的三点网格

现在限定原子只能取 $-a,0,a$ ，观察仍为 $-a,a$ ，并取 $\sigma^2=1$ 、 $a=\sqrt{2\log2}$ 。省去正态密度的共同因子 $1/\sqrt{2\pi}$ ，核矩阵为

K= \begin{pmatrix} 1&1/2&1/16\\ 1/16&1/2&1 \end{pmatrix}. \tag{6}

候选权重 $w=(1/2,0,1/2)$ 给 $f_1=f_2=17/32$ 。三列的证书值分别为

D(-a)=2,\qquad D(0)=\frac{32}{17}<2,\qquad D(a)=2.

所以它在这个有限网格上全局最优。正权端点取等号，零权中点允许严格小于 $n$ ；要求所有列都取等号反而会拒绝正确的边界解。

这份证书没有检查网格外的 $\theta$ 。就算额外检查一个中点 $\theta=a/2$ ，得到

D_H(a/2)=\frac{40}{17}\,2^{-1/4}<2,

也仍不够；这里的不等式可由 $(20/17)^4<2$ 精确核验。一个新增采样点通过，不能代表整个连续区间通过。

为了给出确切的网格外拒绝证书，考虑原子 $\theta$ 在 $a$ 附近的方向导数。当前 $D_H$ 在 $a$ 处等于2，但

D_H'(a)= -\frac{32}{17}\,\frac{2a}{16} =-\frac{4a}{17}<0.

向 $a$ 左侧移动足够小距离，会使 $D_H>2$ 。所以有限网格最优不等于全实线最优。这个局部导数证据不需要指定一个可能选错的有限步长。

EM单调并不等于已经通过最优性检查

固定网格 $\theta_1,\ldots,\theta_M$ 、 $K_{ij}=\varphi_\sigma(y_i-\theta_j)>0$ 。EM对权重的更新为

w_j^{\rm new} =\frac1n\sum_i\frac{w_jK_{ij}}{\sum_k w_kK_{ik}} =\frac{w_jD_j(w)}n. \tag{7}

若 $w_j=0$ ，以后一直为零。对式(6)从 $w=(0,1,0)$ 开始，EM会原地不动；但此时端点列的 $D_j=17/8>2$ ，加入端点质量可以提高似然。一个受限面上的固定点不是全单纯形的最优证书。

即使从严格正权重开始，也应检查所有列的 $D_j-n$ 或可靠目标差，而不只看两轮权重相差多小。有限精度下，小变化可以来自收敛缓慢或舍入；声明的停止标准应与真正需要的误差量对应。

推论与应用

从拟合分布得到经验Bayes规则

若拟合得到 $\widehat G=\sum_j\widehat w_j\delta_{\widehat\theta_j}$ ，固定这份分布后，对新的输入位置 $y$ ，

\widehat\delta(y) =\frac{\sum_j\widehat w_j\widehat\theta_j \varphi_\sigma(y-\widehat\theta_j)} {\sum_j\widehat w_j\varphi_\sigma(y-\widehat\theta_j)}. \tag{8}

这是拟合模型的后验均值，也可由Tweedie公式从其边缘密度导数得到。先拟合共同混合分布，再为各个噪声读数计算条件均值，便是一种经验Bayes方法。

在式(6)的网格解下，观察 $a$ 时两个端点后验概率为 $16/17$ 和 $1/17$ ，故后验均值为 $15a/17$ 、方差为 $64a^2/289$ 。它们是网格拟合模型的精确条件输出；前面的网格外违反已经说明，不能把它们标成全实线NPMLE的结果。

数值成本与可认证范围

固定网格时，一次计算全部 $f_i$ 、 $D_j$ 及EM更新需 $O(nM)$ 算术，存整个核矩阵需 $O(nM)$ 空间，也可逐块重算以减少存储。对数似然应避免因极小正态密度直接下溢；共同的逐行正因子可从核矩阵中除掉，因为它只改变与权重无关的似然常数，且不改变证书比值。

有限网格的全列检查只认证这个有限模型。要认证全实线模型，须控制连续函数 $D_H$ 的全域上界；支持可限制在数据范围，区间外每项都向外递减，但区间内仍不能以稀疏采样代替极值论证。两个近观察的例子有解析上界，三点网格例子则有明确的连续域违反。

已知方差在这里十分重要。如果允许每个成分的方差趋于零，将一个原子均值放在数据上就可能让似然无界；本页的紧凸密度向量证明不覆盖那种模型。

最后，样本似然最优是一项拟合保证。先验是真实总体分布、后验可信区间具有频率覆盖、经验Bayes规则接近某个理想风险，都是另需条件和证明的结论。本页只交付已经证明的存在性、最优密度向量、支持上界和可核验的似然证书。

参考资料

Roger Koenker and Ivan Mizera, “Convex Optimization, Shape Constraints, Compound Decisions, and Empirical Bayes Rules”作者稿,2013-11-20，§3，Theorem2、式(6)–(8)，以及附录该定理的证明：正态混合NPMLE、有限原子和方向/对偶约束；§4讨论网格实现。本文用紧凸包和对数切线不等式直接给出所需证书证明。
Bruce G. Lindsay, “The Geometry of Mixture Likelihoods: A General Theory”, Annals of Statistics11(1),86–94,1983。原始几何出处；本文实际全文核对以Koenker–Mizera作者稿及其附录为准，不冒称已取得Lindsay全文。

形式陈述 ​

要估计的是一份分布，不是预先规定的几个均值 ​

似然在密度向量上是凹问题 ​

为什么最大值存在且只需有限个原子 ​

证书为什么同时必要和充分 ​

两个靠得很近的观察，单点分布就有完整证书 ​

一个可以精确验收的三点网格 ​

EM单调并不等于已经通过最优性检查 ​

从拟合分布得到经验Bayes规则 ​

数值成本与可认证范围 ​

反向链接