均值的经验似然

形式陈述 ​

用样本平均估计总体期望理路期望Expectation · Expected value实值或复值随机变量关于概率测度的 Lebesgue 积分，概括加权平均与总体质量平衡。时，每条记录获得相同权重。若要检验另一个均值$\theta$，可以问：必须把这些权重改动多少，才能让加权平均变成$\theta$？经验似然保留已观察到的位置，允许它们的概率质量变化，再用似然理路似然函数Likelihood function固定可观测数据后，由共同支配密度定义、仅在参数间作相对比较的似然函数。衡量这份改变。它不用预先指定正态、Gamma或其他完整总体分布。

有限样本定义与支持边界 ​

给定实数$x_1,\dots ,x_n$，$n\ge 1$，定义

空可行集的最大值约定为0，${\ell }_n(\theta )=-2\log R_n(\theta )$，其中$-\log 0=+\mathrm{\infty }$。由算术—几何平均不等式，$0\le R_n\le 1$，等权$p_i=1/n$在$\theta =\overline{x}$达到1。

这里的$p_i$附着于记录，允许记录取相同值。若某个值出现$m$次，固定分给这组的总质量后，乘积在组内等分时最大。这恰好产生该支持点质量的$m$次幂，所以记录权重的写法与按不同取值分组的似然比相容；并列不必加微小扰动。

约束可以写成$\theta =\sum _i{p}_i{x}_i$。于是可行集非空当且仅当$\theta \in [x_{min},x_{max}]$。样本不恒定时，$R_n>0$恰在该区间内部：端点只能把质量放在达到端点的记录上，其他记录权重必为零，故乘积为零。若所有$x_i=a$，则$R_n(a)=1$、其他地方为0。空表不在定义中。

一个唯一的标量乘子 ​

在非恒定样本且$x_{min}<\theta <x_{max}$时，写$z_i=x_i-\theta$，其中$z_{min}<0<z_{max}$。在开区间

上所有$1+\lambda z_i$均为正。考虑

它的导数为$-n^{-1}\sum _i{z}_i^2/(1+\lambda z_i{)}^2<0$。靠近左端，最大正$z_i$的项趋正无穷；靠近右端，最小负$z_i$的项趋负无穷。因此存在唯一根$\hat{\lambda }\in I_{\theta }$。置

根方程给$\sum p_i^{\ast }{z}_i=0$，而$\sum (1+\hat{\lambda }{z}_i{)}^{-1}=n-\hat{\lambda }\sum z_i/(1+\hat{\lambda }{z}_i)=n$给归一化。故这是一组合法正权重。

为什么它是全局最优，而非仅仅驻点？对任何另一组正可行权重$p$，利用对数的凹性，

严格凹性使等号只在$p=p^{\ast }$成立；有零权重的候选乘积为0。式(3)因此给出唯一最大化权重和真正似然比。

有限正方差下的卡方极限 ​

设$X_i$独立同分布，$E{X}_i={\theta }_0$且$0<{\sigma }^2=\mathrm{Var}{X}_i<\mathrm{\infty }$。则

式(4)表示按分布收敛理路依分布收敛Convergence in distribution · Weak convergence分布函数在极限分布连续点处收敛的随机变量收敛概念。趋向自由度为1的卡方分布理路卡方分布Chi-square distribution · Chi-squared distribution · χ² distribution若干独立标准正态变量平方和的分布，以自由度记录独立平方方向的数量。。

下面证明只用二阶矩。令$Z_i=X_i-{\theta }_0$，$m_n=\underset{i\le n}{max}|Z_i|$，$s_n^2=n^{-1}\sum _i{Z}_i^2$。首先，由并集界，任意$\epsilon >0$都有

所以$m_n=o_P(\sqrt{n})$。大数律理路强大数定律Law of large numbers · Strong law of large numbers · SLLN独立同分布且可积时，样本均值沿几乎每条无限样本路径收敛到共同期望。给$s_n^2{\to }_P{\sigma }^2$，中心极限定理理路中心极限定理Central limit theorem适当归一化的独立随机变量和在分布上趋于正态分布。给$\overline{Z}=O_P(n^{-1/2})$。非退化零均值总体在零两侧都有正概率，故样本同时出现正负值的概率趋于一；以下在这个事件上使用唯一根。

根方程可改写为

分母为正，故$\hat{\lambda }$与$\overline{Z}$同号；右边平均至少$s_n^2/(1+|\hat{\lambda }|m_n)$。于是

花括号趋于${\sigma }^2>0$，从而$\hat{\lambda }=O_P(n^{-1/2})$，且$\underset{i}{max}|\hat{\lambda }{Z}_i|=o_P(1)$。这一步先界定乘子，再展开对数，避免循环使用待证速率。

令$a_n=\underset{i}{max}|\hat{\lambda }{Z}_i|$。当$a_n<1$时，式(5)中的平均与$s_n^2$之差绝对值至多$a_n{s}_n^2/(1-a_n)$，因此

在$|v|\le 1/2$上，$|\log (1+v)-v+v^2/2|\le C|v{|}^3$，可取固定常数$C$。式(3)的总余项绝对值不超过$2C{a}_{n}n{\hat{\lambda }}^2{s}_n^2=o_P(1)$，故

这里用最大项乘平方和控制三次余项，没有要求$E|X{|}^3<\mathrm{\infty }$。样本未跨过真均值的例外事件概率趋零，不影响极限，但在有限样本中它可能很重要。