局部渐近正态性

为什么把参数差缩小到根号 n 的倒数 ​

在正则 IID 模型中，$n$ 个零均值得分相加的随机大小约为 $\sqrt{n}$，对数似然的总曲率则约为 $nI$。把参数移动 $h/\sqrt{n}$ 后，一阶变化约为 $h{\mathrm{\Delta }}_n$，二阶变化约为 $-h^{2}I/2$，两者都保留常数量级。这个尺度使数据仍能感受到参数变化，却不会让两种模型立即变得完全容易区分。

LAN 的“正态”首先描述整族局部似然比的形状。还没有选取估计量，也没有讨论哪个算法求出了最大值。估计量渐近正态、检验的局部功效和后验的正态近似，都是利用这层似然结构再完成各自证明的后续问题。

高斯位移给出的准确参照 ​

考虑只观察一个变量的实验 $Z\sim N(h,I^{-1})$，以 $h=0$ 为基准。直接相减两个高斯对数密度得到

在基准分布下，$IZ\sim N(0,I)$，恰好与 LAN 中的 ${\mathrm{\Delta }}_n$ 对应。因此可以把 $I^{-1}{\mathrm{\Delta }}_n$ 看作高斯位移实验中观测值的局部对应物。这个解释匹配的是局部似然比的极限结构；它本身不是原始全部数据分布与一个高斯分布在总变差距离下等价的断言。

Bernoulli：先把中心序列算出来 ​

令 $X_1,\dots ,X_n$ 独立同分布于 Bernoulli$(p)$，参数 $p\in (0,1)$，基准点取 $p_0=1/3$。记 $S_n=\sum _i{X}_i$、${\overline{X}}_n=S_n/n$。单次观测的对数概率与得分是

在 $p_0$ 处，$s_{p_0}(1)=3$，$s_{p_0}(0)=-3/2$，于是

中心序列因此为

得分独立同分布且方差为 $9/2$，中心极限定理公理库中心极限定理Central limit theorem适当归一化的独立随机变量和在分布上趋于正态分布。给出基准分布下的 ${\mathrm{\Delta }}_n\Rightarrow N(0,9/2)$。还须控制似然比，才能从这个结论走到 LAN。

展开精确似然比，并控制整个有界区间 ​

令 $p_{n,h}=1/3+h/\sqrt{n}$。充分大的 $n$ 下所有二元样本在两个模型中都有正概率，所以对数似然比精确等于

为避免把余项藏在形式展开中，先固定 $H<\mathrm{\infty }$，令 $|h|\le H$ 且 $n\ge 36H^2$。这样 $p_{n,h}$ 及其与 $p_0$ 之间的所有点都落在 $[1/6,1/2]$。单次对数概率的二阶、三阶导数为

因为 $x$ 只能取 $0$ 或 $1$，上述区间上 $|{\ell }_p^{‴}(x)|\le 432$。对每项使用带三阶余项的Taylor 公式公理库泰勒定理Taylor's theorem足够光滑函数由有限阶导数多项式加余项表示。再相加，得到

其中逐项相加的确定性界是

基准分布下 $E{\overline{X}}_n=1/3$、$\mathrm{Var}({\overline{X}}_n)=2/(9n)$。由Chebyshev 不等式公理库Chebyshev 不等式Chebyshev's inequality随机变量偏离均值至少给定距离的概率由方差除以距离平方控制。，${\overline{X}}_n-1/3=O_P(n^{-1/2})$，其中 $O_P$ 表示乘上 $\sqrt{n}$ 后依概率有界。于是把最后两项合成 $r_n(h)$ 后，

至此，线性项、信息二次项和余项三项都已核对，且证明了比固定 $h$ 定义更强的有界区间一致性。对任意固定 $h$，在基准分布下，

这里及下文在 $h=0$ 时把方差为零的正态理解为零点的退化分布。

真参数也随 n 移动时，重新核对概率律 ​

现在固定 $h$，让数据实际来自 $p_n=1/3+h/\sqrt{n}$。似然比仍是同一个函数 $L_n(h)$，但它的抽样分布已经改变。不能仅把基准分布下的余项收敛和中心极限定理原封不动地搬过来。

先将样本和在真正的均值处中心化：$T_n=(S_n-n{p}_n)/\sqrt{n}$。独立性及 Bernoulli 的特征函数公理库特征函数（概率）Characteristic function of a distribution随机变量的复指数矩，也就是概率分布的 Fourier 变换。给出

对固定的 $t$，先展开指数，再在 $1$ 附近取连续的对数分支，有

因 $p_n$ 最终留在 $[1/6,1/2]$，这些余项常数可与 $n$ 无关。乘上 $n$ 后，线性的虚数项被前面的中心化因子消去，故

由特征函数的连续性定理，$T_n\Rightarrow N(0,2/9)$。同时

再看余项：在当前概率律下，$E_{p_n}({\overline{X}}_n-1/3)=h/\sqrt{n}$，${\mathrm{Var}}_{p_n}({\overline{X}}_n)=p_n(1-p_n)/n\le 1/(4n)$。所以 ${\overline{X}}_n-1/3=O_{P_{p_n}^{(n)}}(n^{-1/2})$，同一个 Taylor 余项界直接保证 $r_n(h)\to 0$。这一步是在新概率律下重新证明，没有借用尚未建立的换测度定理。代回展开便得到

两个均值的符号有明确含义：$L_n(h)$ 衡量备择相对基准的证据，数据来自基准时极限偏负，来自该备择时极限偏正；方差在这两个局部极限中相同。

将两个极限放回高斯实验 ​

定义 $Z_n=I^{-1}{\mathrm{\Delta }}_n=\sqrt{n}({\overline{X}}_n-1/3)$。所有系数可以放在同一张表里核对。

对应的高斯实验是 $Z\sim N(h,2/9)$，对数密度比为 $(9/2)hZ-(9/4)h^2$。将表中任一行的 $Z$ 分布代入，都恰好得到右栏。因此终点不仅是“样本比例近似正态”，还包括两种数据生成方式下、同一个局部似然比如何变化。

边界点为何不能套用这套计算 ​

若把基准改成 $p_0=0$，样本全为零的概率为一，而任何正的备择参数都会给含有 $1$ 的样本正概率；备择联合分布不再对基准联合分布绝对连续，上面的似然比前提已经失效。得分中的 $1/p_0$ 也无定义。此处先辨认支持与尺度，比把 $I(p)=1/[p(1-p)]$ 机械代入边界更有意义。

即使参数在内点，也不能仅凭对数似然二阶可微就宣布 LAN：仍须证明归一化一阶项的高斯极限、二阶项的正确极限以及局部余项消失。二次均值可微是建立正则 IID 模型 LAN 的一条常用充分条件；其一般定理比这里的 Bernoulli 直接计算更广，本页不以一次形式 Taylor 展开代替它的假设。

LAN 为渐近效率公理库渐近效率Asymptotic efficiency用估计量的渐近协方差相对于正则模型信息下界衡量其局部大样本精度。提供比较不同估计程序的局部模型。Bernoulli 例中 ${\hat{p}}_n={\overline{X}}_n$ 满足

对每个固定 $h$ 都成立，且极限不随 $h$ 改变。这既检查了该估计量在局部备择下的正则性，也展示其极限方差 $2/9=I^{-1}$。一般模型中，LAN 本身不保证任意估计量有效；信息下界还需要估计量的局部正则性及相应下界定理。

在Bernstein–von Mises 定理公理库Bernstein–von Mises 定理Bernstein–von Mises theorem · Bayesian asymptotic normality正则有限维模型中后验经局部缩放后趋近以有效估计量为中心的信息正态分布。中，同一展开通过完成平方产生局部后验的候选高斯形状：

最后一项与 $h$ 无关，被后验归一化吸收；其余部分的中心是 $I^{-1}{\mathrm{\Delta }}_n$，方差是 $I^{-1}$。要把这个局部形状升级为完整的后验近似，还须保证先验在局部足够平坦，并控制该区域以外的后验质量。LAN 解决局部似然结构，后验集中解决质量会不会逃到远处，两项工作各有作用。