返回学习路线

大偏差单元验收题及解答 ​

任务 ​

设 $X_i$ 独立服从 Bernoulli$(p)$，$p=1/3$，$M_n=n^{-1}\sum _i{X}_i$。研究事件 $M_n\ge q$，其中 $q=2/3$。要求从矩母函数得到速率，分别证明开集下界与闭集上界足以确定该尾部指数；再求 $Y_n=M_n^2$ 的速率，最后设计保留似然比的倾斜抽样估计。

速率与上界 ​

对数矩母函数为 $\mathrm{\Lambda }(\theta )=\log (2/3+e^{\theta }/3)$。优化 $\theta x-\mathrm{\Lambda }(\theta )$，得到

$$I(x)=x\log \left(3x\right)+(1-x)\log \frac{3(1-x)}{2},0\le x\le 1,$$

区间外为无穷，并连续补入两个端点。最优参数满足 $e^{{\theta }_x}=2x/(1-x)$；在 $x=q=2/3$ 时，${\theta }_q=\log 4$，

$$I(q)=\frac{2}{3}\log 2+\frac{1}{3}\log \frac{1}{2}=\frac{1}{3}\log 2.$$

独立性给出 $E{e}^{n\theta M_n}=e^{n\mathrm{\Lambda }(\theta )}$。对 $\theta >0$ 用 Markov 界，再取 ${\theta }_q$，得到

$$P(M_n\ge q)\le e^{-nI(q)}.$$

这给闭尾的上界；它还不能独自证明真实指数。

下界及开闭边界核验 ​

取任何 $x\in (q,1)$，再选小 $\delta >0$ 使 $(x-\delta ,x+\delta )\subset (q,1)$。改在 IID Bernoulli$(x)$ 分布下抽样，记该概率为 $Q_x$。似然比为

$$\frac{dP}{d{Q}_x}=\exp [-n{\theta }_x{M}_n+n\mathrm{\Lambda }({\theta }_x)].$$

在 $|M_n-x|<\delta$ 上，该比值至少为 $e^{-n(I(x)+|{\theta }_x|\delta )}$，而该事件在 $Q_x$ 下概率趋于一。因此

$$\underset{n}{lim inf}{n}^{-1}\log P(M_n>q)\ge -I(x)-|{\theta }_x|\delta .$$

先令 $\delta \downarrow 0$，再令 $x\downarrow q$，由连续性得到下界 $-I(q)$。结合闭尾上界和事件包含，结论为

$$\underset{n}{lim}\frac{1}{n}\log P(M_n\ge 2/3)=-\frac{1}{3}\log 2.$$

证明使用了开区间，避开了 $nq$ 不为整数时单点不可实现的问题。它没有声称概率恰等于 $2^{-n/3}$，也没有计算前因子。

平方统计量 ​

映射 $x\mapsto x^2$ 连续。由于 $M_n\in [0,1]$，每个 $y\in [0,1]$ 的有限成本原像只有 $\sqrt{y}$，故

$$J(y)=I(\sqrt{y}),y\in [0,1];J(y)=\mathrm{\infty }\text{ 在区间外}.$$

于是 $Y_n\ge 4/9$ 恰等价于 $M_n\ge 2/3$，最小成本仍为 $I(2/3)$。若原变量可正可负，就必须比较正负两个平方根，不能沿用这里的单原像结论。

倾斜抽样及验收 ​

在 $Q_q$ 下独立生成 Bernoulli$(2/3)$ 样本，单次无偏估计量为

$$H_n={\mathbf{1}}_{\{M_n\ge 2/3\}}\prod _{i=1}^n{\left(\frac{1/3}{2/3}\right)}^{X_i}{\left(\frac{2/3}{1/3}\right)}^{1-X_i}={\mathbf{1}}_{\{M_n\ge 2/3\}}{2}^{n-2\sum _i{X}_i}.$$

换测度恒等式给出 $E_{Q_q}{H}_n=P(M_n\ge 2/3)$。多次独立重复后取均值即可估计原概率。计算应累加对数权重避免数值下溢；若丢弃权重，估计的会是 $Q_q$ 下的事件概率。倾斜让目标附近变常见，但效率仍需通过二阶矩或实际方差检验，不能仅由无偏性宣布效率最优。

通过标准是：正确给出有限矩母函数域；推导而非背写相对熵；下界明确新测度及似然比；说明开闭集边界为何合拢；平方收缩检查全部可行原像；估计量保留权重且解释无偏性。Bernoulli 的矩母函数在整条实轴有限；若换成指数变量，只能在其有限域内倾斜；重尾模型则可能不满足 Cramér 条件。