形式陈述
设 且
其中箭头表示依分布收敛公理库依分布收敛Convergence in distribution · Weak convergence分布函数在极限分布连续点处收敛的随机变量收敛概念。,。若 在 处 Fréchet 可微,则
特别地,若 具有渐近正态性公理库估计量的渐近正态性Asymptotic normality of estimators估计误差在明确中心、速率与协方差下趋于正态律,以及线性化、标准化和边界失效机制。,即
则
结论是对每个固定参数点的渐近陈述。若 Jacobian 秩不足,极限协方差退化;不能把零矩阵误报为“估计没有误差”。
直觉
一阶推导
由一阶 Taylor 展开公理库多元 Taylor 定理Multivariable Taylor theorem用各阶导数给出多元函数的局部多项式展开及余项控制。,
其中 。分布收敛蕴含 ,因而 依概率,并有
首项由线性连续映射传播 ,余项再由 Slutsky 定理消失。这说明可微性需要统一余项控制,仅有各方向导数不足。
例子与边界
Bernoulli 样本比例满足
取 logit ,导数为 ,故
若 ,logit 估计约 ,估计标准误为
先在 logit 坐标构造区间再反变换,会自然保持概率端点在 内;直接对 做对称区间是另一种渐近近似。
导数退化时
若 ,一阶 Delta 方法只给退化零极限。若标量 二阶可微、 且 ,则二阶展开给
例如 、、,取 ,则
不是 尺度的正态极限。
边界与失败情形
映射在参数点不可微时,普通 Delta 方法失效。 在零点把正态极限变成折叠正态,需要方向可微 Delta 方法。
参数在边界时, 的原始极限本身可能非正态;不能先假定正态再传播。logit 导数在 发散,也提示内部点近似不统一。
plug-in Jacobian 替换 需要导数连续与 一致。数值上导数巨大时,渐近方差会放大,有限样本近似可能很差。
比值给出必须保留协方差的多元例子: 在 时梯度为 。若分子、分母由同一样本估计,渐近方差含交叉协方差;把两个标准误分别相除会漏掉依赖,并可能得到完全错误的尺度。
若映射 随样本量变化,固定函数版本不能直接套用。增长维数、变化截断阈值或正则化强度都要求统一 Taylor 余项;形式上对每个 可微,不保证 倍余项仍依概率消失。
推论与应用
Delta 方法传播比值、对数、风险差和预测函数的标准误。多元情形保留协方差交叉项,不能只逐分量变换方差。
它提供一阶局部近似,不给有限样本偏差;曲率较强时可用二阶修正、Bootstrap公理库BootstrapBootstrap resampling · Nonparametric bootstrap从经验分布重复抽样,以条件重采样分布近似统计量真实抽样分布的方法。或直接枢轴方法核验。
Delta 方差的 plug-in 估计还需要原协方差估计一致。若 有非满秩,输出某些方向没有一阶波动,报告矩阵逆或标准化统计量前应先检查秩;二阶项可能在这些方向上成为主导。
对置信区间,先在线性化坐标构造再反变换,与直接在原坐标使用对称区间通常只首阶等价。有限样本端点、覆盖和不对称性可能不同,应根据参数空间和数值稳定性选择并说明。
参考资料
- A. W. van der Vaart, Asymptotic Statistics, Cambridge University Press, 1998,§3.1。
- R. J. Serfling, Approximation Theorems of Mathematical Statistics, Wiley, 1980,§1.7。
- Thomas S. Ferguson, A Course in Large Sample Theory, Chapman & Hall, 1996,Ch. 2。