估计方程与 Z 估计 | Codeboy's Blog

形式陈述

给定参数空间 $\Theta\subset\mathbb R^p$ 与随机向量函数 $\Psi_n:\Theta\to\mathbb R^p$ 。Z-估计量是估计方程 $\Psi_n(\theta)=0$ 的一个可测选择。更贴近数值执行的定义允许近似根：算法返回 $\widehat\theta_n$ ，并报告

s_n=\|\Psi_n(\widehat\theta_n)\|.

当不存在精确根时，近似根仍可能存在。反过来，残差很小不自动保证参数误差很小。必须说明方程的单位、缩放和根选择规则；将整条方程乘以很小的常数能随意缩小裸残差，却不改善估计结果。

IID 的常见形式是

\Psi_n(\theta)=\frac1n\sum_{i=1}^n\psi(X_i,\theta),\qquad\Psi(\theta)=E\psi(X,\theta).

这里 $\psi$ 的维数等于参数维数；过度识别的矩条件通常需要额外的加权准则，不属于本页直接求方阵根的接口。目标 $\theta_0$ 满足 $\Psi(\theta_0)=0$ 。

一致定位：残差必须指向正确的根

假定所有相关量可测，且

\sup_{\theta\in\Theta}\|\Psi_n(\theta)-\Psi(\theta)\|\to_P0, \qquad \forall\varepsilon>0:\quad \inf_{\|\theta-\theta_0\|\ge\varepsilon}\|\Psi(\theta)\|>0.

若 $s_n=o_P(1)$ ，则 $\widehat\theta_n\to_P\theta_0$ 。证明只需三角不等式： $\|\Psi(\widehat\theta_n)\|\le\sup_\Theta\|\Psi_n-\Psi\|+s_n=o_P(1)$ ；离 $\theta_0$ 至少 $\varepsilon$ 的事件要求左侧超过一个固定正数，其概率必趋零。这个结论按依概率收敛理解。

若总体有多个根，可以把参数集限制到一个预先定义、已证明能定位的区域；只在该区域验证分离。由数据随意挑一个看起来不错的根，再宣称它满足某个目标根的局部定理，会漏掉最关键的一步。

光滑情形的一阶分布

下面在上述 $\Psi_n=P_n\psi$ 、 $\Psi=P\psi$ 的 IID 平均设定下，给一组较强但能直接检查的充分条件。固定 $p$ ， $X_i$ IID， $\theta_0$ 是参数空间内点， $\widehat\theta_n\to_P\theta_0$ 。在含 $\theta_0$ 的一个开球 $U$ 上，假设样本函数 $\Psi_n$ 几乎必然连续可微，确定函数 $\Psi$ 连续可微，并且

\sup_{\theta\in U}\|D\Psi_n(\theta)-D\Psi(\theta)\|\to_P0.

此外要求 $A=D\Psi(\theta_0)$ 可逆， $E\psi(X,\theta_0)=0$ ， $E\|\psi(X,\theta_0)\|^2<\infty$ ，且 $s_n=o_P(n^{-1/2})$ 。记 $B=E[\psi(X,\theta_0)\psi(X,\theta_0)^{\mathsf T}]$ 。则

\sqrt n(\widehat\theta_n-\theta_0) =-A^{-1}\frac1{\sqrt n}\sum_{i=1}^n\psi(X_i,\theta_0)+o_P(1) \Rightarrow N_p(0,A^{-1}BA^{-\mathsf T}).

$B$ 允许半正定；只有所报对比的渐近方差严格为正时，才可用通常的正态学生化。以上条件排除了非光滑得分；它不是所有 Z-估计量的定义限制。

证明：使用积分 Jacobian，而非虚构共同中间点

在连接 $\theta_0$ 与 $\widehat\theta_n$ 的线段落入 $U$ 的事件上，令

J_n=\int_0^1D\Psi_n\{\theta_0+t(\widehat\theta_n-\theta_0)\}\,dt.

微积分基本定理逐分量给出精确等式

\Psi_n(\widehat\theta_n)=\Psi_n(\theta_0)+J_n(\widehat\theta_n-\theta_0).

一致定位、导数的一致逼近和 $D\Psi$ 在 $\theta_0$ 连续共同推出 $J_n\to_PA$ 。故 $J_n$ 以趋于一的概率可逆，且 $J_n^{-1}\to_PA^{-1}$ 。乘以 $\sqrt n$ 并移项：

\sqrt n(\widehat\theta_n-\theta_0)=J_n^{-1}\{\sqrt n\Psi_n(\widehat\theta_n)-\sqrt n\Psi_n(\theta_0)\}.

第一项由求解残差条件消失，第二项先对每个固定线性投影应用有限方差的一元中心极限定理，再由 Cramér–Wold 判据合并为多元极限，并用Slutsky 定理得到上述展开。向量值函数一般没有一个对所有分量同时有效的均值定理中间点；积分形式避免了这个漏洞，也没有预先假设待证的根号样本量收敛率。

直觉

估计方程把每条观测对参数的推力相加，希望平均推力为零。矩阵 $A$ 衡量参数移动后平均推力如何改变， $B$ 衡量真目标处推力的随机波动。小残差要经过 $A^{-1}$ 才变成参数误差：恢复力弱的方向会把同样的随机或数值误差放大。

例子与边界

非梯度向量方程仍能定义估计量

观察二维 $X=(X_1,X_2)$ ，令

\psi(X,\theta)=\begin{pmatrix}\theta_1+\theta_2-X_1\\\theta_2-X_2\end{pmatrix}.

其 Jacobian 为 $A=\begin{pmatrix}1&1\\0&1\end{pmatrix}$ ，不是对称矩阵，故它不可能在开集上等于某个二阶连续可微标量目标的梯度。然而方程有唯一显式解

\widehat\theta_2=\bar X_2,\qquad\widehat\theta_1=\bar X_1-\bar X_2.

例如三条观测为 $(1,0),(2,1),(6,2)$ ，解为 $(2,1)$ 。若两坐标独立且方差各为1，则 $B=I_2$ ，参数的渐近协方差为 $\begin{pmatrix}2&-1\\-1&1\end{pmatrix}$ 。可以另造 $\|\Psi_n(\theta)\|^2$ 来求根，但这不把原向量场变成某个原有标量损失的梯度。

真正的根也可以是极大点

标量准则 $M(\theta)=(\theta^2-1)^2$ 的导数为 $4\theta(\theta^2-1)$ 。三个真根是 $-1,0,1$ ； $M''(0)=-4$ ，故零点是严格局部极大点，另外两点是全局极小点。这是 Z 求根与M 极小化的实际辨析：残差恰为零，仍没有解决想求的优化问题。

再令 $\Psi_n(\theta)=\theta^2-\bar X$ ， $X_i$ 独立同分布于 $\mathrm{Uniform}[1/2,3/2]$ ，总体均值为1。每份样本都有两个不同的实根 $\pm\sqrt{\bar X}$ 。若目标规定为正根，算法必须有选择正根的规则；如果每次抛公平硬币选符号，残差恒为零却不能对 $+1$ 一致。

近似根能保留一阶偏移

取 $\Psi_n(\theta)=\theta-\bar X$ ， $EX=\mu$ 、 $\operatorname{Var}(X)=1$ 。返回 $\widehat\theta_n=\bar X+c/\sqrt n$ 时，残差趋零，故它仍一致；但

\sqrt n(\widehat\theta_n-\mu)\Rightarrow N(c,1).

要保留中心为零的极限，残差需要 $o_P(n^{-1/2})$ ，不能只要求 $O_P(n^{-1/2})$ 。若 $A$ 奇异，则连解出一阶参数误差的步骤都不成立，必须重做识别和速率分析。

这未必表示不可识别。令 $X_i\sim N(0,1)$ ， $\Psi_n(\theta)=\theta^3-\bar X$ ，总体唯一根仍为零；精确根 $\widehat\theta_n=\sqrt[3]{\bar X}$ 也一致。然而 $A=0$ ，并且 $n^{1/6}\widehat\theta_n=\sqrt[3]{\sqrt n\bar X}$ 的分布是标准正态变量的实立方根，既不是正态也不是根号样本量尺度。这一例将“导数奇异”与“总体多根”分开。

推论与应用

本页把“一致定位”和“局部线性化”拆成两项明确责任。计算实际标准误还要一致估计 $A$ 和 $B$ ，由sandwich 协方差估计接手。求解器的停止残差如何按样本量和识别强弱缩放，见统计与数值误差预算。

自测与答案

将非梯度例的第一条方程乘10，估计量与正确 sandwich 协方差是否改变？答案：都不改变。若 $C=\operatorname{diag}(10,1)$ ，则 $A$ 变为 $CA$ 、 $B$ 变为 $CBC^{\mathsf T}$ ，夹乘后抵消；裸残差的数值会改变。
已有 $s_n=o_P(n^{-1/2})$ 、 $A$ 可逆，但没有一致定位，能否使用局部正态结论？答案：不能。多根例可以总选负根，远离正在展开的正根；局部导数条件无法约束那里。

参考资料

Peter Bartlett，Theoretical Statistics, Lecture 15，2013，第3页、第9页：Z-估计定义及一致性条件。
Peter Bartlett，Lecture 16，2013，第13页：一维光滑 Z-估计渐近正态。本文另给固定维向量、统一 Jacobian 条件下的完整积分证明，未把一维的中间点写法直接推广到向量。
Norman E. Breslow、Jie Hu、Jon A. Wellner，Z-estimation and stratified samples: application to survival models，2015，§2、Theorem 1：更一般的局部经验过程版本；本页不调用其较弱的非光滑条件。

形式陈述 ​

一致定位：残差必须指向正确的根 ​

光滑情形的一阶分布 ​

证明：使用积分 Jacobian，而非虚构共同中间点 ​

非梯度向量方程仍能定义估计量 ​

真正的根也可以是极大点 ​

近似根能保留一阶偏移 ​

自测与答案 ​

反向链接