广义矩估计

形式陈述 ​

两项未知参数可能有三项可测的平均关系。总体中三项关系可以同时成立，样本中却会因抽样波动而互相冲突。矩估计理路矩估计Method of moments estimation通过令样本矩等于模型理论矩并求解参数而构造估计量的方法。已经说明怎样把理论平均换成样本平均；广义矩估计接着回答：无法同时归零时，怎样衡量这些偏差，怎样确定系数的波动，剩下的偏差又能检验什么？

输入矩、参数和权重 ​

设观测 $T_1,\dots ,T_n$ 独立同分布，参数 $\theta \in \mathrm{\Theta }\subset {\mathbb{R}}^p$，已指定矩函数 $g(T,\theta )\in {\mathbb{R}}^q$，$q\ge p\ge 1$。记

权重 $W_n$ 是由整份资料决定的对称正定理路正定与半正定矩阵Positive definite matrix · Positive semidefinite matrix · PSD matrix由二次能量严格为正或非负定义的实对称与复 Hermitian 矩阵。 $q\times q$ 矩阵；在一次最小化中，它不随候选 $\theta$ 改变。准则与估计为

多解时须规定可测选择，近似求解时须报告准则差。本构造是M-估计理路M-估计M-estimation · M-estimator通过随机准则的精确或近似极值选择参数，并把样本准则与总体识别目标分开。：准则先取样本平均再平方，一般并不是逐条观测损失的平均。$q>p$称过度识别的矩系统，但仅数方程个数不能证明参数真的可识别。

一套固定维的大样本条件 ​

下面给出足以逐项核对的一组条件，$p,q$与总体分布均固定。

1. $\mathrm{\Theta }$紧，${\theta }_0$在其内部。$\mu$连续，且$\mu (\theta )=0$在$\mathrm{\Theta }$内只有${\theta }_0$；$W_n{\to }_{P}W$，$W$正定。样本矩满足$\underset{\mathrm{\Theta }}{sup}\Vert {\overline{g}}_n-\mu \Vert {\to }_{P}0$。
2. 返回点在$\mathrm{\Theta }$内，且$Q_n({\hat{\theta }}_n)\le \underset{\mathrm{\Theta }}{inf}{Q}_n+o_P(1)$。这负责全局定位，不能用“小梯度”替代。
3. 在真值附近的一个开球，$g(T,\theta )$几乎处处连续可微。样本Jacobian $D_n(\theta )={\partial }_{\theta }{\overline{g}}_n(\theta )$一致趋于连续函数$D(\theta )={\partial }_{\theta }\mu (\theta )$。$D=D({\theta }_0)$满列秩。返回点还满足

4. $E\Vert g(T,{\theta }_0){\Vert }^2<\mathrm{\infty }$，且$\mathrm{\Sigma }=E[g(T,{\theta }_0)g(T,{\theta }_0{)}^{\mathsf{T}}]$正定。

式(2)是数值误差相对于统计尺度的条件；精确内部极小点自动满足零残差。固定的机器容差只描述一次计算，不能单独保证沿$n\to \mathrm{\infty }$的式(2)。

一致逼近并非无法检查的黑箱。例如在紧凸$\mathrm{\Theta }$上，矩函数有可积锚点和共同可积随机Lipschitz界时，逐分量应用参数化一致大数律理路参数化一致大数律Parametric uniform law of large numbers用紧参数集和可积随机 Lipschitz 界，把逐点大数律提升为同一样本上的全参数控制。得到条件1。对导数再提供可积锚点与共同可积Lipschitz界，并用可积导数包络允许交换微分和期望，便得到条件3的Jacobian一致收敛。原矩可积并不会自动让其导数也可积。

从定位到线性表示 ​

连续$\mu$在紧集上有界，所以条件1给出$\underset{\mathrm{\Theta }}{sup}|Q_n-Q|{\to }_{P}0$，其中$Q={\mu }^{\mathsf{T}}W\mu$。$W$正定和唯一零点使$Q$的极小点分离。Argmin一致性定理理路Argmin 一致性定理Argmin consistency theorem用总体分离、随机一致逼近和近似求解容差，把样本准则的极小点定位到总体目标。因此给出${\hat{\theta }}_n{\to }_P{\theta }_0$。

令${\mathrm{\Delta }}_n={\hat{\theta }}_n-{\theta }_0$。在概率趋于一的事件上，连接两点的线段位于局部开球内。沿该线段积分得

将这个精确等式代入式(2)。矩阵$D_n({\hat{\theta }}_n{)}^{\mathsf{T}}{W}_n{\tilde{D}}_n$趋于可逆的$D^{\mathsf{T}}WD$，故

这里先解方程才得到根号$n$速率，没有预先假定该速率以抹掉余项。由有限维中心极限定理理路中心极限定理Central limit theorem适当归一化的独立随机变量和在分布上趋于正态分布。，

这里的箭头是分布收敛理路依分布收敛Convergence in distribution · Weak convergence分布函数在极限分布连续点处收敛的随机变量收敛概念。，极限为$p$维多元正态分布理路多元正态分布Multivariate normal distribution · Multivariate Gaussian distribution · Jointly Gaussian vector以所有线性组合都正态刻画联合高斯向量，并由特征函数连接线性构造、退化支撑、全维密度与条件分布。，不要求原观测本身服从正态。

为什么逆协方差是有效权重 ​

取$W_{\ast }={\mathrm{\Sigma }}^{-1}$，记$A_{\ast }=A_{W_{\ast }}$，则$V_{\ast }=(D^{\mathsf{T}}{\mathrm{\Sigma }}^{-1}D{)}^{-1}$。对任意上述正定$W$，有$A_{W}D=A_{\ast }D=I_p$。又有$A_{\ast }\mathrm{\Sigma }=V_{\ast }{D}^{\mathsf{T}}$，因此两个交叉项消失：

这比较同一组矩、同一个正则总体下的渐近协方差。它不声称增加错误矩仍有效，也不声称有限样本的估计误差每次更小；若使用更多模型信息，还可能获得本矩系统之外的估计方法。

实践中先用固定正定权重得到一致初值${\tilde{\theta }}_n$，再算

并重新最小化。需要另证${\hat{\mathrm{\Sigma }}}_n{\to }_P\mathrm{\Sigma }$。一个充分条件是局部$\Vert g(T,b)-g(T,c)\Vert \le L(T)\Vert b-c\Vert$且$E{L}^2<\mathrm{\infty }$；外积差平均由$2d{P}_n[L\Vert g_0\Vert ]+d^2{P}_n{L}^2$控制，其中$d=\Vert {\tilde{\theta }}_n-{\theta }_0\Vert$。有限二阶矩与Cauchy–Schwarz使这个界趋零。若样本矩阵仍奇异，应报告失败；渐近正定不等于每份小样本都能求逆。

剩余方向的J统计量 ​

当第二步使用$W_n={\hat{\mathrm{\Sigma }}}_n^{-1}{\to }_P{\mathrm{\Sigma }}^{-1}$时，定义

令$B={\mathrm{\Sigma }}^{-1/2}D$，$P=B(B^{\mathsf{T}}B{)}^{-1}{B}^{\mathsf{T}}$。它是秩$p$的正交投影理路正交投影Orthogonal projection把向量映到子空间上最近点并使误差与子空间正交的线性算子。。由式(3)和矩的积分展开，白化后的拟合残差满足

右边的极限是标准高斯向量在$q-p$维正交补中的投影。取正交规范基后，平方范数就是$q-p$个独立标准正态平方之和。因此$q>p$时$J_n\Rightarrow {\chi }_{q-p}^2$；$q=p$时$J_n{\to }_{P}0$，没有剩余方向可作这项检验。任意权重下的最小准则值不能直接乘$n$就按同一自由度查表。