两阶段最小二乘

形式陈述 ​

一个解释变量可能同时受到未观测结果原因的影响。例如价格和销量共同响应需求冲击，此时把销量直接对价格回归，未必能得到结构需求斜率。两阶段最小二乘先从解释变量中提取工具能够线性预测的部分，再用这部分变化拟合结果。计算上的两次最小二乘理路最小二乘与正规方程Least squares · Normal equations将目标向量正交投影到矩阵列空间，并以残差正交条件导出正规方程。有明确闭式；工具为什么可信，则仍需另给模型依据。

确定资料上的算法定义 ​

给定$Y\in {\mathbb{R}}^n$、结构设计$X\in {\mathbb{R}}^{n\times p}$与工具设计$Z\in {\mathbb{R}}^{n\times q}$。以下要求$q\ge p\ge 1$、$\mathrm{rank}Z=q$以及$\mathrm{rank}(Z^{\mathsf{T}}X)=p$。需要截距时应明确放进设计；算法不会偷偷中心化资料。

第一阶段把$X$的每一列对同一个$Z$回归，得到

第二阶段把$Y$对$\hat{X}$回归。由投影理路正交投影Orthogonal projection把向量映到子空间上最近点并使误差与子空间正交的线性算子。的对称与幂等性，

秩条件保证$\hat{X}$满列秩，因而系数唯一。式(1)也唯一最小化

这拟合的是结构残差在工具空间中的分量；剩余正交分量不在该准则内。若$q=p$，方阵$Z^{\mathsf{T}}X$可逆，式(1)简化为$(Z^{\mathsf{T}}X{)}^{-1}{Z}^{\mathsf{T}}Y$，使全部样本工具矩归零。$q>p$时通常只能使它们的加权组合归零。

结构矩模型与渐近协方差 ​

现在另外规定抽样模型。行资料$(Y_i,X_i,Z_i)$独立同分布，固定$p,q$，其中$X_i\in {\mathbb{R}}^p$、$Z_i\in {\mathbb{R}}^q$是列向量，

允许$E(X_i{u}_i)\ne 0$，也不要求$E(u_i\mid X_i)=0$。因此这里的结构方程不能不加条件地当成普通回归的条件均值模型。工具条件只是已声明的矩限制，不能由数据里有一列名为“工具”的变量获得。

令$Q_{ZZ}=E(Z_i{Z}_i^{\mathsf{T}})$正定理路正定与半正定矩阵Positive definite matrix · Positive semidefinite matrix · PSD matrix由二次能量严格为正或非负定义的实对称与复 Hermitian 矩阵。，$Q_{ZX}=E(Z_i{X}_i^{\mathsf{T}})$满列秩。要求这些矩有限，$\mathrm{\Omega }=E(Z_i{Z}_i^{\mathsf{T}}{u}_i^2)$有限；为直接保证下述协方差插件一致，再要求$E(\Vert Z_i{\Vert }^2\Vert X_i{\Vert }^2)<\mathrm{\infty }$。记

在秩失败的有限样本上任意定义一个有限延拓，可使估计成为随机序列；实际程序仍应报告该失败，不能当作有效估计。由于样本矩阵趋于上述满秩极限，失败概率趋零，并且

这是一条分布收敛理路依分布收敛Convergence in distribution · Weak convergence分布函数在极限分布连续点处收敛的随机变量收敛概念。结论，极限为$p$维多元正态分布理路多元正态分布Multivariate normal distribution · Multivariate Gaussian distribution · Jointly Gaussian vector以所有线性组合都正态刻画联合高斯向量，并由特征函数连接线性构造、退化支撑、全维密度与条件分布。；不把有限样本系数的分布同时断言为正态。

证明可以直接使用线性GMM理路广义矩估计Generalized method of moments · GMM · 广义矩方法在多于参数的矩约束之间作有尺度的最小距离折中，证明权重效率并用剩余投影方向构造过度识别检验。。取$g_i(b)=Z_i(Y_i-X_i^{\mathsf{T}}b)$以及$W_n=(Z^{\mathsf{T}}Z/n{)}^{-1}$，则GMM准则恰为式(2)除以$n$；两者在每份合法资料上相同。具体地，若$A_n$由相应样本平均代入$A$，就有精确等式

大数律使$A_n{\to }_{P}A$，工具矩的有限二阶矩给中心极限定理，便得到式(4)。这个线性证明无需先把参数域压到紧集。

标准误要回到原结构残差 ​

计算${\hat{u}}_i=Y_i-X_i^{\mathsf{T}}\hat{\beta }$，令$B_n=X^{\mathsf{T}}{P}_{Z}X$。按求和约定，HC0型夹心协方差理路Sandwich 协方差估计Sandwich covariance estimation从得分与敏感度的样本矩阵算出可复核的协方差、对比标准误和异方差稳健推断。为

它估计$\hat{\beta }$的协方差，已经含有$1/n$尺度，不能再除一次$n$。等价地，用第一阶段拟合行${\hat{X}}_i$写作$B_n^{-1}\sum _i{\hat{X}}_i{\hat{X}}_i^{\mathsf{T}}{\hat{u}}_i^2{B}_n^{-1}$。

插件一致性仍要处理拟合参数。写$d=\Vert \hat{\beta }-{\beta }_0\Vert$，则中间矩阵除以$n$后与真误差版本的差，范数不超过

由给出的矩条件和Cauchy–Schwarz，两项平均稳定，$d{\to }_{P}0$，故差趋零。因此$n\hat{C}{\to }_{P}A\mathrm{\Omega }{A}^{\mathsf{T}}$；具有正极限方差的预定线性对比可渐近学生化。

第二阶段软件默认使用的残差却是

后项是未被工具预测的结构信号，不是原模型的误差。仅把两阶段软件打印的普通标准误抄下来，通常并不等于式(5)。