普通最小二乘推断 | Codeboy's Blog

形式陈述

Y=X\beta+\varepsilon, \qquad X\in\mathbb R^{n\times p},

其中 $X$ 满列秩， $E[\varepsilon\mid X]=0$ ， $\operatorname{Cov}(\varepsilon\mid X)=\sigma^2I_n$ 。由最小二乘与正规方程得到

\widehat\beta=(X^{\mathsf T}X)^{-1}X^{\mathsf T}Y.

代入模型得到精确误差表示

\widehat\beta-\beta =(X^{\mathsf T}X)^{-1}X^{\mathsf T}\varepsilon,

所以条件于 $X$ ，

E[\widehat\beta\mid X]=\beta, \qquad \operatorname{Cov}(\widehat\beta\mid X) =\sigma^2(X^{\mathsf T}X)^{-1}.

这些有限样本均值、协方差结论不需要误差正态，但需要零条件均值、同方差无相关与满秩。

若进一步有 $\varepsilon\mid X\sim N_n(0,\sigma^2I)$ ，则

\widehat\beta\mid X \sim N_p\left(\beta,\sigma^2(X^{\mathsf T}X)^{-1}\right).

残差平方和与方差估计为

\mathrm{RSS}=\|Y-X\widehat\beta\|^2, \qquad s^2=\frac{\mathrm{RSS}}{n-p}.

正交投影分解给

\frac{(n-p)s^2}{\sigma^2}\sim\chi_{n-p}^2,

且 $\widehat\beta$ 与 $s^2$ 独立。对任意对比向量 $c\in\mathbb R^p$ ，

t=\frac{c^{\mathsf T}\widehat\beta-c^{\mathsf T}\beta} {s\sqrt{c^{\mathsf T}(X^{\mathsf T}X)^{-1}c}} \sim t_{n-p}.

因此 $c^T\beta$ 的精确 $1-\alpha$ 区间为估计值加减 $t$ 分位数乘标准误。

检验 $q$ 个线性约束

H_0:R\beta=r, \qquad\operatorname{rank}(R)=q,

可用

F= \frac{(R\widehat\beta-r)^{\mathsf T} [R(X^{\mathsf T}X)^{-1}R^{\mathsf T}]^{-1} (R\widehat\beta-r)/q}{s^2}.

正态零假设下 $F\sim F_{q,n-p}$ 。等价地可比较受限与完整模型 RSS 的减少量。 $q=1$ 时 $F=t^2$ ，平方后丢失对比方向但给相同双侧 p 值。

直觉

OLS 推断把几何投影与概率校准叠在一起：最小二乘先把响应分解为拟合分量和正交残差，正态同方差模型再让系数方向与残差尺度具有可计算的独立分布。投影恒等式本身并不自动提供 t/F 校准；后者依赖设计秩、误差结构和方差估计。

例子与边界

若某系数估计 $\widehat\beta_j=1.20$ ，标准误 $0.30$ ，残差自由度 $20$ ，检验 $H_0:\beta_j=0$ 得

t=1.20/0.30=4.

$t_{0.975,20}\approx2.086$ ，故 $95\%$ 区间为

1.20\pm2.086(0.30)=[0.574,1.826].

区间排除零与双侧检验拒绝一致。该数值轨迹依赖报告的标准误确由相同模型、设计与残差自由度计算。

异方差下 OLS 在零条件均值时仍可无偏，但 $s^2(X^TX)^{-1}$ 错误，精确 $t/F$ 分布失效。heteroskedasticity-consistent sandwich 标准误通常只提供渐近校准，并需杠杆修正选择。

误差相关时，应建模协方差或用聚类、HAC 等适合依赖结构的估计；把相关行当独立会低估不确定性。

Gauss–Markov 最优性不需要正态，只在“线性无偏估计量”类中比较协方差；它不能证明普通 t/F 在非正态小样本下精确。

高杠杆、近共线性会放大 $(X^TX)^{-1}$ ，即使模型可识别也可能标准误巨大。数据驱动选变量后继续使用未选择模型的普通分布，会忽略选择不确定性。

线性对比的标准误必须传播完整协方差： $c^T\widehat\beta$ 的方差为 $\sigma^2c^T(X^TX)^{-1}c$ 。把多个系数标准误平方相加只在交叉协方差恰为零时正确；设计列相关通常让这些项不可忽略。

设计不满秩时，广义逆可返回某个最小范数系数解，但不可识别坐标没有唯一分布含义。推断应限制到可估对比，即 $c$ 位于 $X^T$ 的行空间；软件自动选出的别名约束不能替代对目标可识别性的说明。

推论与应用

大样本随机设计下，在适当矩、独立或弱依赖条件下，OLS 可渐近正态并配 sandwich 协方差。有限样本正态模型用Student t 分布和F 分布校准；渐近稳健模型应与它明确分开报告。

均值响应区间只含系数估计不确定性；新观测预测区间还要加入 $\sigma^2$ ，因此更宽。

参考资料

George A. F. Seber and Alan J. Lee, Linear Regression Analysis, 2nd ed., Wiley, 2003，Ch. 2–3。
C. R. Rao and Helge Toutenburg, Linear Models, 2nd ed., Springer, 1999，Ch. 3。
Halbert White, “A Heteroskedasticity-Consistent Covariance Matrix Estimator,” Econometrica 48(4), 1980。