普通最小二乘推断

模型与估计量 ​

设固定设计线性模型公理库线性回归统计模型Linear regression model · Linear model响应的条件均值由设计变量对未知系数线性表示，并显式规定误差结构的统计模型。

$$Y=X\beta +\epsilon ,X\in {\mathbb{R}}^{n\times p},$$

其中 $X$ 满列秩，$E[\epsilon \mid X]=0$，$\mathrm{Cov}(\epsilon \mid X)={\sigma }^2{I}_n$。普通最小二乘估计为

$$\hat{\beta }=(X^{\mathsf{T}}X{)}^{-1}{X}^{\mathsf{T}}Y.$$

代入模型得到精确误差表示

$$\hat{\beta }-\beta =(X^{\mathsf{T}}X{)}^{-1}{X}^{\mathsf{T}}\epsilon ,$$

所以条件于 $X$，

$$E[\hat{\beta }\mid X]=\beta ,\mathrm{Cov}(\hat{\beta }\mid X)={\sigma }^2(X^{\mathsf{T}}X{)}^{-1}.$$

这些有限样本均值、协方差结论不需要误差正态，但需要零条件均值、同方差无相关与满秩。

正态模型下的精确分布 ​

若进一步有 $\epsilon \mid X\sim N_n(0,{\sigma }^{2}I)$，则

$$\hat{\beta }\mid X\sim N_p(\beta ,{\sigma }^2(X^{\mathsf{T}}X{)}^{-1}).$$

残差平方和与方差估计为

$$\mathrm{RSS}=\Vert Y-X\hat{\beta }{\Vert }^2,s^2=\frac{\mathrm{RSS}}{n-p}.$$

正交投影分解给

$$\frac{(n-p)s^2}{{\sigma }^2}\sim {\chi }_{n-p}^2,$$

且 $\hat{\beta }$ 与 $s^2$ 独立。对任意对比向量 $c\in {\mathbb{R}}^p$，

$$t=\frac{c^{\mathsf{T}}\hat{\beta }-c^{\mathsf{T}}\beta }{s\sqrt{c^{\mathsf{T}}(X^{\mathsf{T}}X{)}^{-1}c}}\sim t_{n-p}.$$

因此 $c^T\beta$ 的精确 $1-\alpha$ 区间为估计值加减 $t$ 分位数乘标准误。

F 检验 ​

检验 $q$ 个线性约束

$$H_0:R\beta =r,\mathrm{rank}(R)=q,$$

可用

$$F=\frac{(R\hat{\beta }-r{)}^{\mathsf{T}}[R(X^{\mathsf{T}}X{)}^{-1}{R}^{\mathsf{T}}{]}^{-1}(R\hat{\beta }-r)/q}{s^2}.$$

正态零假设下 $F\sim F_{q,n-p}$。等价地可比较受限与完整模型 RSS 的减少量。$q=1$ 时 $F=t^2$，平方后丢失对比方向但给相同双侧 p 值。

可计算例子 ​

若某系数估计 ${\hat{\beta }}_j=1.20$，标准误 $0.30$，残差自由度 $20$，检验 $H_0:{\beta }_j=0$ 得

$$t=1.20/0.30=4.$$

$t_{0.975,20}\approx 2.086$，故 $95\mathrm{\%}$ 区间为

$$1.20\pm 2.086(0.30)=[0.574,1.826].$$

区间排除零与双侧检验拒绝一致。该数值轨迹依赖报告的标准误确由相同模型、设计与残差自由度计算。

边界与失败情形 ​

异方差下 OLS 在零条件均值时仍可无偏，但 $s^2(X^{T}X{)}^{-1}$ 错误，精确 $t/F$ 分布失效。heteroskedasticity-consistent sandwich 标准误通常只提供渐近校准，并需杠杆修正选择。

误差相关时，应建模协方差或用聚类、HAC 等适合依赖结构的估计；把相关行当独立会低估不确定性。

Gauss–Markov 最优性不需要正态，只在“线性无偏估计量”类中比较协方差；它不能证明普通 t/F 在非正态小样本下精确。

高杠杆、近共线性会放大 $(X^{T}X{)}^{-1}$，即使模型可识别也可能标准误巨大。数据驱动选变量后继续使用未选择模型的普通分布，会忽略选择不确定性。

线性对比的标准误必须传播完整协方差：$c^T\hat{\beta }$ 的方差为 ${\sigma }^2{c}^T(X^{T}X{)}^{-1}c$。把多个系数标准误平方相加只在交叉协方差恰为零时正确；设计列相关通常让这些项不可忽略。

设计不满秩时，广义逆可返回某个最小范数系数解，但不可识别坐标没有唯一分布含义。推断应限制到可估对比，即 $c$ 位于 $X^T$ 的行空间；软件自动选出的别名约束不能替代对目标可识别性的说明。

推论与应用 ​

大样本随机设计下，在适当矩、独立或弱依赖条件下，OLS 可渐近正态并配 sandwich 协方差。有限样本正态模型和渐近稳健模型应明确分开报告。

均值响应区间只含系数估计不确定性；新观测预测区间还要加入 ${\sigma }^2$，因此更宽。

参考资料

• George A. F. Seber and Alan J. Lee, Linear Regression Analysis, 2nd ed., Wiley, 2003，Ch. 2–3。
• C. R. Rao and Helge Toutenburg, Linear Models, 2nd ed., Springer, 1999，Ch. 3。
• Halbert White, “A Heteroskedasticity-Consistent Covariance Matrix Estimator,” Econometrica 48(4), 1980。