广义线性模型

模型 ​

给定设计矩阵 $X=(x_1^{\mathsf{T}},\dots ,x_n^{\mathsf{T}}{)}^{\mathsf{T}}$ 后，GLM 假设响应 $Y_1,\dots ,Y_n$ 条件独立；若协变量本身随机，以下陈述都理解为条件于 $X$。每个 $Y_i$ 来自指数离散族

$$p(y_i\mid {\theta }_i,\varphi )=\exp \{[y_i{\theta }_i-b({\theta }_i)]/a(\varphi )+c(y_i,\varphi )\}.$$

其均值 ${\mu }_i=b^{\prime }({\theta }_i)$、方差 $a(\varphi )b^{″}({\theta }_i)$。GLM 指定线性预测子

$${\eta }_i=x_i^T\beta$$

和单调可逆 link

$$g({\mu }_i)={\eta }_i.$$

canonical link 令 ${\eta }_i={\theta }_i$，但非 canonical link 也合法。

例子 ​

Bernoulli 回归用 logit link：

$$\log \frac{p_i}{1-p_i}=x_i^T\beta .$$

Poisson 回归常用 log link：$\log {\mu }_i=x_i^T\beta$，保证预测均值为正。Gaussian identity link 退化为线性模型公理库线性回归统计模型Linear regression model · Linear model响应的条件均值由设计变量对未知系数线性表示，并显式规定误差结构的统计模型。。

似然、score 与 IRLS ​

条件均值与方差写成

$$E(Y_i\mid x_i)={\mu }_i,\mathrm{Var}(Y_i\mid x_i)=a(\varphi )V({\mu }_i).$$

若 $d_i=d{\mu }_i/d{\eta }_i$，score 可写为

$$U(\beta )=X^{\mathsf{T}}\mathrm{diag}\left(\frac{d_i}{a(\varphi )V({\mu }_i)}\right)(Y-\mu ).$$

Fisher scoring 在第 $r$ 步构造工作响应

$$z_i^{(r)}={\eta }_i^{(r)}+\frac{Y_i-{\mu }_i^{(r)}}{d_i^{(r)}}$$

和权重 $w_i=d_i^2/[a(\varphi )V({\mu }_i)]$，再做 weighted least squares。IRLS 是优化 likelihood 的局部二次算法，不是新的抽样模型。

估计 ​

MLE score 可写成加权残差和，Newton/Fisher scoring 产生 iteratively reweighted least squares。每一步用当前均值更新工作响应和权重，再解加权最小二乘；收敛只证明数值驻点，仍需检查分离、边界与 rank。

Poisson log-link 中 ${\mu }_i=e^{x_i^T\beta }$、$V(\mu )=\mu$，canonical score 简化为 $X^T(Y-\mu )$。一个二元暴露系数 ${\beta }_1$ 的 $e^{{\beta }_1}$ 解释为条件 rate ratio，而非均值的加性差。

边界 ​

线性的是 link 后均值对参数的关系，不是响应必正态或方差恒定。Poisson 的方差等于均值是模型假设；overdispersion 会让常规标准误过小。

logistic 完全分离时有限 MLE 不存在。把大系数当收敛结果会错误；惩罚似然改变估计目标。

binomial overdispersion、Poisson overdispersion 会破坏模型方差。quasi-likelihood 可保留均值 link 并估计 dispersion，但不再有完整概率 likelihood，LR/AIC 解释也相应变化。

响应独立性若因重复测量失效，GEE 或混合模型处理不同相关目标。sandwich 标准误只在簇数等渐近条件下有效，不能让错误 link 变正确。

link 误设、遗漏非线性和相关观测会破坏均值或方差结构。robust sandwich 只能修正某些方差误设，不能恢复错误条件均值的参数解释。

deviance 定义为拟合模型与 saturated model 的两倍 log-likelihood 差。嵌套 GLM 的 deviance 差在正则大样本下近似卡方；单个模型 residual deviance 作为 GOF 统计量时，还需类别稀疏度与 dispersion 条件。

Pearson residual $(Y_i-{\hat{\mu }}_i)/\sqrt{V({\hat{\mu }}_i)}$ 与 deviance residual 强调不同尾部。高 leverage 点的 raw residual 可能小，因为它强烈影响自身拟合；诊断要结合 hat values 与 Cook-type influence。

offset 是系数固定为一的预测项，例如 Poisson rate model 用 $\log exposur{e}_i$ offset：

$$\log E(Y_i\mid x_i)=\log exposur{e}_i+x_i^T\beta .$$

遗漏 offset 会把观察时间差异误作协变量效应。

quasi-binomial 或 quasi-Poisson 只指定均值—方差关系，没有完整 likelihood；可估系数与 sandwich/dispersion 标准误，却不能原样使用 likelihood ratio、AIC 或概率预测。

对稀有事件 logistic，分离和小样本 bias 常严重。Firth penalty 改善 bias 与存在性，但输出是 penalized likelihood estimator，不能继续声称普通 MLE 有限样本性质。

参考资料

• Peter McCullagh and John Nelder, Generalized Linear Models, 2nd ed., Chapman & Hall, 1989。
• Annette Dobson and Adrian Barnett, An Introduction to Generalized Linear Models, 4th ed., CRC, 2018。
• Fahrmeir et al., Regression, Springer, 2013，GLM chapters。