广义线性模型

GLM 把三层职责分开：指数族规定响应噪声，线性预测子把协变量压成一个标量，链接函数再把该标量连接到条件均值。这样既保留线性模型的可解释方向，又不强迫二元、计数或正值响应服从同方差正态噪声。

Bernoulli 回归用 logit link：

Poisson 回归常用 log link：$\log {\mu }_i=x_i^T\beta$，保证预测均值为正。独立同方差 Gaussian 响应配恒等链接，得到正态线性模型理路线性回归统计模型Linear regression model · Linear model响应的条件均值由设计变量对未知系数线性表示，并显式规定误差结构的统计模型。。一般线性模型直接要求均值为 $X\beta$，却允许非 Gaussian 或相关误差；一般 GLM 的均值为 $g^{-1}(X\beta )$，并在本页假定条件独立的指数族响应。二者共享一个重要交集，不能仅凭名称把任一整类当成另一类。

似然、Score 与 IRLS ​

条件均值与方差写成

以下评分迭代固定 $\varphi$，或在每一步代入当前的正尺度 $a(\varphi )$；另要求逆链接在当前点附近为 $C^1$，$d_i=d{\mu }_i/d{\eta }_i$ 有限且非零。由条件对数似然求导，score理路Score 与 Fisher 信息Score function · Fisher information对数似然的局部参数导数、其模型内二次平均，以及零均值和曲率等式成立的正则条件。 为

Fisher scoring 在第 $r$ 步构造工作响应

和正权重 $w_i=d_i^2/[a(\varphi )V({\mu }_i)]$。若 $X$ 满列秩，信息矩阵 $I=X^{\mathsf{T}}WX$ 正定，Fisher scoring 更新等于解加权最小二乘理路最小二乘与正规方程Least squares · Normal equations将目标向量正交投影到矩阵列空间，并以残差正交条件导出正规方程。：

这是把 $W^{1/2}X$ 与 $W^{1/2}z$ 代入正规方程。工作响应与权重会随迭代变化；它们不是另一批独立抽得的数据。

例如只有截距的 Bernoulli logit 模型，观测为 $(0,1,1)$。从 ${\beta }^{(0)}=0$ 开始，三项均值都为 $1/2$，$d_i=V({\mu }_i)=1/4$，故权重都为 $1/4$，工作响应为 $(-2,2,2)$。加权最小二乘给出 ${\beta }^{(1)}=2/3$。原似然的极大点则满足预测概率等于 $2/3$，即 $\hat{\beta }=\log 2$；一次二次更新接近了它，但还没有精确解出原问题。

估计 ​

最大似然估计理路最大似然估计Maximum likelihood estimation · MLE在参数空间内选择使已观测数据似然达到上确界的参数估计方法。要求达到原似然的全局上确界。Fisher scoring 每一步求解的是当前加权二次问题；若迭代收敛到权重有限、信息矩阵非奇异的内部点，由连续更新式才推出原 score 为零。驻点是否为全局最大、极大点是否存在，仍取决于链接、设计与观测结果。

Poisson log-link 中 ${\mu }_i=e^{x_i^T\beta }$、$V(\mu )=\mu$，canonical score 简化为 $X^T(Y-\mu )$。一个二元暴露系数 ${\beta }_1$ 的 $e^{{\beta }_1}$ 解释为条件 rate ratio，而非均值的加性差。

边界 ​

线性的是 link 后均值对参数的关系，不是响应必正态或方差恒定。Poisson 的方差等于均值是模型假设；overdispersion 会让常规标准误过小。

logistic 完全分离时有限 MLE 不存在。把大系数当收敛结果会错误；惩罚似然改变估计目标。

binomial overdispersion、Poisson overdispersion 会破坏模型方差。quasi-likelihood 可保留均值 link 并估计 dispersion，但不再有完整概率 likelihood，LR/AIC 解释也相应变化。

响应独立性若因重复测量失效，GEE 或混合模型处理不同相关目标。sandwich 标准误只在簇数等渐近条件下有效，不能让错误 link 变正确。

link 误设、遗漏非线性和相关观测会破坏均值或方差结构。robust sandwich 只能修正某些方差误设，不能恢复错误条件均值的参数解释。

固定同一个分散参数时，离差定义为 $D=2\{\underset{\mathrm{sat}}{sup}\ell -\ell (\hat{\beta })\}$，其中饱和模型让各观测的均值分别自由拟合；使用上确界也涵盖最优均值位于边界的情形。嵌套 GLM 的离差差对应同一似然下的拟合改善，在正则大样本下可作卡方校准；未知分散参数则须按所选似然共同处理。单个模型的残差离差用于拟合优度检验，还需另外检查稀疏计数与分散尺度条件。

Pearson residual $(Y_i-{\hat{\mu }}_i)/\sqrt{V({\hat{\mu }}_i)}$ 与 deviance residual 强调不同尾部。高 leverage 点的 raw residual 可能小，因为它强烈影响自身拟合；诊断要结合 hat values 与 Cook-type influence。

offset 是系数固定为一的预测项，例如 Poisson rate model 用 $\log exposur{e}_i$ offset：

遗漏 offset 会把观察时间差异误作协变量效应。

对稀有事件 logistic，分离和小样本 bias 常严重。Firth penalty 改善 bias 与存在性，但输出是 penalized likelihood estimator，不能继续声称普通 MLE 有限样本性质。

统计指数族理路统计指数族Exponential family · Exponential family in natural parameters密度的参数依赖通过自然参数与统计量内积进入，并由对数配分函数归一化的分布族。给出似然结构，最大似然估计理路最大似然估计Maximum likelihood estimation · MLE在参数空间内选择使已观测数据似然达到上确界的参数估计方法。提供参数拟合接口；拟合后的 score、信息与渐近区间分别通向Score 与 Fisher 信息理路Score 与 Fisher 信息Score function · Fisher information对数似然的局部参数导数、其模型内二次平均，以及零均值和曲率等式成立的正则条件。和Wald、Score 与 LR 检验理路Wald、Score 与 LR 渐近检验Wald test · Score test · Lagrange multiplier test用估计量距离、零点梯度或似然差构造的三类正则大样本检验。。诊断离差与 Pearson 残差时仍须核对过度离散、链接错设和独立性，而不能只读一个拟合优度数值。

删失事件时间的回归还涉及随时间改变的风险集。Cox 比例风险模型理路Cox 比例风险模型与部分似然Cox proportional hazards model · Cox partial likelihood通过事件时刻的风险集比较消去未知基线风险，推导 Cox 部分似然、得分和解释边界。通过每次事件来源的条件概率消去未知基线，得到一组风险集加权比较；它的部分似然和参数解释不同于固定观测响应上的 GLM。

重复响应的边际均值接口 ​

同一个人的多次二元或计数响应，可以保留链接与均值导数，同时放开本页的条件独立假设。广义估计方程理路广义估计方程Generalized estimating equations · GEE · Fixed-working-correlation GEE在独立重复观测簇上解固定工作相关的非线性边际均值方程，区分期望敏感度、观测导数与稳健协方差。预先指定工作相关，把一整个簇的残差加权成一个得分；它从两种二元工作相关的第一步算到最终根与稳健协方差，并迁移到带暴露量 offset 的计数率。零得分的理由需要完整簇条件均值；边际系数、条件随机效应系数和错误链接下的目标不能混用。