最大似然估计

MLE 把观测固定，寻找最能提高这份数据相对密度或质量的模型成员。它利用完整似然形状，而不是只匹配若干矩；求解却是优化问题理路优化问题Optimization problem在可行解集合上最小化或最大化目标函数的计算问题。，统计定义和数值算法要分开。

最大化是相对比较。似然的共同数据因子可删除，参数因子不可删除；对目标作严格递增变换不会改变极大点，但近似、惩罚或截断会定义新的估计规则。

最大似然通过最大化整份样本在参数下的联合似然选参数；矩估计理路矩估计Method of moments estimation通过令样本矩等于模型理论矩并求解参数而构造估计量的方法。把若干样本矩与理论矩配平。MLE 更直接利用分布形状，矩估计常更易计算；二者在有限样本偏差、效率和可识别条件上不必一致。

若 $X_1,\dots ,X_n$ 是 $n\ge 1$ 个独立同分布的 Poisson$(\lambda )$ 观测，$\lambda \ge 0$，则

当 $\sum _i{x}_i>0$，导数为 $-n+(\sum _i{x}_i)/\lambda$，二阶导数为 $-(\sum _i{x}_i)/{\lambda }^2<0$，故唯一极大点

若所有观测为零，内部 score 公式含 $0/\lambda$，但似然 $e^{-n\lambda }$ 在边界 $\lambda =0$ 达到最大；检查参数边界恢复正确解。

对 $n\ge 1$ 个独立同分布的 Uniform$(0,\theta )$ 观测，$\theta >0$，似然

在可行区间随 $\theta$ 递减，所以 MLE 是 $X_{(n)}$。它有有限样本负偏差 $-\theta /(n+1)$，说明 MLE 不自动无偏。

MLE 的有限样本状态还可由 likelihood profile 追踪。对独立 $N(\mu ,{\sigma }^2)$ 样本，参数空间取 $\mu \in \mathbb{R},{\sigma }^2>0$。固定 $\mu$ 且 $\sum _i(x_i-\mu {)}^2>0$ 时，方差的最大化解为 $n^{-1}\sum _i(x_i-\mu {)}^2$。若样本不全相等，再优化均值得 $\hat{\mu }=\overline{x}$、${\hat{\sigma }}^2=n^{-1}\sum _i(x_i-\overline{x}{)}^2>0$；分母是 $n$，不是无偏修正 $n-1$。

若所有观测都等于 $a$，包括只有一个观测的情形，固定 $\mu =a$ 后令 ${\sigma }^2\downarrow 0$，似然无界增大，正方差参数空间中没有 MLE。零残差对应的是这个边界失效，而不是一个允许的零方差估计。profile 操作必须保留原参数空间和极大点的存在条件。

边界与失败情形 ​

在完全分离的 logistic 回归中，系数沿某方向趋于无穷时似然不断上升但无有限极大点。优化器返回很大的有限数不等于 MLE 存在；正则化会产生有解的新目标，却已不是原始 MLE。

有限混合模型理路有限混合模型Finite mixture model · 有限混合分布先抽取有限个潜在成分之一，再由该成分生成观测，并通过边缘化得到观测分布的统计模型。的似然可多峰，甚至因某成分方差趋零并包住一个观测而无界。EM 算法理路期望最大化算法Expectation-maximization algorithm · EM algorithm · EM 算法交替计算潜变量的条件分布与提高完整数据期望对数似然，以迭代优化观测似然的算法。在精确 E 步及提高辅助目标的 M 步下保证似然不降；这不保证参数收敛、驻点或全局最大，更不解决模型奇异性。

MLE 不是 MAP。MAP 最大化似然乘先验密度，结果依赖先验和参数坐标；MLE 的一一变换不变性不需要 Jacobian。

一致性与渐近正态性需要可识别、统一大数律、真参数内部、似然正则等条件。有限样本中 MLE 可能有偏、风险较大或不存在。

参数空间是否闭合直接影响存在性。例如 Bernoulli 参数若错误限制为开区间 $(0,1)$，全成功样本的似然上确界在 $p\uparrow 1$ 时逼近，却没有任何允许参数达到；把边界纳入模型会得到 MLE $p=1$，但相应渐近理论仍是边界问题。

在常规正则模型中，归一化对数似然趋近其期望，真参数因 Kullback–Leibler 对比唯一最大而得到一致性理路估计量的一致性Consistency of estimators · Consistent estimator估计误差随实验规模增长而消失的点态、统一、弱与强收敛性质及其证明边界。。Taylor 展开Score 与 Fisher 信息理路Score 与 Fisher 信息Score function · Fisher information对数似然的局部参数导数、其模型内二次平均，以及零均值和曲率等式成立的正则条件。再给出渐近正态性理路估计量的渐近正态性Asymptotic normality of estimators估计误差在明确中心、速率与协方差下趋于正态律，以及线性化、标准化和边界失效机制。；这些是另需证明的定理链。

Hill 尾指数估计理路Hill 尾指数估计量Hill estimator · Hill tail-index estimatorHill 估计量平均最大的若干观测相对于随机门槛的对数比，估计正则变化重尾的形状，并显式面对门槛偏差。从 Pareto 对数超额的似然得到简单公式，但一般重尾下还要让所用极端次序数 $k$ 满足 $k\to \mathrm{\infty }$、$k/n\to 0$；渐近正态的中心还可能带二阶尾偏差，不能只移用固定正则模型的标准误。

数值实现应报告初值、收敛准则、约束和目标值，并用梯度、Hessian 或多起点检查解，而不是把软件的 success 标记当统计保证。

似然乘任意只依赖数据的正因子或取严格递增变换都不改变 MLE；乘含参数惩罚项则产生 penalized likelihood。后者可能改善有限样本风险并保证存在，但应以新规则名称分析，不能把惩罚造成的偏差藏在原始 MLE 定义中。