统计模型与参数

统计建模有三件需要分开的事：我们实际记录什么，哪些分布与这些记录方式相容，以及最终关心分布的哪一项性质。把三者混在一个参数符号里，容易把采样假设或观察不到的信息偷偷带进结论。

例如重复记录请求是否成功，可把一次观测写成 $X\in \{0,1\}$，候选模型为 Bernoulli 分布族 $P_{\theta }(X=1)=\theta$、$P_{\theta }(X=0)=1-\theta$，其中 $\theta \in [0,1]$。若关心成功概率，那么目标参数就是 $\theta$；若关心失败概率，则目标为 $1-\theta$，并没有换掉候选分布族。

一次观测的模型还没有说明多次观测如何相关。额外假设 $X_1,\dots ,X_n$ 独立同分布时，完整样本的分布才是 $P_{\theta }^{\otimes n}$。若相邻请求共享故障状态，边际成功概率相同并不保证独立，直接使用乘积分布就增加了未经模型本身提供的假设。

参数、统计量与估计值 ​

在上述独立同分布 Bernoulli 模型中，$\theta$ 是未知参数，

是估计量：它是一份随机样本的函数，在重复采样中会变化。拿到具体数据 $x_1,\dots ,x_n$ 后算出的数字 $\frac{1}{n}\sum _i{x}_i$ 才是这次的估计值。参数未知并不自动使它成为随机变量；给参数再配一个先验分布是 Bayesian 模型中的额外建模步骤。

若使用正态模型 $N(\mu ,{\sigma }^2)$ 并只关心均值，$\mu$ 是目标参数，${\sigma }^2$ 是干扰参数。干扰只表示它不是主要目标，不表示它已知或可以忽略；均值估计的不确定性仍受方差影响。

可辨识性先于估计精度 ​

考虑 $P_{\theta }=N({\theta }^2,1)$，$\theta \in \mathbb{R}$。有 $P_2=P_{-2}$，所以符号无法从可观测分布中辨认，整个参数化不可辨识；但 ${\theta }^2$ 和 $|\theta |$ 对这两种标签都相同，可以作为分布的参数。把参数空间限制成 $[0,\mathrm{\infty })$，则能去掉这种重复标签。

为什么增加样本也不能恢复符号？对任何 $n$，$P_2^{\otimes n}=P_{-2}^{\otimes n}$，所以任何基于样本的统计量在这两种情形下都有同一分布。问题不是估计方法还不够聪明，而是两个标签对全部观测给出的预测完全一致。混合模型交换成分标签，也会出现同类的参数化冗余。

这也能给出“不可能一致估计符号”的简短论证。假设某估计量在 $\theta =2$ 时以趋于一的概率落入 $(1,3)$，由于它在 $\theta =-2$ 时分布完全相同，该概率仍趋于一，便不可能同时以趋于一的概率落入 $(-3,-1)$。两个不相交邻域无法同时获得概率一。

可辨识仍不保证有限样本易于估计。两种参数产生的分布可以不同，却非常接近；辨认它们需要多少数据，是进一步的统计精度问题。

观察机制可以改变模型本身 ​

设潜在时间为 $T$，但记录系统在截止时间 $C$ 后停止观察，只留下 $Y=min(T,C)$ 和指示量 $\mathrm{\Delta }={\mathbf{1}}_{\{T\le C\}}$。真正的观测是 $(Y,\mathrm{\Delta })$，而不是完整的 $T$。可观测模型必须由 $T,C$ 的联合规律及记录方式推出；只写一个 $T$ 的分布族，不能自动得到实际数据的似然。

比如已知固定截止时间 $C=c$、$T$ 连续时，事件 $\mathrm{\Delta }=1$ 的一次记录贡献密度 $f_{\theta }(y)$，而记录 $(c,0)$ 贡献生存概率 $P_{\theta }(T>c)$。它表达的是“时间超过 $c$”，不能误写成恰在 $c$ 发生事件的 $f_{\theta }(c)$。

回归也有类似分工。固定设计把输入位置 $x_i$ 当作实验给定条件，随机设计则把输入变量的分布纳入联合模型。条件分布 $P(Y\mid X=x)$、输入分布与联合分布之间有关联，但它们不是未经约定即可互换的同一对象。

参数化维数与假设强度 ​

常见参数模型用固定有限维坐标描述一个具有指定结构的分布族，例如正态族；非参数模型允许更丰富的分布形状，例如所有具有有限二阶矩的实数分布。非参数不等于没有假设，矩条件、光滑性与独立性都可能是重要限制。

半参数模型可以同时具有有限维目标和无限维未知部分；随样本量增长的有限维逼近则常用于逼近更大的模型。区分这些情况看的是模型的结构及渐近设定，不能只数某个程序最终保存了几个数字。扩大模型意味着排除的候选规律更少，却不自动保证推断更准确；往往需要付出更多样本或更弱结论的代价。

似然建立在已声明的观测模型上 ​

若所有 $P_{\theta }$ 相对于同一个与 $\theta$ 无关的支配测度 $\nu$ 有密度 $p_{\theta }$，观察到 $x$ 后，似然为 $L(\theta ;x)=p_{\theta }(x)$。此时固定的是数据，变化的是参数；它不要求对 $\theta$ 的积分等于 $1$。

在独立同分布样本模型下，$L(\theta ;x_1,\dots ,x_n)=\prod _i{p}_{\theta }(x_i)$。乘积来自独立性，不是“似然”一词本身包含的规则。有删失、选择或依赖时，要使用对应观测模型的联合密度或概率，而不是机械相乘。

模型正确性与推断保证 ​

置信区间的覆盖概率、检验的错误率和估计量的风险，都是在指定分布及采样机制下定义的。改变模型可能改变这些保证，即使计算程序完全没有变化。评价一种方法时，应先问保证针对单个 $P$、整个模型族，还是某个局部范围成立。

若真实分布 $Q$ 不属于 $\mathcal{P}$，就发生模型失配。在适当的正则条件下，一些基于准则的估计量会逼近该准则在 $Q$ 下的最优参数，常称伪真参数。例如对数似然相关准则常与 KL 意义下的逼近有关，但最优点是否存在、唯一及估计量是否收敛，都需要额外条件；不能说任意失配方法都会自动收敛到一个唯一的“最近模型”。

实践中的清晰起点是同时写出观测变量、候选联合分布和目标泛函，再检查可辨识性。只有这三项对齐，选择估计方法、计算不确定性和讨论稳健性才是在回答同一个问题。