依概率收敛

它允许每个精度阈值都有自己的坏事件，但要求这些坏事件的概率最终消失。与几乎必然收敛相比，定义没有追踪某个固定样本是否反复落入坏集，因此更适合描述估计误差在总体中的收缩。阈值必须对每个 $\epsilon >0$ 都成立；只验证某一个粗阈值不足以保证误差真正趋零。

弱大数律正是样本均值依概率趋于均值。若 $X_n=1_{A_n}$ 且 $\mathbb{P}(A_n)\to 0$，则 $X_n\to 0$ 依概率；若 $A_n$ 独立且概率约为 $1/n$，事件仍可无穷多次发生，故未必几乎必然收敛。依概率收敛蕴含存在一个几乎必然收敛的子列，但原序列不必 a.s. 收敛。不同概率空间上的变量无法直接用 $|X_n-X|$ 定义此模式，除非先构造耦合。

对整数 $n\ge 1$，令 $X_n$ 以概率 $1/n$ 取值 $n$，其余时候取 $0$。则 $X_n\to 0$ 依概率，因为对任意固定 $\epsilon >0$，偏离概率最终是 $1/n$；但 $\mathbb{E}{X}_n=1$，所以依概率收敛并不控制期望。若把这些事件独立地放在同一空间上，坏值还可能无穷多次出现。

弱大数律理路弱大数定律Weak law of large numbers · WLLN独立同分布且方差有限时，样本均值依概率收敛到共同期望，并具有 Chebyshev 偏差界。与统计估计的一致性通常用依概率收敛表述。它位于几乎必然收敛理路几乎必然收敛Almost sure convergence除去一个零概率事件后，随机变量序列逐样本收敛。和依分布收敛理路依分布收敛Convergence in distribution · Weak convergence分布函数在极限分布连续点处收敛的随机变量收敛概念。之间，并允许通过抽取子列恢复几乎必然收敛。要进一步控制均值或高阶矩，还需期望理路期望Expectation · Expected value实值或复值随机变量关于概率测度的 Lebesgue 积分，概括加权平均与总体质量平衡。层面的统一可积性条件。

弱一致性理路估计量的一致性Consistency of estimators · Consistent estimator估计误差随实验规模增长而消失的点态、统一、弱与强收敛性质及其证明边界。正是估计误差依概率趋零。它只控制固定阈值的超越概率，不保证均方风险趋零；极小概率的大误差可让估计一致而 MSE 发散。Slutsky 定理理路Slutsky 定理Slutsky's theorem依分布收敛随机量与依概率收敛常量组合时，和、积与合法商保持相应分布极限。则利用这种收敛把 nuisance 估计替换成极限常量。

一致性是 $n\to \mathrm{\infty }$ 的极限陈述；$(\varepsilon,\delta)$ 样本复杂度理路样本复杂度、精度与置信度Sample complexity · Accuracy and confidence用 m(ε,δ) 描述达到风险精度与失败概率所需的数据量。则要求指出某个有限 $n$ 后失败概率已经不超过 $\delta$，不能从“概率趋零”读出任意指定样本量的速率。对数据依赖假设类还要区分单个估计量依概率收敛与经验风险的一致收敛理路经验风险的一致收敛Uniform convergence of empirical risks以高概率同时控制整个假设类的经验风险与总体风险偏差。，后者控制的是 supremum 随机变量。

依概率接近不足以保持稀有事件的指数：误差即使只有 $e^{-n}$，仍可能改变速度 $n$ 下的成本。指数等价理路指数等价Exponential equivalence当两种表示之间的固定误差概率超指数消失时，把良速率大偏差原理从一种表示转给另一种。要求任意固定容差的失败概率超指数消失，才允许把良速率 LDP 从近似量转移给原量。