Catoni 有限方差均值估计

形式陈述

普通平均允许一次极大读数贡献极大的线性推力。Catoni 的方法把推力压缩为对数增长，再通过求根保持对整体平移的正确响应。它和固定阈值的稳健位置估计共享求根外形，但本页目标是干净重尾总体的均值，保证是明确 $n,\delta$ 下的有限样本误差。

设 $X_1,\ldots,X_n$ 是实值IID 样本，均值为 $\mu$ 。给定一个确定的、事前有效的方差上界 $v>0$ ，满足 $\operatorname{Var}(X_i)\le v$ 。定义连续、奇、严格递增的函数

\psi(u)=\begin{cases} \log(1+u+u^2/2),&u\ge0,\\ -\log(1-u+u^2/2),&u<0. \end{cases}\tag{1}

预先固定 $0<\delta<1$ ，记 $\ell=\log(2/\delta)$ 。当 $n>2\ell$ 时，取

r=\sqrt{\frac{2v\ell}{n-2\ell}},\qquad \alpha=\sqrt{\frac{2\ell}{n(v+r^2)}}>0.\tag{2}

令 $R_n(\theta)=\sum_i\psi\{\alpha(X_i-\theta)\}$ ，以其唯一实根为估计量：

R_n(\widehat\mu)=0.\tag{3}

则

\Pr(|\widehat\mu-\mu|>r)\le\delta.\tag{4}

这套选择依赖置信度：改变 $\delta$ 一般会同时改变半径和估计量本身，不能声称同一个固定估计量自动享有全部置信度的式(4)。若 $n\le2\ell$ ，本页的参数选择不给有限半径；若已知方差上界为0，则总体几乎处处常数，任一观测即给均值，不需用除以 $v$ 的公式。

根是否存在，计算的是哪种估计

对每个有限数据集， $R_n$ 连续严格递减，在 $\theta\to-\infty$ 时趋于正无穷，在 $\theta\to+\infty$ 时趋于负无穷，所以根存在且唯一。更具体地，它位于 $[\min_iX_i,\max_iX_i]$ ：左端各项非负，右端各项非正。

设 $\rho(u)=\int_0^u\psi(s)\,ds$ 。由于 $\psi$ 严格递增， $\rho$ 严格凸。样本准则

M_n(\theta)=\frac1{n\alpha^2}\sum_i\rho\{\alpha(X_i-\theta)\}

的导数为 $-R_n(\theta)/(n\alpha)$ ，故式(3)是其唯一全局极小点。这给出本方法作为M-估计的具体构造；本页的有限样本证明直接控制根，不需要先借渐近正态理论。

直觉

“软截断”指 $\psi(u)$ 比 $u$ 增长慢，不是把所有大观测删除，也不是把得分限制在一个固定有界区间。这里选的是 Catoni 的对数型得分， $|u|\to\infty$ 时仍然无界。

真正的校准接口是下面的两面夹逼：

-\log(1-u+u^2/2)\le\psi(u)\le\log(1+u+u^2/2).\tag{5}

当 $u\ge0$ ，右边取等号；左边由

(1+u+u^2/2)(1-u+u^2/2)=1+u^4/4\ge1

得到。负半轴由奇性处理。因此指数化后的得分能被二次式控制，只需原读数的二阶矩。

完整的两端括根证明

固定一个确定的 $\theta$ 。独立性、式(5)及 $1+z\le e^z$ 给出

\begin{aligned} \mathbb Ee^{R_n(\theta)} &=\prod_i\mathbb Ee^{\psi(\alpha(X_i-\theta))}\\ &\le\prod_i\left[1+\alpha(\mu-\theta)+\frac{\alpha^2}{2}\mathbb E(X_i-\theta)^2\right]\\ &\le\exp\left[n\alpha(\mu-\theta)+\frac{n\alpha^2}{2}\{v+(\mu-\theta)^2\}\right]. \end{aligned}\tag{6}

对 $-R_n(\theta)$ 同理，第一项变为 $-n\alpha(\mu-\theta)$ ，二次项不变。这里原始 $X_i$ 可以没有任何正指数矩，式(6)只要求截断后得分的指数矩。

将式(2)化简可得

\alpha r=\frac{2\ell}{n},\qquad \alpha^2(v+r^2)=\frac{2\ell}{n}.

于是对右侧确定点 $\theta_+=\mu+r$ ，式(6)右边为 $e^{-\ell}=\delta/2$ 。由Markov 不等式，

\Pr\{R_n(\theta_+)\ge0\} =\Pr\{e^{R_n(\theta_+)}\ge1\}\le\delta/2.

对左侧确定点 $\theta_-=\mu-r$ ，使用 $e^{-R_n}$ 得到

\Pr\{R_n(\theta_-)\le0\}\le\delta/2.

用并集界，以至少 $1-\delta$ 的概率有 $R_n(\theta_-)>0>R_n(\theta_+)$ 。连续严格递减性使唯一根位于两点之间，从而证明式(4)。证明中的 $\mu\pm r$ 只用于分析，算法不需要知道它们。

有限样本偏差已经在证明内

一般偏斜分布下 $\mathbb E\psi\{\alpha(X-\mu)\}$ 不等于零。例如 $X\sim\operatorname{Bernoulli}(0.1)$ 、 $\alpha=1$ 时，它为

-0.9\log(1.105)+0.1\log(2.305)\approx-0.00635273.

所以不能用“总体得分在均值处为零”代替上述证明。式(6)的二次项吸收软截断偏移，而随 $n$ 变化的 $\alpha$ 把这份偏移与随机误差一同控制。固定阈值后只令 $n$ 增加，是另一种程序。

例子与边界

一百条数据中的一次大读数

已知 $v=1$ ，固定 $n=100,\delta=0.05$ 。实际数据为99个0和一个10。取

\ell=\log40,\qquad r\approx0.2822309172,\qquad \alpha\approx0.2614086005.

需要求解

R_n(\theta)=99\psi(-\alpha\theta)+\psi\{\alpha(10-\theta)\}=0.

直接计算 $R_n(0.07)\approx0.1294133>0$ ， $R_n(0.08)\approx-0.1306824<0$ ；二分进一步得到根约为

\widehat\mu\approx0.0749755441.

样本平均是0.1，本方法减小了一次大读数的推力，但没有把它整条扔掉。忽略展示舍入时，统计区间约为 $[-0.2072553731,0.3572064613]$ 。例如总体以概率0.01取10、其余取0时，真实方差0.99符合 $v=1$ ；这份样本只是该模型可能产生的结果。单次区间包含0.1不是覆盖率证明，覆盖保证来自全部 IID 分布上的式(4)。

把数值容差也交给使用者

本方法可由二分求根法实现。读取数据后先以样本最小、最大值括根；全部相等时直接返回该值。否则每轮计算中点处的 $R_n$ ，正值保留右半边，负值保留左半边；若能精确确认中点得分为零，直接返回这个根，数值容差为零。若已保证最终根在 $[a,b]$ ，返回中点 $\widetilde\mu$ ，则

|\widetilde\mu-\widehat\mu|\le\eta=(b-a)/2.

最终应报 $[\widetilde\mu-(r+\eta),\widetilde\mu+(r+\eta)]$ ，或直接报 $[a-r,b+r]$ 。这两个区间都包含精确根的统计区间，不额外消耗概率预算。

初始宽度 $W>0$ ，精确算术下做 $k$ 次更新后宽度 $W/2^k$ 。达到位置容差 $\eta_*>0$ 至多需要

k=\max\{0,\lceil\log_2(W/(2\eta_*))\rceil\}

轮，每轮 $O(n)$ 得分运算，若保留数据供重复读取则空间 $O(n)$ ；已有可重读数据时额外空间 $O(1)$ 。上述样本从 $[0,10]$ 出发，23轮给 $\eta<10^{-6}$ 。

这里的宽度证书以可靠符号为前提。求和应避免溢出，计算对数宜使用稳定的 log1p 或缩放；若浮点函数评估无法判定符号，应提高精度或报告未完成，不能将 NaN 当成零。仅有小得分残差不等于根位置小误差，本页没有给得分导数的统一正下界。

方差上界、污染与选择

样本方差并非自动有效的 $v$ 。99个零加一个10的样本方差恰为1，但本例的合法性来自事前预算；若所有读数为零，样本方差可能低估一个稀有大值总体。未知方差的自适应估计需要额外校准，本页不把即插即用当作定理。

也不能由“软截断”推出任意污染稳健性。固定 $n\ge2,\alpha>0$ ，取 $n-1$ 个0与一个 $A>0$ 。对任意固定 $M>0$ ，

R_n(M)=-(n-1)\psi(\alpha M)+\psi\{\alpha(A-M)\}\longrightarrow+\infty

随 $A\to\infty$ 成立。因此根最终大于每个 $M$ ：一次任意大的替换仍可把这个对数型估计推到无穷。干净 IID 有限方差模型没有允许这样的任意对手替换；影响函数与替换崩溃点需要另行判断。

查看很多个 $\delta$ 、尺度或子样本后择优，也不是式(4)保护的一次预设程序。有限个方案可事先分配总错误预算；持续查看则应使用有路径保证的方法。

推论与应用

反解式(2)，若要统计误差半径不超过 $\varepsilon>0$ ，充分条件为

n\ge\left\lceil2\log(2/\delta)\left(1+\frac v{\varepsilon^2}\right)\right\rceil.\tag{7}

因 $v>0$ ，右边保证 $n>2\ell$ 。数值实现还需为根位置误差留出部分总精度，不能把式(7)的全部 $\varepsilon$ 同时花给统计和求根误差。

取 $v=1,\varepsilon=0.1,\delta=0.001$ ，式(7)给1536个样本。已有MoM的具体充分方案需要22800个，直接平均配合 Chebyshev 需要100000个。这里比较的是三份已给定常数的充分证书，不是三种方法的最优样本复杂度，也不表示 Catoni 在每份数据上误差更小。MoM 的单次遍历和本方法的重复求根成本同样应进入选择。

迁移与自测

把观测换成 $Y=20+3X$ 。方差预算、 $\alpha$ 、根、统计半径和求根容差应如何改变？
若独立观测不同分布，但具有共同均值 $\mu$ 、已知方差界 $v_i$ ，式(6)如何改变？如果各均值不同，仅把 $v$ 换成平均方差是否足够？

答案：第一题 $v_Y=9v$ ， $\alpha_Y=\alpha/3$ ，根为 $20+3\widehat\mu$ ， $r_Y=3r$ ，相同物理精度的数值容差也乘3。第二题乘积推导仍成立，令 $v=n^{-1}\sum_i v_i$ 即得同一保证，不需要同分布；若均值为 $\mu_i$ 、目标为平均均值，则二阶预算还包含 $n^{-1}\sum_i(\mu_i-\bar\mu)^2$ 。忽略均值之间的差异会漏算截断偏移，不能只平均各自方差。

参考资料

Olivier Catoni，Challenging the empirical mean and empirical variance: A deviation study，Annales de l’Institut Henri Poincaré, Probabilités et Statistiques 48(4), 2012，1148–1185；§2，式(2.1)–(2.2)、Propositions 2.1–2.4，印刷1151–1153页。本文取其宽对数型得分，把原文单尾 $\epsilon$ 换成 $\delta/2$ ，并将已知真方差放宽为确定上界；证明中保留这一不等式。

形式陈述 ​

根是否存在，计算的是哪种估计 ​

完整的两端括根证明 ​

有限样本偏差已经在证明内 ​

一百条数据中的一次大读数 ​

把数值容差也交给使用者 ​

方差上界、污染与选择 ​

迁移与自测 ​

反向链接