方差从哪里来:可靠均值与适应尾界
本页完成一份能够复算和迁移的误差报告。你需要说明:方差预算怎样得到,未知尺度靠哪一种额外结构补足,时间维度是否已经校准,以及数值求解还留下多少误差。不同方法可以处理相同的均值问题,但它们不能互相借用未满足的假设。
最短路线与补课
核心计算依次读Efron–Stein 理路 Efron–Stein 方差不等式 Efron-Stein inequality · 独立替换方差界 · Variance tensorization 用独立重抽一个输入造成的平方变化控制非线性统计量方差,证明张量化与二分之一常数,并区分总体预算、样本估计和指数尾。 、Catoni 均值估计 理路 Catoni 有限方差均值估计 Catoni mean estimator · Catoni 软截断均值估计 用随样本量与置信度校准的单调软截断方程估计重尾均值,证明有限方差误差界,并把括根数值容差加入最终证书。 、对称自归一化 理路 对称和的自归一化界 Self-normalized symmetric sum · 对称均值的自归一化区间 条件于独立对称观测的幅度证明自归一化尾界,反演不需已知方差的中心区间,并明确对称性、小样本与持续查看的边界。 和Freedman 理路 标量 Freedman 不等式 Scalar Freedman inequality · 可预测方差鞅尾界 用有界鞅差及可预测条件方差控制预算内的全时间越界,证明指数过程并给出适应门控与分层方差预算的实际计算。 。前两站把输入机制变成总体方差预算,再变成可执行的高置信求根;后两站分别处理未知方差的对称中心与适应过程的条件方差。
已经读过可靠均值入门终点 的读者,可复用其 Bernstein 理路 有界标量 Bernstein 不等式 Scalar Bernstein inequality · Bernstein inequality for bounded random variables 在已知中心化幅度与方差预算时控制独立标量和,以初等指数矩证明解释两种偏差尺度,并计算罕见事件均值的充分样本量。 、MoM 理路 分组均值中位数估计 Median-of-means estimator · MoM 均值估计 将独立样本分成不相交的组,先平均再取中位数,以有限方差取得依赖置信度的均值误差保证,并明确组数、余数和尺度条件。 与经验 Bernstein 理路 经验 Bernstein 均值界 Empirical Bernstein mean bound · 经验方差均值界 对已知有界范围的 IID 观测,以经过校准的样本方差构造固定样本均值区间,解释标准差估计误差、零样本方差与重复查看的边界。 。若还不熟悉预算,先补方差 理路 方差 Variance 随机变量相对其均值的平方偏差期望,也是最佳常数平方预测的剩余误差。 和条件期望 理路 条件期望 Conditional expectation 以信息分组的加权平均建立条件期望直觉,再连接测度定义、最小均方预测、塔式性质和可计算反例。 ;进入适应过程前再补鞅 理路 鞅 Martingale · Submartingale · Supermartingale 在当前全部信息下,下一步条件均值等于当前值的可积适应过程。 和Ville 不等式 理路 Ville 不等式 Ville's inequality · Ville inequality 非负上鞅在无限时间内达到给定水平的概率,由初始期望除以该水平控制。 。这些是按任务选择的补课入口,不是要求每条路线都先学完全部测度概率。
最后一项是混合边界 理路 混合序贯边界 Mixture boundary · Method of mixtures · Normal mixture boundary 对指数上鞅作预先固定的概率混合,再把财富阈值反解为对所有时间同时有效的偏差边界。 的条件对称分支:它回答无已知幅度时怎样检验一个中心,也展示有效检验未必反演成实用的有界区间。
图片加载失败 四种输入责任与各自输出 任务一:非线性模拟器的方差预算
三枚独立比特 B 1 , B 2 , B 3 ∼ Bernoulli ( 0.1 ) 驱动一个输出
Z = max ( B 1 , B 2 ) + 2 B 2 B 3 . 这是一台可以完整枚举的小模拟器;精确期望用作核验真值,随后仍按只能调用输出的均值估计流程操作。
列出 Z 的可能值及概率,求 E Z 与真实方差
分别只把第 i 个比特替换成独立副本,求 E ( Z − Z ( i ) ) 2 ,得到预算 v
为什么三项替换差不是三份独立输出?若只在一条观测路径上算到很小差值,能否报告同一个总体预算?
用所得 v 设计统计半径 ε = 0.05 、失败概率 δ = 0.01 的 Catoni 方案,算最小满足该充分式的整数运行数
核对与推导
Z = 0 当且仅当 B 1 = B 2 = 0 ,概率0.81。Z = 3 当且仅当 B 2 = B 3 = 1 ,概率0.01。剩余概率0.18给 Z = 1 。因此
E Z = 0.21 , E Z 2 = 0.27 , Var ( Z ) = 0.27 − 0.21 2 = 0.2259 . 令 B i ′ 是对应独立副本。三个差可分别写成
Z − Z ( 1 ) = ( B 1 − B 1 ′ ) ( 1 − B 2 ) , Z − Z ( 2 ) = ( B 2 − B 2 ′ ) ( 1 − B 1 + 2 B 3 ) , Z − Z ( 3 ) = 2 B 2 ( B 3 − B 3 ′ ) . 每个比特与副本之差的平方期望为 2 ( 0.1 ) ( 0.9 ) = 0.18 。于是三项分别为
0.18 ⋅ 0.9 = 0.162 , 0.18 { 0.9 + 4 ( 0.9 ) ( 0.1 ) + 4 ( 0.1 ) } = 0.2988 , 4 ( 0.1 ) ( 0.18 ) = 0.072 . 因此 v = ( 0.162 + 0.2988 + 0.072 ) / 2 = 0.2664 ,大于真实方差。中间一项包含交互影响,不能把“改第2位”误当成仅改一个普通加性项。三种替换共用其余输入,既不是独立运行,也不是未知预算的确定证书。
Catoni 的充分样本量为
N ∗ = ⌈ 2 log 200 ( 1 + 0.2664 0.05 2 ) ⌉ = 1140. 这个数保留了全部常数和取整。若模拟器的输入机制改变,尤其三个比特变得相关,原预算证明必须重做;不能仅因输出仍落在 { 0 , 1 , 3 } 就保留0.2664。已知范围 [ 0 , 3 ] 的方法仍可能有效,但给的是另一张证书。
任务二:从输出计数到带数值容差的区间
实际独立运行1200次,得到950个0、230个1、20个3。保留任务一的模型方差上界 v = 0.2664 ,预设 δ = 0.01 。
算普通平均、Catoni 的 r , α ;写出只需三种取值的得分方程
给一个确实异号的括根区间,求根,并将最终位置误差 10 − 6 加入证书
为何不应以得分残差小于 10 − 6 代替位置容差?若改用 Y = 5 Z − 2 ,所有量如何换单位?
核对与推导
普通平均为 290 / 1200 = 29 / 120 ≈ 0.2416667 。由 ℓ = log 200 ,
r = 2 ( 0.2664 ) ℓ 1200 − 2 ℓ ≈ 0.0487176702 , α ≈ 0.1812592620 . 得分方程是
950 ψ ( − α θ ) + 230 ψ { α ( 1 − θ ) } + 20 ψ { α ( 3 − θ ) } = 0. 在 θ = 0.23 时得分约2.16176736,在0.24时约 − 0.00555735 ,故区间 [ 0.23 , 0.24 ] 确实括住唯一根。高精度复算给
μ ^ ≈ 0.2399743584 . 精确根的统计区间约为 [ 0.1912566882 , 0.2886920285 ] ;所有小数仅作显示,保证由原公式和括根区间定义。若二分后根位于 [ a , b ] 且 ( b − a ) / 2 ≤ 10 − 6 ,就报 [ a − r , b + r ] ,或以中点为中心、半径 r + 10 − 6 。从 [ 0.23 , 0.24 ] 出发,13次更新的半宽为 0.005 / 2 13 < 10 − 6 。
得分可通过整体缩放任意变小,根附近也未提供统一的斜率下界;因此小残差不能直接证明小位置误差。换为 Y = 5 Z − 2 时,方差预算乘25、α 除5、根变为 5 μ ^ − 2 ,统计半径和同一物理精度的求根容差都乘5。
任务三:没有方差预算,但有对称噪声
另一台仪器有独立观测,模型保证各项关于同一个未知中心对称,却不提供已知范围或方差上界。预先固定做12次,读到
8 , 9 , 9 , 10 , 10 , 10 , 11 , 11 , 11 , 12 , 12 , 13.
用 δ = 0.05 反演对称自归一化区间
如果仪器的分布只保证有限方差,能否保留这个区间?给出具体失败分布
若噪声为 Cauchy,这个区间覆盖什么?若样本数改为7,仍用5%失败概率,如何输出?
核对与推导
均值为10.5,离均平方和为23。令 c 2 = 2 log 40 ≈ 7.3777589 ,有 12 > c 2 ,所以
r = 23 ( 2 log 40 ) 12 ( 12 − 2 log 40 ) ≈ 1.74907820 , 得到以10.5为中心的区间,展示端点约为 [ 8.75092180 , 12.24907820 ] 。保证来自模型中的独立与对称,不是数据排列的外观。
仅有限方差不够:独立 Bernoulli( 0.01 ) 观测100次时,全零概率 0.99 100 ≈ 0.366032 ;错误套对称区间会在此事件上返回零点,而真实均值为0.01。Cauchy 模型下仍可报告对称中心覆盖,但均值不存在,不能把中心改称均值。
若 n = 7 ,则 n ≤ 2 log 40 ,反演不等式对所有候选中心成立,应返回整个实轴。把7条记录复制成14行不会创造新的独立信息。
任务四:随过去选择观测,还要控制所有时刻
设候选模型为独立 Bernoulli( 0.02 ) 。每次新结果出现前,根据过去决定 I i ∈ { 0 , 1 } ,令 D i = I i ( Y i − 0.02 ) 。希望对计入数不超过500的整个监测窗口,给出单侧失败概率0.025的累计偏差证书。
写出 b , V k ,计算精确阈值表达式及其小数
若已计入500项,至少多少成功会越界?如果按当前结果决定只计入成功,哪条条件被破坏?
在另一个 b = 1 的任务中,累计条件方差观察为13。使用事前规定的分层方案 v j = 10 ⋅ 2 j 、δ j = 0.05 / [ ( j + 1 ) ( j + 2 ) ] ,应该读取哪一个预算及阈值?
核对与推导
D i ≤ 0.98 ,可取 b = 0.98 ,且
当 V k = 0.02 ( 0.98 ) N k = 0.0196 N k ≤ 9.8 当 N k ≤ 500. 精确方便阈值为
t = 19.6 log 40 + 1.96 3 log 40 ≈ 10.91312838 . Freedman 控制的是存在任意时刻 S k ≥ t , V k ≤ 9.8 的概率。计入500项时,S 等于成功数减10;因此至少21次成功触发越界。整数判定不受上述小数显示舍入影响。
若只计入当前成功,D i = ( 1 − p ) Y i ,条件均值为 p ( 1 − p ) > 0 ,失去鞅差。第三题 13 ∈ ( 10 , 20 ] ,读取 j = 1 ,预算 v 1 = 20 , δ 1 = 1 / 120 ,阈值为 40 log 120 + ( 2 / 3 ) log 120 ≈ 17.03000173 。随机预算的合法适应来自所有预设层共同覆盖。
任务五:未知尺度的全时间检验,为什么还不是有界区间
现在观测满足给定过去后关于一个待检验中心 m 0 对称,不假设已知幅度、方差或独立性。令 D i = X i − m 0 。说明为何固定 λ 的
exp { λ S k − λ 2 Q k / 2 } , S k = ∑ i D i , Q k = ∑ i D i 2 是非负上鞅,并用 N ( 0 , 1 / ρ ) 混合。然后回答:将 m 0 改成每个候选 m ,反演后是否一定得到有限端点的区间?
核对与推导
条件对称使单步指数的条件期望等于
E [ cosh ( λ D i ) e − λ 2 D i 2 / 2 ∣ F i − 1 ] ≤ 1. 因此固定参数的乘积是合法上鞅;混合给
M k ( m ) = ρ Q k ( m ) + ρ exp { S k ( m ) 2 2 ( Q k ( m ) + ρ ) } . Ville 允许阈值 1 / δ 的全时间检验。ρ 必须预先固定,且这里控制的是整个指数因子,并没有把观测平方和解释为可预测方差。
但对固定有限数据和样本数 n ,当 | m | → ∞ ,有 S n ( m ) 2 / ( Q n ( m ) + ρ ) → n ,而平方根前因子趋零,所以 M n ( m ) → 0 。遥远候选中心会被保留,反演集合有远尾;有限多个时刻取交也不能自动消除它们。因此本支路直接解决已知候选中心的持续检验,不能宣传成未知中心的有界均值置信序列。固定样本的对称反演与这个混合构造承担不同责任。
最终报告:把预算、保证和未解决项分开
一个合格结果应包含:
方差来自何处:总体独立替换预算、事前方差上界、样本残差平方和或可预测条件方差,逐项写清
目标是什么:总体均值、仅有的对称中心,还是候选零假设下的累计偏差
概率量词:预设样本数的一次保证,或预算窗口内所有时刻的联合保证
数值证书:精确公式、输出括区、向外舍入或额外位置容差
结构迁移:换单位、非同分布、依赖、选择与污染分别破坏或保留哪一步
任务二、三、四分别使用失败概率0.01、0.05、0.025。若要三份结论同时成立,不管它们是否独立,现有并集预算只保证至少 1 − 0.085 = 0.915 。若希望至少95%,可事先重新分配为0.01、0.02、0.02并重算各自程序:Catoni 保持不变;任务三半径约2.51556490;任务四阈值约11.31231841。不要将事后挑选漂亮结论误报成三项都已校准。
进一步的未知尺度自适应、非对称自归一化和重尾鞅估计需要新的假设或构造。本页没有用“已经会一个终点”代替这些问题的证明,也不把现有方法之间的公式相似当作可自由互换的许可。