James–Stein收缩与联合平方风险

收缩强度也要随数据变化 ​

固定收缩${\delta }_b(x)=bx$的风险容易算：

$b\ne 1$时，真实向量足够远离零，第二项就会无界增长。式(2)改用与$\Vert X{\Vert }^{-2}$成比例的调整：读数整体很大时几乎保留原值，读数靠近原点时才作较大改变。这样的适应并不自动正确，真正保证来自下一段风险恒等式。

“借用其他坐标的信息”也不要求假设各个${\theta }_i$相同。这里固定一个任意的$\theta$再重复抽样；不同坐标只共同决定整条可实施规则的收缩系数。是否值得这样做，由事先选择的总平方损失来评价。

正态分部积分把未知参数消掉 ​

先对足够光滑、增长受控的向量函数$g$证明

固定其他坐标，对第$i$个正态密度作分部积分理路绝对连续函数Absolutely continuous function · Absolute continuity on an interval把有限组总长度很小的区间送到总振幅很小的函数类，并满足 Lebesgue 版微积分基本定理。；密度导数是$-(x_i-{\theta }_i)p/{\sigma }^2$，尾部边界项为零。对

展开平方并求和，得到

现在取$g(x)=-cx/\Vert x{\Vert }^2$。离开原点时直接求导：

将它们代入式(7)，形式上已经得到式(3)。但$g$在原点有奇性，不能就此结束证明。

为什么三维开始才可以处理这个奇性 ​

非退化正态密度在原点附近有界。在$d$维小球中，$\Vert x{\Vert }^{-2}$的可积性归结为

球外$\Vert x{\Vert }^{-2}\le 1$，所以$d>2$时式(3)中的期望有限且严格为正。

为把形式推导变成证明，令$g_{\epsilon }(x)=-cx/(\Vert x{\Vert }^2+\epsilon )$。每个$\epsilon >0$都可合法应用式(7)，且

平方项由$c^2/\Vert x{\Vert }^2$控制，散度绝对值由$c(d+2)/\Vert x{\Vert }^2$控制，均可积。$g_{\epsilon }\to g$还在平方均值下收敛，故相应误差平方的期望收敛。分别用控制收敛定理理路控制收敛定理Dominated convergence theorem几乎处处收敛且被同一可积函数控制时，可以交换极限与积分。便把合法的$\epsilon$公式送到式(3)。这一步正是维数条件的实际责任。

原点风险恰好只有两个噪声方差 ​

若$\theta =0$，$S=\Vert X{\Vert }^2/{\sigma }^2$服从$d$自由度的卡方分布理路卡方分布Chi-square distribution · Chi-squared distribution · χ² distribution若干独立标准正态变量平方和的分布，以自由度记录独立平方方向的数量。。把密度中的幂次降低一阶并用Gamma递推，可得

因此

与$d$无关。比如$d=5,{\sigma }^2=1$时，原规则风险为5，而JS风险为2。

若实际观察$x=(3,0,0)$、$d=3,{\sigma }^2=1$，收缩系数为$8/9$，输出$(8/3,0,0)$。这是一次输出，不是式(9)的风险；式(9)还要在真实$\theta =0$的重复实验下平均所有可能读数。

小读数会被翻转，不能暗中换规则 ​

当$\Vert x{\Vert }^2<(d-2){\sigma }^2$时，JS系数为负。例如$d=3,{\sigma }^2=1,x=(1/2,0,0)$给出$(-3/2,0,0)$。总风险定理仍成立；它没有要求每次输出都落在零与读数之间。

实践中常把系数截为非负，得到正部版本。这是另一条规则，本页不以式(3)直接计算它的风险，也不把两者输出混用。原点的单点定义可以任意，整个小球上的截断却会实质改变估计量。

$d=1,2$时也不能照搬奇性公式。对任意固定$c>0$，原点附近$\Vert {\delta }_c(x)-\theta \Vert$至少以常数倍$\Vert x{\Vert }^{-1}$增长，而正态密度有正下界，因此风险为无穷。某个散度项在二维形式上变成零，不能抵消一个根本不可积的平方项。

中心、方差和损失必须事先声明 ​

将零换成事先固定的$a$，对$X-a$应用同一定理，再加回$a$即可。若中心由同一份数据随意挑选，则导数和风险都会变，不能继续引用旧常数。

已知一般正定协方差$\mathrm{\Sigma }$时，可先白化，应用球形公式，再变回原坐标。这样直接得到的是损失$(\delta -\theta {)}^{\mathsf{T}}{\mathrm{\Sigma }}^{-1}(\delta -\theta )$下的结论；它不是未经证明的普通欧氏损失支配。

本页也没有把未知${\sigma }^2$替换成样本方差。独立方差估计及其自由度会改变正确系数，需要另行推导。

风险曲线怎样复算 ​

令$\lambda =\Vert \theta {\Vert }^2/{\sigma }^2$。由非中心卡方的Poisson混合表示理路非中心χ²、t与F分布Noncentral distributions · Noncentral chi-square distribution · Noncentral t distribution · Noncentral F distribution · 非中心卡方分布 · 非中心t分布 · 非中心F分布先移动正态均值再平方或除以独立随机尺度，统一得到非中心χ²、t和F，并用Poisson混合与条件积分计算备择下的功效。，$S=\Vert X{\Vert }^2/{\sigma }^2$在给定$K\sim \mathrm{Poisson}(\lambda /2)$后是自由度$d+2K$的中心卡方。因此

所有项非负。截到$k=K_0$后，余项不超过未计入的Poisson概率除以$d+2K_0$，所以可以给出上下括界，再代入式(4)，而不必用随机模拟把一条平滑线当成精确风险。图中的曲线使用这份公式；公开程序还以有理指数函数括界认证有限输入的数值误差。

点点严格改进仍能保持相同minimax值 ​

本模型的精确极小极大风险理路极小极大风险Minimax risk在模型族最坏参数上评价算法风险，再在所有允许算法中寻找最优值。是$d{\sigma }^2$。上界由${\delta }_0=X$给出。下界可以用一族正常的先验，而不求一个形式上的平坦先验。

令$\mathrm{\Theta }\sim N_d(0,{\tau }^2{I}_d)$。平方损失的Bayes规则理路Bayes 估计量与后验风险Bayes estimator · Posterior expected loss给定观测后最小化后验期望损失的行动规则及其条件风险。是后验均值，后验每个坐标方差为${\sigma }^2{\tau }^2/({\sigma }^2+{\tau }^2)$。所以任何规则$\delta$都满足

让$\tau \to \mathrm{\infty }$，下界变成$d{\sigma }^2$。JS在每个有限$\theta$处风险更低，却仍有同样的最坏风险下确界，因此也是minimax。一个函数处处小于常数，并不意味着它的上确界严格小于这个常数。

只收缩一个预定子空间 ​

设$P$是事先固定的正交投影，秩为$r$，$Q=I-P$，剩余维数$m=d-r\ge 3$。保留$PX$，只收缩$QX$：

在两个正交子空间内选正交基，$PX$与$QX$是独立的球形正态块，平方损失也按两块相加。因此

若$P$投影到常数向量方向，就是保留样本坐标平均、收缩坐标间偏离。此时$m=d-1$，需要$d\ge 4$，正确系数是$(d-3){\sigma }^2$。从零中心换成数据里的坐标平均后，还沿用$d-2$就漏掉了一维。

这也给一个可迁移检查：四维、方差一、观察$(2,2,0,0)$，平均为1，残差为$(1,1,-1,-1)$，残差平方长为4，故输出$(7/4,7/4,1/4,1/4)$。当真实四个均值相同时，保留块风险为1、残差JS块风险为2，总风险为3，而原规则为4。