Elfving定理与c最优设计

如果实验只为估计“某个指定位置的平均响应”，把所有回归系数都估得很准可能是在浪费预算。c最优设计先固定真正需要的线性量，再决定测量比例。Elfving定理把这件事画成一个几何问题：把实验向量及其负向量围成凸包，看目标方向能伸到多远。边界上的凸组合，恰好给出最优次数比例。

形式陈述

目标能否估计，要在求逆之前判断

给定有限实验向量 $a_1,\ldots,a_m\in\mathbb R^p$ ，假设它们张成全空间。沿用同方差、不相关误差的线性模型：在位置 $i$ 重复观察 $Y=a_i^{\mathsf T}\beta+\varepsilon$ ， $E\varepsilon=0$ 、 $\operatorname{Var}(\varepsilon)=\sigma^2>0$ 。本页只关心预先指定的目标 $c^{\mathsf T}\beta$ ，其中 $c\ne0$ 。

设计权重满足 $w_i\ge0$ 、 $\sum_iw_i=1$ 。实际做 $N$ 次时须有整数 $n_i=Nw_i$ ；暂时先放松这个整数条件。对 $w_i>0$ 的位置，记样本平均为 $\bar Y_i$ 。线性估计量 $\sum_i b_i\bar Y_i$ 对所有 $\beta$ 无偏，当且仅当

\sum_i b_i a_i=c. \tag{1}

没有测量的位置不能使用，所以 $w_i=0$ 时必须 $b_i=0$ 。在整数次数可执行时，该估计量的方差为

\frac{\sigma^2}{N}\sum_{i:w_i>0}\frac{b_i^2}{w_i}. \tag{2}

因此定义归一化最佳线性无偏方差

V_c(w)= \min_{\substack{\sum_i b_i a_i=c\\ b_i=0\ \text{若 }w_i=0}} \sum_{i:w_i>0}\frac{b_i^2}{w_i}, \tag{3}

若约束不可行，定义 $V_c(w)=+\infty$ 。这比先写一个逆矩阵更稳妥：信息矩阵 $M(w)=\sum_iw_i a_i a_i^{\mathsf T}$ 可以奇异，但目标仍可能可估。

c最优设计在整个概率单纯形上最小化 $V_c(w)$ 。最优性只在线性无偏估计量类中比较；它不声称击败所有有偏估计，也不自带有限样本正态区间。

同一个最优值的三种表示

令 $A=[a_1\ \cdots\ a_m]$ ，并定义

s=\min_{Ab=c}\|b\|_1, \qquad E=\operatorname{conv}\{a_1,-a_1,\ldots,a_m,-a_m\}, \qquad \rho=\max\{t\ge0:tc\in E\}. \tag{4}

这里 $E$ 是实验向量的对称凸包，称为Elfving集。张成假设使原点位于它的内部； $c\ne0$ 使 $0<\rho<\infty$ ，且 $s>0$ 。定理给出

\boxed{\quad \min_w V_c(w)=s^2=\rho^{-2}.\quad} \tag{5}

若 $b_*$ 达到最小一范数，令

w_i^*=\frac{|b_{*,i}|}{s}. \tag{6}

这就得到一个c最优设计。等价的几何陈述是： $w$ 最优，当且仅当可以选择正权位置的符号 $\epsilon_i\in\{-1,1\}$ ，使

\rho c=\sum_i w_i\epsilon_i a_i\in\partial E. \tag{7}

零权位置的符号任选。这里的 $\rho$ 是目标正向射线的最远交点，不是任意边界点的长度；对称性同时允许负系数估计量，不能只画 $\operatorname{conv}\{a_i\}$ 。

直觉

先选估计系数，再把实验次数配给它

固定一份无偏系数 $b$ 。由Cauchy–Schwarz不等式，

\left(\sum_i|b_i|\right)^2 =\left(\sum_{i:w_i>0}\frac{|b_i|}{\sqrt{w_i}}\sqrt{w_i}\right)^2 \le\sum_{i:w_i>0}\frac{b_i^2}{w_i}. \tag{8}

取 $w_i=|b_i|/\|b\|_1$ 时等号成立。也就是说，一个位置的估计系数绝对值越大，就应给它越多重复测量，刚好按绝对值比例分配。

对所有 $Ab=c$ 再取最小，得到 $\min_wV_c(w)=s^2$ 。最小一范数解确实存在：约束非空，任取可行 $b_0$ ，只需在闭且有界的集合 $\{b:Ab=c,\ \|b\|_1\le\|b_0\|_1\}$ 中最小化连续函数。式(6)于是也证明最优设计存在，不必假设最优矩阵可逆。

一范数为什么变成凸包里的半径

任意 $Ab=c$ 都给

\frac{c}{\|b\|_1} =\sum_i\frac{|b_i|}{\|b\|_1}\operatorname{sign}(b_i)a_i\in E.

因此 $1/s\le\rho$ 。反过来，若 $tc\in E$ ，把它写成带非负权重、权重和一的正负实验向量组合，按同一标签合并系数并除以 $t>0$ ，就得到 $Ab=c$ 且 $\|b\|_1\le1/t$ 。取 $t=\rho$ ，得 $s\le1/\rho$ ，即 $\rho\le1/s$ 。两边合起来给 $s=1/\rho$ 。

若 $w$ 已最优，固定它的式(3)最小值能取到：在正权坐标上目标是正定二次型，限制到非空闭仿射空间后有最小点。取相应 $b$ ，式(8)及 $\|b\|_1\ge s$ 的两道不等式必须同时取等，因此 $|b_i|=s w_i$ ，给出式(7)。反过来，式(7)令 $b_i=w_i\epsilon_i/\rho$ ，就得到无偏估计量及方差 $\rho^{-2}$ ，故 $w$ 最优。这补全了“当且仅当”，不只是从某个最优系数构造一份设计。

对偶向量是一把所有实验都不能越过的尺

把 $b=b^+-b^-$ 、 $b^+,b^-\ge0$ ，最小一范数问题等价于

\begin{aligned} \min\quad &\sum_i(b_i^++b_i^-)\\ \text{s.t.}\quad&A(b^+-b^-)=c,\qquad b^+,b^-\ge0. \end{aligned}

由线性规划强对偶，其对偶为

s=\max_z c^{\mathsf T}z \quad\text{s.t.}\quad |a_i^{\mathsf T}z|\le1\quad(i=1,\ldots,m). \tag{9}

原问题可行且最优有限，所以两侧都取到最优值。也可直接看出对偶可行集紧：张成假设排除了所有能无限增长而不改变 $A^{\mathsf T}z$ 的方向。

任意可行的 $b,z$ 都满足

c^{\mathsf T}z=\sum_i b_i a_i^{\mathsf T}z\le\sum_i|b_i|. \tag{10}

因此只要交付 $Ab=c$ 、 $|A^{\mathsf T}z|\le1$ 以及 $c^{\mathsf T}z=\|b\|_1>0$ ，无需知道求解算法，就能认证 $b$ 、式(6)的权重及最优方差。这份等号还迫使

b_i\ne0\quad\Longrightarrow\quad a_i^{\mathsf T}z=\operatorname{sign}(b_i). \tag{11}

在几何图中， $z^{\mathsf T}x=1$ 正是经过 $\rho c$ 的支撑超平面；所有真正使用的有符号实验向量都贴在这个平面上。

例子与边界

外推到两倍位置：为什么左端出现负系数

候选仍取 $x=-1,0,1$ 、 $a(x)=(1,x)^{\mathsf T}$ 。要估计 $\beta_0+t\beta_1$ ，令 $c=(1,t)^{\mathsf T}$ 、 $t>1$ 。无偏系数可取

b_-=(1-t)/2,\qquad b_0=0,\qquad b_+=(1+t)/2. \tag{12}

它们满足 $b_-a(-1)+b_+a(1)=c$ ，一范数为 $t$ 。对偶向量 $z=(0,1)^{\mathsf T}$ 在三个位置的内积为 $-1,0,1$ ，全部合法，且 $c^{\mathsf T}z=t$ 。于是证书闭合：

w_-^*=\frac{t-1}{2t},\qquad w_0^*=0,\qquad w_+^*=\frac{t+1}{2t},\qquad V_c(w_*)=t^2. \tag{13}

左端系数为负是为了向右外推；测量次数始终非负。取 $t=2$ ，四次实验即可按一次左端、三次右端执行，估计量为 $-\bar Y_-/2+3\bar Y_+/2$ ，方差为 $4\sigma^2/N$ 。

此时Elfving集是方形 $[-1,1]^2$ 。正向射线上的最远点为 $\rho c=(1/2,1)$ ， $\rho=1/2$ ，而

(1/2,1)=\tfrac14[-a(-1)]+\tfrac34a(1).

几何权重正是测量比例。D最优设计把左右端均分，信息矩阵为 $I_2$ ，这个目标的方差却是 $1+2^2=5$ ；c最优专门照顾目标，因此降到 $4$ 。

全部系数不可识别，目标仍可能估得最好

若只想估截距， $c=(1,0)^{\mathsf T}$ ，把全部预算放在 $x=0$ 就有 $b_0=1$ 、 $V_c=1$ 。对偶取 $z=(1,0)^{\mathsf T}$ ，三个候选内积都为一，认证最优。

该设计的 $M=\operatorname{diag}(1,0)$ 奇异，斜率完全不能识别，但截距恰好就是中心的均值。左右端均分也能给截距方差一，说明最优权重和最优信息矩阵都可能不唯一。D最优信息矩阵的唯一性不能移植到c准则。

如果在同一中心-only设计下改估斜率 $c=(0,1)^{\mathsf T}$ ，式(1)无解，正确值是 $+\infty$ 。盲目代入 $c^{\mathsf T}M^+c$ 却得到零，因为 $M^+=\operatorname{diag}(1,0)$ ；这个零只是伪逆把不可见方向送到零，并不是零方差的估计器。

对称凸包和全部候选都不可省略

外推例的 $c$ 必须用正负系数表示。只用 $\operatorname{conv}\{a_i\}$ ，所有点第一坐标都是一，射线与该集合可能根本不交，便丢失了合法无偏估计。负的估计系数不等于负的实验概率。

对偶可行性也须检查全部候选。若只在已选位置有 $|a_i^{\mathsf T}z|\le1$ ，遗漏位置可能越界并提供更便宜的一范数表示，现有下界就没有依据。数值求解器输出很小的原始—对偶目标差，也不能替代这两侧的可行性检查。

若所有 $a_i$ 只张成子空间 $S$ ，先判断 $c\in S$ 。在其中时可换到 $S$ 的坐标，整个定理使用 $\dim S$ ；不在其中时任何设计都不可估， $\rho=0$ 。 $c=0$ 则是另一个简单边界：恒零估计的方差为零，任意设计都最优，无需使用 $s>0$ 的比例公式。

推论与应用

可估时怎样回到熟悉的矩阵表达式

对一个固定设计， $\operatorname{range}M(w)$ 恰是正权实验向量的张成空间。因而可估性等价于存在 $u$ 满足 $M(w)u=c$ 。此时令

b_i^*=w_i a_i^{\mathsf T}u.

有 $Ab^*=M(w)u=c$ 。任意其他可行系数写成 $b=b^*+h$ ，则 $\sum_i h_i a_i=0$ ；展开式(3)中的平方，交叉项为 $2\sum_i h_i a_i^{\mathsf T}u=0$ ，所以

\sum_{i:w_i>0}\frac{b_i^2}{w_i} =c^{\mathsf T}u+ \sum_{i:w_i>0}\frac{h_i^2}{w_i}. \tag{14}

于是 $V_c(w)=c^{\mathsf T}u$ ，而且不依赖满足 $Mu=c$ 的解选哪一个。满秩时 $u=M^{-1}c$ ；奇异但可估时可取 $u=M^+c$ 。式(14)同时证明最优线性无偏性，说明伪逆公式的使用前提在哪里。

一份下界与一份可执行上界

任取满足 $|A^{\mathsf T}z|\le1$ 的 $z$ ，由对称性可换号使 $c^{\mathsf T}z\ge0$ 。对任意设计和可用的无偏系数 $b$ ，式(8)–(10)给

(c^{\mathsf T}z)^2 \le\min_u V_c(u) \le V_c(w) \le\sum_{i:w_i>0}\frac{b_i^2}{w_i}. \tag{15}

这是一份实际可以交付的方差区间。下界平方时不能省略非负或绝对值的说明；对任意符号的可行 $z$ ，也可以先写 $|c^{\mathsf T}z|\le s$ 再平方。

对给定整数预算，连续最优值仍是下界，而任何满足 $Nw_i\in\mathbb Z$ 的无偏设计给上界。两界相等便认证整数最优；不相等时还须比较整数候选。最优比例的独立四舍五入可能让次数总和错误，甚至删去使目标可估的关键位置。

最优设计可只用至多p个位置

取对偶最优 $z$ 。式(11)使 $\rho c$ 的所有有符号支持点落在 $z^{\mathsf T}x=1$ 的面上，其仿射维数至多 $p-1$ 。对这个面使用Carathéodory定理，可用至多 $p$ 个有符号实验向量表示 $\rho c$ ，从而构造至多 $p$ 个位置的最优设计。同一位置的正负向量不可能同时落在该面上，因为其内积互为相反数。这个结论允许信息矩阵秩亏，不要求这 $p$ 个向量恰好独立。

坐标、尺度与实际误差预算

若 $\widetilde a_i=Ta_i$ 、 $\widetilde\beta=T^{-\mathsf T}\beta$ ，为了保留同一个目标，还必须取 $\widetilde c=Tc$ 。于是 $\widetilde A b=\widetilde c$ 与原约束等价，最优权重、 $s$ 和归一化方差都不变。只变实验向量却忘记变 $c$ ，是在解另一个问题。

若把目标改为 $\lambda c$ ， $\lambda\ne0$ ，最佳方差乘 $\lambda^2$ ，最优权重集合不变。噪声共同尺度与总次数最后按式(2)乘回 $\sigma^2/N$ 。预测一个独立新观测还要加上它自身的噪声方差，不能把这里对均值的最小方差直接当作整个预测误差。

终点练习用非轴向实验给出不同最优支持、整数次数和奇异可估证书。公开程序用精确线性代数枚举小规模原始基本解与对偶顶点，再交叉核验式(14)；它不把浮点近似相等视作数学证明，也不宣称适合大规模求解。

参考资料

G. Elfving，“Optimum Allocation in Linear Regression Theory”，Annals of Mathematical Statistics 23(2)，1952，255–262。定理的历史原始出处；本次核对出版页的书目和摘要，未取得该文全文。
Guillaume Sagnol，“Computing Optimal Designs of multiresponse Experiments reduces to Second-Order Cone Programming”，作者稿v2，2010-07-24，§2印页4–8：可估性、广义逆的合法范围、Theorem 2.1及有限候选的LP表达。本页限于标量响应，给出完整的一范数与对偶推导；不把多响应推广或资源约束结论包含在当前定理中。

形式陈述 ​

目标能否估计，要在求逆之前判断 ​

同一个最优值的三种表示 ​

先选估计系数，再把实验次数配给它 ​

一范数为什么变成凸包里的半径 ​

对偶向量是一把所有实验都不能越过的尺 ​

外推到两倍位置：为什么左端出现负系数 ​

全部系数不可识别，目标仍可能估得最好 ​

对称凸包和全部候选都不可省略 ​

可估时怎样回到熟悉的矩阵表达式 ​

一份下界与一份可执行上界 ​

最优设计可只用至多p个位置 ​

坐标、尺度与实际误差预算 ​

反向链接