Skip to content

原则Principle

锥规划的对偶与证书

Conic programming certificates · Conic duality

用对偶锥统一最优性与不可行性证书,并以二阶半正定规划区分零间隙、最优值可达和弱不可行。

形式陈述 ​

原问题、对偶锥与对偶问题 ​

设 V 为有限维实内积空间,K⊂V 是正常锥:它闭、凸,满足 K∩(−K)={0},且内部非空。锥性指 x∈K、t≥0 蕴含 tx∈K。定义对偶锥

K∗={s∈V:⟨s,x⟩≥0 对所有 x∈K}.

给定线性映射 A:V→Rm、b∈Rm 和 c∈V,伴随映射 A∗ 由 ⟨A∗y,x⟩=y⊤Ax 确定。一对标准锥规划为

(P)p∗=inf{⟨c,x⟩:Ax=b, x∈K},(D)d∗=sup{b⊤y:c−A∗y∈K∗, y∈Rm}.

原问题是线性目标加仿射与锥约束的凸优化问题。这里 y 对应等式约束,可以取任意符号。具体说,拉格朗日对偶取

L(x,y)=⟨c,x⟩+y⊤(b−Ax)=b⊤y+⟨c−A∗y,x⟩,x∈K.

若 s=c−A∗y∈K∗,在 x=0 处取到 infx∈KL=b⊤y;否则存在 z∈K 使 ⟨s,z⟩<0,令 x=tz、t→∞,下确界便是 −∞。这直接导出 (D),也固定了乘子的符号约定。

两种可直接核验的证书 ​

若 x 原始可行、y 对偶可行,则

⟨c,x⟩−b⊤y=⟨c−A∗y,x⟩=⟨s,x⟩≥0.

这是弱对偶。若内积为零,两侧目标值相等,因而 x,y 分别取得原、对偶最优值。核验这样的零间隙证书不需要严格可行性假设。

另一种证书针对可行性系统 Ax=b, x∈K:如果找到 w∈Rm 满足

A∗w∈K∗,b⊤w<0,

则系统不可行。否则任一可行 x 都会给出 b⊤w=⟨A∗w,x⟩≥0,与严格负值矛盾。注意这里是 A∗w 属于对偶锥;它与最优性证书中的松弛量 c−A∗y 扮演不同角色。

强对偶所保证的方向 ​

下面调用有限维锥规划的 Slater 定理,不在此证明一般形式。若存在 x¯∈intK 满足 Ax¯=b,且 p∗ 是有限实数,则 p∗=d∗,并且对偶取得最优解。反过来,若存在 y¯ 使 c−A∗y¯∈intK∗,且 d∗ 是有限实数,则 p∗=d∗,并且原问题取得最优解。严格可行性保证的是另一侧的最优值可达;仅凭第一组假设,不应额外断言原问题也取到下确界。

直觉

对偶锥收集所有在 K 上非负的线性测量。把目标分解成 c=A∗y+s 后,第一部分在可行集上恒等于 b⊤y,第二部分始终非负。因此对偶点给出可核验的下界,而零内积说明剩余成本已经耗尽。不可行性证书使用同一结构:某个测量在整个锥上非负,却把所要求的右端测成负数。

对 K=R+n,有 K∗=K,条件变为 A⊤y≤c,恢复等式标准形的线性规划对偶。半正定规划把向量非负改成矩阵半正定,弱对偶的恒等式仍然成立;发生变化的是锥在线性映射下的闭性,以及证书能否取到。

半正定锥为何自对偶 ​

在实对称矩阵空间 Sn 上使用迹内积 ⟨S,X⟩=tr(SX)。由有限维谱定理,若 X⪰0,可写成 X=∑iλiqiqi⊤,其中 λi≥0、qi 为正交单位向量。对任意 S⪰0,

tr(SX)=∑iλiqi⊤Sqi≥0.

反之,若对称矩阵 S 不是半正定矩阵,就存在 q 使 q⊤Sq<0。取 X=qq⊤⪰0,便有 tr(SX)=q⊤Sq<0。因此 (S+n)∗=S+n。

在二阶情形,迹内积特别容易漏掉非对角项的系数:

tr(SX)=S11X11+2S12X12+S22X22.

所以测量 A(X)=X12 的伴随不是把 y 原样填入两个非对角位置,而是 A∗y=(0y/2y/20)。

例子与边界

以下四个例子只需二阶判据:(uzzv)⪰0 当且仅当 u,v≥0 且 uv≥z2。由此可见,半正定矩阵的某个对角元为零时,对应行与列都必须为零:一般维数中对每个二阶主子矩阵应用 XiiXjj≥Xij2 即可。

一对最优解:把上下界都算到 2 ​

考虑

min{trX:X12=1, X⪰0}.

这里 C=I,对偶为 maxy,约束是 S=(1−y/2−y/21)⪰0。取

X∗=(1111),y∗=2,S∗=(1−1−11).

两个矩阵的特征值均为 0,2,所以原、对偶均可行。原目标 trX∗=2,对偶目标 y∗=2;进一步 S∗X∗=0,故迹内积也为零。弱对偶已经完成最优性证明。此例还满足两侧严格可行性:(2112)≻0 是原始严格可行点,y=0 给出对偶松弛 I≻0。Slater 定理能预告证书存在,具体矩阵则把证书交到手中。

一个不可行性证书:负的对角元 ​

系统 X11=−1, X⪰0 不可行。写成 A(X)=X11、b=−1,取 w=1,就有 A∗w=E11⪰0 而 bw=−1<0。证书只需检查一个半正定矩阵和一个严格负标量,不必尝试搜索所有 X。

零间隙,但对偶最优值取不到 ​

考虑

min{X12:X11=0, X22=1, X⪰0}.

零对角元迫使 X12=0,所以唯一可行矩阵是 diag(0,1),且 p∗=0。目标矩阵是 C=(01/21/20),故对偶为

supy2s.t.S=(−y11/21/2−y2)⪰0.

非零的非对角元迫使两个对角元都严格为正,特别是 y2<0。另一方面,对任意 t>0,取 y1=−t、y2=−1/(4t),得到对角元为正、行列式为零的半正定松弛,且目标 −1/(4t)→0。因此 d∗=p∗=0,却没有对偶最优解。原可行集没有正定矩阵,原始 Slater 条件缺失;此处失去的是可达性,而非最优值相等。对偶本身严格可行,例如 y1=y2=−1,与原最优值确实可达相符。

弱不可行:残差消失,矩阵却逃向无穷 ​

现在要求 X11=0, X12=1, X⪰0。零对角元与非零非对角元矛盾;等价地,任意满足等式的矩阵 (011v) 都有行列式 −1,所以系统不可行。但对每个 ε>0,

Xε=(ε111/ε)⪰0,A(Xε)−b=(ε,0)⟶0.

其半正定性由非负对角元和零行列式直接给出。将左上角改为零便落入等式仿射空间,Frobenius 距离恰为 ε;反向距离下界也由左上角差值给出。因此半正定锥与等式空间虽不相交,距离却为零。这称为弱不可行。X22=1/ε→∞,序列没有有限矩阵极限,不能用锥的闭性推出可行解。

图中 u=X11、v=X22;绘图区只截取有限窗口,向上箭头表示序列继续离开窗口。直线 u=0 是不可行的等式条件,绝不是半正定区域里的一条边界射线。

这个系统甚至没有前述严格不可行性证书。因为 A(X)=(X11,X12)、b=(0,1),任何候选 w 都须满足

A∗w=(w1w2/2w2/20)⪰0.

右下角为零迫使 w2=0,于是 b⊤w=w2=0,不可能严格为负。这里是这种线性证书不存在,并不意味着不能通过其他推理或扩展证书证明不可行。

推论与应用

证书完备性取决于线性像的闭性 ​

严格不可行性证书存在,当且仅当 b∉A(K)―。一个方向直接来自连续性:若 A∗w∈K∗,则 w⊤z≥0 对 z∈A(K) 及其闭包均成立,故 w⊤b<0 把 b 排除在闭包之外。反方向调用有限维闭凸集的严格分离定理,将 b 与闭凸锥 A(K)― 分离。锥包含零且可任意正向缩放,分离泛函必可写成在该锥上非负、在 b 处严格负的 w,恰好得到所需证书。

因此,当 A(K) 闭时,不可行就必有这样的证书;多面锥的线性像仍是多面锥,LP 属于这一情形。闭锥的线性像一般未必闭。上面的弱不可行例子恰有

A(S+2)={(a,z):a>0, z∈R}∪{(0,0)}.

若 a>0,选择 X22=z2/a 即可实现任意 z;若 a=0,半正定性迫使 z=0。于是 b=(0,1) 不在这个像中,却在它的闭包中,证书的缺失有了精确的几何原因。

从求得一个点到证明一个结论 ​

对精确可行的原、对偶点,弱对偶给出

0≤⟨c,x⟩−p∗≤⟨c,x⟩−b⊤y.

这把两侧目标差变成最优性误差上界。在半正定规划松弛中,它能认证连续松弛的求解精度;从松弛回到离散问题的保证,仍需该问题的舍入分析。实际核验应先确认等式约束与半正定性,再使用目标差。弱不可行例子尤其说明:即使等式残差可以任意小,也不能仅凭残差宣告存在精确可行点。

参考资料
  • Stephen Boyd、Lieven Vandenberghe,Convex Optimization 官方讲义,Duality 5.13(Slater 条件)与 Interior-point methods 11.32(半正定规划对偶);教材对应 §2.6.1 与 §5.9。本页的一般强对偶结论作为定理调用,二阶例子的计算均在正文展开。
  • Gábor Pataki、Aleksandr Touzov,2020 年预印本,§1 Example 1,pp. 1–2,以及 §2,p. 5;弱不可行的二阶例子与严格不可行性分离条件。
关系图谱13 个相邻概念 · 2 类关系

拖动节点调整位置。

显示关系

显示:依赖

  1. 前置三跳
  2. 前置二跳
  3. 前置一跳
  4. 当前条目
  5. 后续一跳
  6. 后续二跳
  7. 后续三跳
文字版关系按与当前条目的最短距离分组
类型化关系