形式陈述
原问题、对偶锥与对偶问题
设 为有限维实内积空间, 是正常锥:它闭、凸,满足 ,且内部非空。锥性指 、 蕴含 。定义对偶锥
给定线性映射公理库线性映射Linear map · Linear transformation保持向量加法和标量乘法的函数。 、 和 ,伴随映射 由 确定。一对标准锥规划为
原问题是线性目标加仿射与锥约束的凸优化问题公理库凸优化问题Convex optimization problem在凸可行域上最小化凸目标且不等式约束为凸函数的优化模型。。这里 对应等式约束,可以取任意符号。具体说,拉格朗日对偶公理库拉格朗日对偶Lagrange duality通过拉格朗日函数构造原问题下界的对偶问题,并研究弱对偶、强对偶与最优性条件。取
若 ,在 处取到 ;否则存在 使 ,令 、,下确界便是 。这直接导出 (D),也固定了乘子的符号约定。
两种可直接核验的证书
若 原始可行、 对偶可行,则
这是弱对偶。若内积为零,两侧目标值相等,因而 分别取得原、对偶最优值。核验这样的零间隙证书不需要严格可行性假设。
另一种证书针对可行性系统 :如果找到 满足
则系统不可行。否则任一可行 都会给出 ,与严格负值矛盾。注意这里是 属于对偶锥;它与最优性证书中的松弛量 扮演不同角色。
强对偶所保证的方向
下面调用有限维锥规划的 Slater 定理,不在此证明一般形式。若存在 满足 ,且 是有限实数,则 ,并且对偶取得最优解。反过来,若存在 使 ,且 是有限实数,则 ,并且原问题取得最优解。严格可行性保证的是另一侧的最优值可达;仅凭第一组假设,不应额外断言原问题也取到下确界。
直觉
对偶锥收集所有在 上非负的线性测量。把目标分解成 后,第一部分在可行集上恒等于 ,第二部分始终非负。因此对偶点给出可核验的下界,而零内积说明剩余成本已经耗尽。不可行性证书使用同一结构:某个测量在整个锥上非负,却把所要求的右端测成负数。
对 ,有 ,条件变为 ,恢复等式标准形的线性规划对偶公理库线性规划对偶Linear programming duality · LP duality从线性约束生成对偶界,并以弱对偶、强对偶和互补松弛连接两侧最优解。。半正定规划把向量非负改成矩阵半正定,弱对偶的恒等式仍然成立;发生变化的是锥在线性映射下的闭性,以及证书能否取到。
半正定锥为何自对偶
在实对称矩阵空间 上使用迹公理库迹Trace of a matrix · Matrix trace方阵主对角元素之和,也是线性算子在换基下不变的标量。内积 。由有限维谱定理公理库有限维谱定理Finite-dimensional spectral theorem有限维实对称或复自伴算子存在正交规范特征向量基。,若 ,可写成 ,其中 、 为正交单位向量。对任意 ,
反之,若对称矩阵 不是半正定矩阵公理库正定与半正定矩阵Positive definite matrix · Positive semidefinite matrix · PSD matrix由二次能量严格为正或非负定义的实对称与复 Hermitian 矩阵。,就存在 使 。取 ,便有 。因此 。
在二阶情形,迹内积特别容易漏掉非对角项的系数:
所以测量 的伴随不是把 原样填入两个非对角位置,而是 。
例子与边界
以下四个例子只需二阶判据: 当且仅当 且 。由此可见,半正定矩阵的某个对角元为零时,对应行与列都必须为零:一般维数中对每个二阶主子矩阵应用 即可。
一对最优解:把上下界都算到 2
考虑
这里 ,对偶为 ,约束是 。取
两个矩阵的特征值均为 ,所以原、对偶均可行。原目标 ,对偶目标 ;进一步 ,故迹内积也为零。弱对偶已经完成最优性证明。此例还满足两侧严格可行性: 是原始严格可行点, 给出对偶松弛 。Slater 定理能预告证书存在,具体矩阵则把证书交到手中。
一个不可行性证书:负的对角元
系统 不可行。写成 、,取 ,就有 而 。证书只需检查一个半正定矩阵和一个严格负标量,不必尝试搜索所有 。
零间隙,但对偶最优值取不到
考虑
零对角元迫使 ,所以唯一可行矩阵是 ,且 。目标矩阵是 ,故对偶为
非零的非对角元迫使两个对角元都严格为正,特别是 。另一方面,对任意 ,取 、,得到对角元为正、行列式为零的半正定松弛,且目标 。因此 ,却没有对偶最优解。原可行集没有正定矩阵,原始 Slater 条件缺失;此处失去的是可达性,而非最优值相等。对偶本身严格可行,例如 ,与原最优值确实可达相符。
弱不可行:残差消失,矩阵却逃向无穷
现在要求 。零对角元与非零非对角元矛盾;等价地,任意满足等式的矩阵 都有行列式 ,所以系统不可行。但对每个 ,
其半正定性由非负对角元和零行列式直接给出。将左上角改为零便落入等式仿射空间,Frobenius 距离恰为 ;反向距离下界也由左上角差值给出。因此半正定锥与等式空间虽不相交,距离却为零。这称为弱不可行。,序列没有有限矩阵极限,不能用锥的闭性推出可行解。
图中 、;绘图区只截取有限窗口,向上箭头表示序列继续离开窗口。直线 是不可行的等式条件,绝不是半正定区域里的一条边界射线。
这个系统甚至没有前述严格不可行性证书。因为 、,任何候选 都须满足
右下角为零迫使 ,于是 ,不可能严格为负。这里是这种线性证书不存在,并不意味着不能通过其他推理或扩展证书证明不可行。
推论与应用
证书完备性取决于线性像的闭性
严格不可行性证书存在,当且仅当 。一个方向直接来自连续性:若 ,则 对 及其闭包均成立,故 把 排除在闭包之外。反方向调用有限维闭凸集的严格分离定理,将 与闭凸锥 分离。锥包含零且可任意正向缩放,分离泛函必可写成在该锥上非负、在 处严格负的 ,恰好得到所需证书。
因此,当 闭时,不可行就必有这样的证书;多面锥的线性像仍是多面锥,LP 属于这一情形。闭锥的线性像一般未必闭。上面的弱不可行例子恰有
若 ,选择 即可实现任意 ;若 ,半正定性迫使 。于是 不在这个像中,却在它的闭包中,证书的缺失有了精确的几何原因。
从求得一个点到证明一个结论
对精确可行的原、对偶点,弱对偶给出
这把两侧目标差变成最优性误差上界。在半正定规划松弛公理库半正定规划松弛semidefinite relaxation · SDP relaxation把 ±1 二次变量提升为单位向量或 Gram 矩阵,获得可凸优化的上界并连接随机舍入。中,它能认证连续松弛的求解精度;从松弛回到离散问题的保证,仍需该问题的舍入分析。实际核验应先确认等式约束与半正定性,再使用目标差。弱不可行例子尤其说明:即使等式残差可以任意小,也不能仅凭残差宣告存在精确可行点。
参考资料
- Stephen Boyd、Lieven Vandenberghe,Convex Optimization 官方讲义,Duality 5.13(Slater 条件)与 Interior-point methods 11.32(半正定规划对偶);教材对应 §2.6.1 与 §5.9。本页的一般强对偶结论作为定理调用,二阶例子的计算均在正文展开。
- Gábor Pataki、Aleksandr Touzov,2020 年预印本,§1 Example 1,pp. 1–2,以及 §2,p. 5;弱不可行的二阶例子与严格不可行性分离条件。