形式陈述
半正定松弛将原可行对象映入对称矩阵空间,保留线性目标以及仿射等式或不等式,再用半正定约束给出包含这些映像的可行域。包含关系负责最优值的界,具体去掉什么非凸条件由原问题决定。下面选择符号二次优化这个常用实例。
从符号到向量
取整数 n ≥ 1 ,固定实二次目标 x ⊤ Q x (可用 ( Q + Q ⊤ ) / 2 对称化)。许多二次离散问题有 x i ∈ { − 1 , + 1 } 和乘积 x i x j 。把每个符号换成单位向量 v i ,乘积换成内积 ⟨ v i , v j ⟩ ;令半正定 Gram 矩阵 理路 正定与半正定矩阵 Positive definite matrix · Positive semidefinite matrix · PSD matrix 由二次能量严格为正或非负定义的实对称与复 Hermitian 矩阵。 X i j = ⟨ v i , v j ⟩ ,约束等价为
X ⪰ 0 , X i i = 1. 二次目标变为矩阵的线性目标 ⟨ Q , X ⟩ = tr ( Q ⊤ X ) 。去掉 rank-one 条件 X = x x ⊤ 后,得到一个凸优化问题 理路 凸优化问题 Convex optimization problem 在凸可行域上最小化凸目标且不等式约束为凸函数的优化模型。 ,其可行域变大且凸;最大化线性目标时取负号即可转成凸最小化。单位对角半正定矩阵满足 | X i j | ≤ 1 ,可行域非空、闭且有界,因此这里的线性目标能达到有限最优值。最大化问题的 SDP 最优值是原最优值上界,最小化方向相反。
直觉
离散符号只能取一条直线的两个方向,SDP 允许它们展开成球面上的向量,并用内积保留成对相关性。去掉 rank-one 条件扩大可行域,Gram 矩阵的半正定约束又让这份几何放松保持凸性;舍入再把角度关系变回离散选择。
图片加载失败 符号、单位向量与半正定松弛
例子与边界
Max-Cut 例子
对非负权 Max-Cut,符号表示割两侧,边 ( i , j ) 被切开指标为
1 − x i x j 2 . SDP 把它改为 ( 1 − ⟨ v i , v j ⟩ ) / 2 。随机取过原点超平面,以向量落在哪侧决定符号;两向量被分开的概率是夹角除以 π ,比较该概率与 SDP 边贡献得到 Goemans–Williamson 比率。
几何与数值接口
X ⪰ 0 表示所有向量 z 有 z ⊤ X z ≥ 0 ,不是每个元素都非负;负内积正是表达相反割侧。任意 PSD 矩阵都有 Gram 分解,向量维数可取 rank( X ) ≤ n 。
边界
松弛值本身不是离散解,必须给舍入及其期望/高概率分析。不同 min/max 问题的上、下界方向不能照抄。LP 松弛只保留标量线性约束,SDP 额外保留成对相关几何;代价是求解更重,并非所有问题都获得更好 integrality gap。
另一种用途不必把矩阵舍入成离散解。Lovász theta 函数 理路 Lovász theta 函数与零错误容量上界 Lovász theta function · Lovász number 用非邻点正交表示和单位柄向量证明容量上界,再给半正定原对偶及乘积证书,精确算出五边形的√5容量。 通过非边正交表示与半正定原对偶,直接给所有块长的零错误码大小上界;五边形的显式几何与矩阵证书共同得到 5 。这里零位置和迹归一化不同于 Max-Cut,不能沿用单位对角约束。
另一个必须分清的接口是一元区间非负性 理路 Markov–Lukács 区间非负多项式证书 Markov–Lukács theorem · Lukács interval positivity · 区间非负多项式的平方表示 用带准确次数界的端点加权平方表示刻画整个实区间上的非负多项式,转成有限Gram恒等式,并认证可达到的全局最小值。 :在非退化紧区间上,端点加权的两个PSD Gram矩阵与多项式非负严格等价。因此对 p − τ 配系数并最大化 τ ,得到可达到的真实最小值,而不是去掉某个秩约束后的松弛界。虽然定理也存在单平方表示,Gram可行域不必另加秩一约束;这个特定结论不能推广为任意多元平方和或任意SDP都无间隙。
推论与应用
Rank-one 原问题
在上述 n ≥ 1 的符号二次模型中,原符号向量 x 对应 X = x x ⊤ ,它 PSD、对角为 1 且 rank 1。反过来,满足这三项的矩阵可恢复一维单位向量,即符号解。这个实例唯一放松的是 rank 约束;一般 SDP 松弛还可能改变其他非凸约束。这个观察给出任何离散解都嵌入 SDP 可行域,因而最优值方向正确。
解矩阵到随机割的接口
锥规划的对偶与证书 理路 锥规划的对偶与证书 Conic programming certificates · Conic duality 用对偶锥统一最优性与不可行性证书,并以二阶半正定规划区分零间隙、最优值可达和弱不可行。 用迹内积构造半正定松弛的对偶界;核验原、对偶可行性后,目标差给出连续松弛的求解误差上界,舍入保证则仍需单独分析。
数值求解器返回的对称矩阵可能略微违反半正定或对角约束。可先做特征分解,将微小负特征值截为零,再由 Gram 分解取得向量;各向量范数非零时,将它们归一化为单位向量。修正后应核对可行残差,并把目标变化与求解误差计入近似保证。
取得 R d 中的单位向量后,抽取联合标准高斯向量 理路 多元正态分布 Multivariate normal distribution · Multivariate Gaussian distribution · Jointly Gaussian vector 以所有线性组合都正态刻画联合高斯向量,并由特征函数连接线性构造、退化支撑、全维密度与条件分布。 g ∼ N d ( 0 , I d ) ,即各坐标独立服从标准正态分布,按 sign ⟨ g , v i ⟩ 分边,就得到一个随机割。
因此 Max-Cut 的期望舍入值可以逐边写成
∑ ( i , j ) w i j arccos ⟨ v i , v j ⟩ π , 再与 SDP 边贡献比较得到近似比 理路 近似比 Approximation ratio 近似算法解值与最优值之间的最坏情形乘法保证。 。独立重复舍入并保留最好结果可提高达到指定质量阈值的概率;重复次数取决于该阈值下的单次成功概率。
总算法成本还包括 SDP 求解、矩阵分解和 O ( n 2 ) 的稠密矩阵存储,以及每次舍入和评估割值的工作。
参考资料
Michel Goemans, David Williamson, Improved Approximation Algorithms for Maximum Cut and Satisfiability Problems Using Semidefinite Programming , JACM, 1995.
Yurii Nesterov, Semidefinite Relaxation and Nonconvex Quadratic Optimization , Optimization Methods and Software, 1998.