形式陈述
线性规划是一类优化问题 理路 优化问题 Optimization problem 在可行解集合上最小化或最大化目标函数的计算问题。 ,也是凸优化问题 理路 凸优化问题 Convex optimization problem 在凸可行域上最小化凸目标且不等式约束为凸函数的优化模型。 的多面体特例:目标函数线性,可行域由仿射等式与线性不等式相交而成,因而是凸集。
一般形式与线性边界
线性规划(LP)是在实向量 x ∈ R n 上优化线性目标,并用有限个线性等式和不等式规定可行域。一般最小化形式可写成
min x c T x s.t. A ineq x ≤ b ineq , A eq x = b eq . 变量还可带非负或自由符号约束。目标与所有约束都必须对决策变量线性;若目标仍是 c T x ,却加入 x 1 x 2 ≤ 1 、‖ x ‖ 2 ≤ 1 或整数取值要求,就不再是这里定义的连续 LP。
不同教材对“标准形式”和“规范形式”的命名略有差异,使用时应直接写出约定。常见三种表示是:
表示
目标与约束
一般形式
线性等式、不等式与变量符号约束并存
等式标准形式
min c T x ,A x = b ,x ≥ 0
不等式规范形式
max c T x ,A x ≤ b ,x ≥ 0
这些形式可以互相转换。不等式 a T x ≤ β 加入松弛变量 s ≥ 0 后变成 a T x + s = β ;自由变量可写成 x j = x j + − x j − ,其中 x j + , x j − ≥ 0 ;一个等式也可拆成方向相反的两个不等式。转换会增加变量或冗余约束,可能引入退化,但不会改变原问题的可行解与最优值对应关系。
可行多面体与三种状态
有限个线性半空间与仿射子空间的交是闭凸多面体。LP 首先可能不可行;若可行,目标还可能沿某条可行射线无限改善;只有可行且目标有有限最优值时,才进入通常的最优情形。对非空多面体,线性目标若有有限下确界或上确界,该值能够取到。
无界可行域不等于目标无界。例如最大化 − x 且 x ≥ 0 时,可行域向右无限延伸,最优值仍为 0 ,在 x = 0 处取得。真正的无界需要存在一个保持可行并持续改善目标的方向。
若可行多面体含有极点,并且有限最优存在,则至少有一个最优极点;最优解也可能铺满一条边或更高维的面。含整条直线的多面体可能根本没有极点,因此“LP 的最优解总在顶点”需要这项存在条件,不能把非退化性当作替代。
直觉
线性约束把空间切成一个凸多面体,线性目标的等值超平面沿固定方向平移,最后接触可行域的位置给出有限最优。如果目标方向恰好平行于一个边界面,接触点可以是一整条边;若可行域沿改善方向无限延伸,便没有最后一条接触超平面。这个图像区分不可行、目标无界与最优可取三种状态,也解释了为何极点常重要,却不是无条件存在。
约束系数在建模时已经固定,变量才是算法要选择的量。例如 a x ≤ b 在 a , b 为输入常数时是线性的;若同时把 a 也作为决策变量,乘积 a x 就改变了问题类型。目标加入常数项只会整体平移目标值,不会改变可行域或最优解集合。
图片加载失败
例子与边界
二维资源例与几何图像
考虑
max x + y s.t. x + 2 y ≤ 4 , x ≥ 0 , y ≥ 0. 可行多边形的顶点为 ( 0 , 0 ) , ( 4 , 0 ) , ( 0 , 2 ) ,目标值分别为 0 , 4 , 2 ,故最优点为 ( 4 , 0 ) 。不画图也能验证:由 y ≥ 0 得 x + y ≤ x + 2 y ≤ 4 ,候选点恰好达到上界 4 。这是一份比“求解器给出了这个点”更强的最优性证书。
若再加入 x ≤ 1 ,旧最优点被切掉。由原约束的一半加上新约束的一半,得到 x + y ≤ 2 + 1 / 2 = 5 / 2 ;点 ( 1 , 3 / 2 ) 可行且达到此界,因而是新最优点。约束的非负线性组合在这里给出了目标上界,这也是对偶证书的基本机制。模型变化体现在可行多面体,而不是求解器的偏好发生改变。
若把 x , y 限制为整数,问题成为整数规划。连续多面体中的凸组合、极点和 LP 对偶仍可用于构造松弛,但不能直接保证整数可行或整数最优;LP 松弛与舍入 理路 线性规划松弛与舍入 LP relaxation and rounding 放宽整数可行域获得可计算界,再把分数解舍入为可行组合解。 与整数性间隙 理路 整数性间隙 Integrality gap 衡量整数最优值与其松弛最优值在最坏实例上的比值。 专门研究这道落差。
推论与应用
算法与对偶出口
单纯形法 理路 单纯形法 Simplex method 沿可行多面体顶点与边枢轴移动求解线性规划的方法。 沿基可行解移动;对数障碍与中心路径 理路 对数障碍函数与中心路径 Logarithmic barrier · Central path 在严格可行域中加入对数障碍,构造扰动互补条件,并由中心点的对偶证书得到可计算的目标误差界。 从严格可行侧逼近边界,并构造可计算对偶间隙。原始—对偶内点法 理路 原始—对偶内点法 Primal-dual interior-point method · Primal-dual path following 对原始可行性、对偶可行性与扰动互补条件联合取 Newton 步,以保正步长推进,并区分互补量与真正的可行对偶间隙。 还可从正但等式不可行的初值联合修正残差。它们求解同一 LP,却维护不同的不变量。线性规划对偶 理路 线性规划对偶 Linear programming duality · LP duality 从线性约束生成对偶界,并以弱对偶、强对偶和互补松弛连接两侧最优解。 为每个有限维 LP 构造界与最优性证书,弱对偶、强对偶和互补松弛属于模型建立后的理论,而不是理解线性目标与约束的前置条件。
Seidel 二维算法 理路 Seidel 二维线性规划 Seidel linear programming · Seidel randomized LP · Seidel 低维线性规划 随机加入半平面,在当前最优点被排除时降为边界上的一维区间问题,并用符号框区分不可行、有限最优和目标无界。 随机处理半平面,旧规范最优点被排除时就在新边界上求一维区间最优;它用符号框及有限起点提取区分不可行、有限目标和无界射线。Clarkson 加权抽样 理路 Clarkson 加权抽样 Clarkson weighted sampling · Clarkson iterative reweighting · Clarkson 迭代倍增算法 反复按整数权重抽取小样本,核验全部约束,并只在违反总权较小时倍增违反者,以基权增长证明期望终止。 则反复解小样本并核验全部约束,通过轻违反集倍增调整下一轮抽样概率;这里的加权内层与完整混合算法具有不同成本界。
网络流、匹配和近似算法会把具体结构编码成 LP。模型是否忠实、连续松弛是否过于乐观、数值求解是否达到容差是三个不同问题;不能把舍入造成的组合误差归因于 LP 求解器,也不能用一个很小的代数残差替代可行性与对偶间隙证书。
双矩阵博弈的支持枚举 理路 双矩阵博弈的支持枚举 Bimatrix support enumeration · Support enumeration for Nash equilibria 枚举双方的非空支持集,用最大化正概率裕量的线性规划识别精确支持,并覆盖退化博弈中的不等大支持与连续均衡族。 展示“固定组合选择后成为LP”的例子:支持内等收益、支持外最佳回应不等式和共同正概率裕量全是线性的;支持集的选择本身仍需指数枚举,不能由单个LP的可解性推出整个博弈问题高效。
有限分布的Kantorovich 输运问题 理路 Kantorovich 输运问题 Kantorovich transport problem 在指定边缘的联合分布上最小化搬运成本,允许拆分质量并利用弱紧性保证最优计划存在。 是一个具体线性规划:变量是非负搬运矩阵,行和固定源质量,列和固定目标需求,目标为逐路线成本的加权和。允许拆分质量使它与一般的确定匹配问题有所区别。
参考资料
Bernhard Korte and Jens Vygen, Combinatorial Optimization, 6th ed., Springer, 2018,Chs. 4–11。
Stephen Boyd、Lieven Vandenberghe,Convex Optimization ,Cambridge University Press,2004,§4.3 与第 5 章:LP 的仿射形式、几何解释和对偶界。