形式陈述
设 是实矩阵公理库矩阵Matrix以有限行列集合为索引、取值于半环,并以中间指标求和定义乘法的函数。,。行玩家选行、列玩家选列,行收益为 ,列收益为 。以 表示行玩家的混合策略公理库混合策略Mixed strategy · 混合策略剖面将有限纯策略上的概率分布作为选择,独立抽样形成联合结果,并由支持集上的最佳回应刻画最优混合。集,列玩家的策略集为 。双方独立抽样时,行玩家期望收益是
行玩家希望这个数大,列玩家希望这个数小。有限矩阵博弈极小极大定理断言
两侧最优策略都能取得,公共数 称博弈的价值。左边给行玩家一份能抵抗所有列策略的收益下界,右边给列玩家一份能压住所有行策略的收益上界。由于列收益为其相反数,双方的均衡收益是 ;零和并不要求 。
写成一对线性规划
固定 后, 是各列收益 的加权平均,其最小值就是最小的列收益。因此行玩家保证至少 ,等价于每列收益都至少为 。固定 的情形同理,得到
这是线性规划对偶公理库线性规划对偶Linear programming duality · LP duality从线性约束生成对偶界,并以弱对偶、强对偶和互补松弛连接两侧最优解。的一对原始与对偶问题。可以直接从上界构造核对配对:给 配非负向量 ,给 配自由数 ,则对原始可行点
要让右边对任意 、自由变量 都有有限上界,必须有 和 ;此时上界就是 。因此自由的 产生概率归一化等式,原来的概率等式产生自由的 。收益可能为负,不能另加 。
弱对偶、强对偶与取得
任何两侧可行解都满足
第一个不等式是用概率 平均行方的各列保证,第二个是用概率 平均列方的各行上界。这证明最大下界不超过最小上界,也给出了无需运行求解器的证书检查方式。
令 分别为 的最小、最大条目。任意概率 配 都原始可行,任意概率 配 都对偶可行;所有可实现的期望收益又落在 内。因此两侧可行且最优值有限。有限维 LP 强对偶保证两侧取得最优解且目标相等,便证明了上面的 minimax 等式。
直觉
行玩家选定 后,每一列都给出一条可能的收益,最危险的是其中最低的一条。行玩家提升的是这些收益的下包络。列玩家选定 后,行玩家会挑收益最高的一行,因此列玩家降低的是各行收益的上包络。定理说,允许概率混合后,这两个优化过程会在同一高度相遇。
两侧最优包络给出相同价值 图中粗线分别表示 和 ,黑点给出最优概率。两点横坐标可以不同,因为它们属于不同玩家;相同的是纵坐标所表示的行收益。
例子与边界
从纯策略间隙算到混合价值
取
若行玩家只能选一行,第一行最坏收益为 ,第二行为 ,所以纯策略最大保证是 。若列玩家只能选一列,第一列允许行方取得的最大收益为 ,第二列为 ,所以纯策略最小上界为 。两者不同,说明没有纯鞍点;这并不违反允许混合的定理。
设 。面对第一列,行方收益为 ;面对第二列,为 。当 ,第一条较低且递增;当 ,第二条较低且递减。下包络的最大值因而在交点取得:
设 。第一行收益为 ,第二行为 。当 ,第二条较高且递减;当 ,第一条较高且递增。因此上包络最小点为 ,其值也是 。
逐项核验证书
候选最优策略是 、。两向量都非负且坐标和为 ,并且
前一式证明无论列方怎么混合, 都保证收益至少 ;后一式证明无论行方怎么混合, 都将收益压到至多 。两侧相等形成精确最优证书。本例两向量全支持,所以各纯回应收益全部相等;一般最优策略的支持集外动作只需满足对应弱不等式。
鞍点与 Nash 均衡
一对策略 是零和博弈的Nash 均衡公理库Nash 均衡Nash equilibrium · 纳什均衡 · 混合策略纳什均衡每位玩家都无法在其他人策略固定时通过单方偏离增加期望收益;有限博弈总存在这样的混合策略剖面。,当且仅当对所有 有
左边表示行方无法提高收益,右边表示列方无法降低行收益。任取最优行策略和最优列策略,两侧保证把中间收益夹在 ,所以配对后满足鞍点条件。反过来,鞍点收益一方面是行方对当前列策略的最大值,另一方面是列方对当前行策略的最小值,夹住 minimax 两侧,故必等于 ,双方都是最优策略。
共同价值不保证策略唯一。例如全零矩阵的任意概率对都是均衡。有限性也不可随意删除:无限策略空间可能不取得最优值,交换极值需要额外条件。
推论与应用
Yao 极小极大原理公理库Yao 极小极大原理Yao minimax principle · Yao principle · Yao's principle在有限输入与固定资源预算下,把最坏输入随机算法的最小损失等同于最难输入分布上的确定性最小平均损失。把确定性算法与输入作为两侧纯策略,以损失形成矩阵。算法方最小化损失、输入方最大化损失,因此若沿用本页行方最大化的约定,应让输入做行、算法做列,或统一对损失取负。资源预算与合法输入域固定后,困难输入分布和随机算法保证才由同一个有限定理连接起来。
乘法权重更新方法公理库乘法权重更新方法multiplicative weights update · MWU以指数方式降低高损失动作的权重,并用总权重势函数给出累计性能保证。提供逼近矩阵博弈值的算法方向。对任意候选 ,都可计算下界 与上界 ;必有 。若 ,则双方在当前配对中的单方改进都至多为 ,因为当前收益也位于 。这个可计算间隙可以检查近似输出;具体更新过程如何缩小间隙,则需要相应的遗憾界分析。
参考资料
- Tim Roughgarden,CS261 Lecture 10,2016-02-04,§1.2–1.4,Theorem 1.1,pp. 2–5;矩阵 minimax、对偶 LP 与自由变量。
- Omar Antolín Camarena,Matrix Games,Math 340 作者课程原稿,价值、minimax 和线性规划部分。