稀疏恢复:给解码结果附上两份证书
形式陈述
完成本页后,你应能交出一个完整结果:从欠定观测算出候选,检查原始可行性与对偶最优性,再用独立的矩阵证书说明哪些真信号确实被恢复。还要能拒绝三种不够用的证据:“全部短列集独立”“一次求解器成功”和“打印的 gap 很小”。
核心接口是基追踪的稀疏恢复证书理路基追踪的稀疏恢复证书Basis pursuit recovery certificate · RIP certificate for sparse recovery · 基追踪与受限等距恢复从无噪声欠定观测建立 ℓ1 解码器,用完整分块证明和可精算的单纯形矩阵分开认证优化最优性与统一稀疏恢复。。若矩阵与范数还不熟悉,先补矩阵理路矩阵Matrix以有限行列集合为索引、取值于半环,并以中间指标求和定义乘法的函数。、向量范数理路赋范向量空间Normed vector space带满足正定、齐次与三角不等式范数的向量空间。和Cauchy–Schwarz理路Cauchy–Schwarz 不等式Cauchy–Schwarz inequality · 柯西–施瓦茨不等式内积的绝对值不超过两向量范数之积,且等号精确刻画线性相关。。受限特征值理路受限特征值与稀疏可识别性Restricted eigenvalue condition · Compatibility condition for Lasso · Lasso 兼容条件在稀疏误差锥上定量比较预测与参数范数,精确定标兼容常数和受限特征值,并处理非零优化容差。用于辨别稀疏与锥条件;线性摘要理路线性 SketchLinear sketch以线性映射 Sf 压缩频率向量,使更新与分布式摘要可直接相加。是末尾的更新与合并迁移,不是开始解码前必须学完的整条路线。
固定 ,定义 的整数矩阵 :第 行前 个元素为一,第 个为 ,其余为零。令正对角矩阵 满足
数学观测是 ,精确复算时输入行缩放后的 。不要将 的未经缩放 Gram 当作 的 Gram。未知信号不作为解码器的输入;答案中的真值只用于出题及事后核对。
直觉
先问算法有没有解对给定目标,再问目标有没有选中真信号。两份证书可能一起成功,也可能第一份成功、第二份失败。反例恰好说明了为什么要保留这两个问题。
这个矩阵族的好处是全部核方向都相同: 与 有相同观测。解一个欠定凸问题便能化成沿一条直线找中位数。一般矩阵未必有这个捷径,但可行性、对偶相关性、目标值和统一恢复条件仍是可以重复使用的报告接口。
例子与边界
任务一:七个测量值,不先猜支持
取 、。
- 解 ,给出全部可行点。求 的最优区间,报告
- 从 构造一个可行对偶 ,报告相关性向量、原始目标、对偶目标、gap 与精确可行残差
- 证明 的任意三列 Gram 的谱,选 核验严格常数差。为什么检查 16 个有符号单位向量还不是统一恢复证明?
- 把任务的输入改成 ,不重新运行通用 LP,给出解和对偶证书
任务二:把恢复证明补到最后一个坐标
设 为正整数, 为真支持, 按支持外误差绝对值降序,每块大小至多 。
- 从 最优性推出常数一锥,并解释 来自哪个假设
- 证明 ,明确为什么前一块是满块,最后一块为何不构成例外
- 用受限下界和尾块上界拼出 ,完成 与唯一性
- 将严格条件换为等号,或只核验真支持上的最小奇异值,哪一步失去依据?
任务三:十五乘十六的迁移,保留量词
取 ,观测仍由相同构造得到。本题用于核对的真信号为 ,其余为零。
- 算 ,从 求零均值解和中位数,恢复候选
- 对所有六列子矩阵证明统一谱公式,核验 。写出需枚举的支持个数,但不要以枚举代替证明
- 用 给出一次优化证书,说明活动两列为什么满秩
- 对所有至多二稀疏信号,再用核质量给出第二种统一证明。若换回 ,上述保守 RIP 条件失效是否意味着恢复失败?
任务四:一个正的稀疏下界,仍会返回错误信号
令
- 逐对检查列独立性,算非平凡二列 Gram 的特征值,并说明所有一稀疏信号可识别
- 参数化全部可行点,求基追踪唯一解。给出可行对偶,证明这不是数值求解器的错误
- 用一个核向量指出严格零空间条件在哪里失败。将第三列改为 ,,精确求出该真信号成功、失败和非唯一的分界
- 对标量问题 ,解释为什么打印的目标差零不是合法的原始—对偶 gap
任务五:一次更新、一回合并与一份可重跑报告
- 两台机器使用相同 。机器甲依次更新 ,机器乙更新 。写出各自状态和合并结果,判断何时可调用二稀疏恢复保证
- 说明本构造的状态维数、最坏单坐标更新费用和实数精度的额外责任。两个站点分别使用 和 ,直接相加是否仍符合协议?
- 运行下方标准库脚本,核对 56 和 8008 个 Gram,以及包含零信号的 530 次符号/支持解码。解释为什么有理结果比浮点误差显示为零更强,但仍不是一般矩阵的认证算法
- 在 中取 。报告中位数最优区间,说明解码器为何必须允许非唯一结果
推论与应用
答案一:从测量解出候选,再看它是否可认证
,且 。 的秩为七:它的行两两正交且非零,或逐行用新的第 坐标消元。因此全部可行点为 。令其和为零,得到
的中间两个次序统计量都为 ,所以 是唯一中位数,。这个推理从 解方程得到候选;没有把“真支持是一”当成算法已知条件。
取 ,有
因此对偶可行,,。支持外相关性严格小于一,支持列长度为一,故该最优解唯一。
任意三列 Gram 为 ,常数方向特征值 ,零和方向特征值 。故 ,。分块定理对所有幅值和支持成立。测试 16 个向量只能检查实现错误;任意实幅值上的结论还需齐次性,而支持外竞争解的排除需要定理或核证明。
输入变成 时,解为 ,可取 ,相关性取反,仍在无穷范数单位球。此时 、gap 和可行残差都为零。对偶不必乘二,因为其相关性上限始终是一。
答案二:每一步消耗的条件都写出来
最优性给 ,而三角不等式给 ,相减得常数一锥。 则同时使用真信号模型 与候选的精确等式可行性。
若 存在且 ,前一块一定含有 个元素,否则分块已结束。排序使本块每个绝对值至多为前块平均绝对值,因而
求和时前块索引从一到倒数第二块,质量之和至多为全部支持外质量。只有一块时左端为空和零,所以证明不需要除以一个短块大小。
置 ,用 得
严格常数差给 ,随后由锥给 。任意最优解都满足这条链,故唯一性成立;零信号的唯一性直接来自零目标。若常数恰为等号,非零长度不会立刻矛盾。若只检查真支持,既没有对 的下界,也没有对未知尾块的上界,不能写出这条链。
答案三:新的支持和幅值,共用同一矩阵证明
逐行计算 得
因为 ,零均值解为 。其第三坐标为 ,第十二坐标为 ,其余十四个坐标为 。 的两个中间值都是 ,所以解码返回 。
对任意六列,Gram 为 ,谱为 一次、 五次。共有 个支持,公式与支持身份无关;比值 证明所有二稀疏信号的恢复。
取 ,则 ,。相关性在活动坐标上分别为 ,外部为零;。活动 Gram 的特征值为 ,所以满秩;严格对偶证书给一次解码的唯一性。
核仍为常数向量,任何二坐标上的质量至多 ,补集至少 ,严格核条件直接成立。对 ,RIP 所用六列比值为四,保守条件失败,但核质量为至多 对至少 ,仍严格分离。这说明“没通过这份充分证书”与“已经构造出失败输入”是不同结论。
答案四:把失败归到正确的一层
列对 的行列式依次为 ,都不为零。后两对的 Gram 具有特征多项式
所以特征值为 。最小值为正;最大的绝对偏离一是 。两个一稀疏表示若同观测,它们的二稀疏差就在核中,与二列独立矛盾。因此可识别性成立。
全部可行点是 ,目标在三个区间上的斜率为 ,唯一最小点在 ,返回 。对偶 给相关性 ,、gap 零。凸目标被正确求解;失败在于它比真信号更偏爱两项小系数。
核向量 的第三坐标质量三,大于补集质量二,违反严格零空间条件。将第三列改为 时,可行目标为 。 斜率 , 斜率 , 斜率 。所以 唯一最优为 , 全部 最优, 唯一最优为 。这里结论针对指定真信号,并未声称大 时所有一稀疏信号都能由基追踪恢复。
标量候选 不满足 。 不是可行原始上界减对偶下界;真正最优值为一。任何数值报告都应把残差和对偶可行性与目标差分开列出。
答案五:可合并性、求解成本和精度分开核算
机器甲的状态为 ,机器乙为 ,相加为 。共享同一矩阵、坐标编码和数值约定时,精确加法保持观测;合并频率向量确实至多二稀疏,故可调用 的统一恢复定理。若两段各自稀疏、合并后支持却超过二,不能直接沿用同一稀疏保证。
状态有十五个实数,单次坐标更新最坏改变十五项。矩阵若显式存储需 个系数;本构造可由列号按公式生成,仍需计入生成与运算时间。精确实数坐标不是十五个有限比特;实际数值误差需要另外分析。若第二个站点用 ,合并状态为 ,一般不等于 ,违反协议。
下载Python 标准库复算器,可直接运行:
shpython3 basis-pursuit-recovery-reader.py
python3 -O basis-pursuit-recovery-reader.py
python3 basis-pursuit-recovery-reader.py --p 8 --measurement 1,1,1,1,1,1,1
python3 basis-pursuit-recovery-reader.py --p 16 --measurement 0,-2,1,1,1,1,1,1,1,1,23,-1,-1,-1,-1
1
2
3
4
前两条应给相同的 JSON。自检中,八列矩阵测试零信号及 16 个带符号单位输入;十六列矩阵测试零信号、32 个带符号单点输入和 个带符号双点输入,共 次。每次解码函数只收到 ,然后独立核对真值、精确残差、对偶相关性、gap 和严格支持余量。Gram 部分由有理权重直接重算,并逐个检查常数特征方向和零和特征方向,数目分别为 56 与 8008。
脚本构造一次增广方阵的逆需要 次有理算术,缓存逆需要 个有理数;随后每个测量的零均值解用 次算术,中位数用排序实现,需 次比较。构造完整 Gram 需 次算术,枚举所有 列谱的此种对称校验需 次算术与比较。它没有隐藏一个通用 LP 求解过程。这些是算术操作次数;有理分子分母的位长会影响每次操作的真实成本,不是单位成本的任意精度比特界。
半支持例的零均值解为 ,最优平移区间为 ,目标恒为四。两端分别为 与原来的 ,所以非唯一。核在四坐标与补集上的质量相等,恰好解释这个边界。脚本如实返回区间,不把任选一个中位数当成唯一性证明。
参考资料
完整的可达性、受限奇异值分块证明、对偶推导和严格核条件见基追踪的稀疏恢复证书理路基追踪的稀疏恢复证书Basis pursuit recovery certificate · RIP certificate for sparse recovery · 基追踪与受限等距恢复从无噪声欠定观测建立 ℓ1 解码器,用完整分块证明和可精算的单纯形矩阵分开认证优化最优性与统一稀疏恢复。。该页使用 Vershynin 第一版 2024-05-20 作者文件 §10.5.2 的确定性定理,以及 Candès–Tao 的 arXiv:math/0502327v1 第 5–6 页区分稀疏识别与凸解码;本页所有具体矩阵、答案与标准库计算均独立展开。