形式陈述
平方可积核理路平方可积核积分算子Square-integrable kernel operator · Hilbert–Schmidt integral operator · 平方可积积分核从核的平方积分建立有界与紧性,通过共轭转置核判定自伴,并区分积分核、算子零空间与逐点评价。已经能给出紧积分算子和奇异值的平方和。本页要多回答一个问题:什么时候能把特征值本身相加,并直接从核读出总和?这个总量又怎样变成随机函数截断后的平均平方误差?
全页采用实数标量。设 是非空紧度量空间, 是有限 Borel 测度,并且有全支撑:每个非空开集的测度都严格为正。设 连续、对称,且是正半定核理路正半定核positive semidefinite kernel · PSD kernel · 正定核函数以任意有限样本的 Gram 矩阵半正定为条件,定义核方法中的二元实值核。,即任意有限取点(允许重复)及实系数都满足
令
积分给出连续代表;作为 的映射仍按几乎处处等价类理解。下面会证明 紧、自伴且正,因此可以使用紧自伴谱定理理路紧自伴算子谱定理Compact self-adjoint spectral theorem · 紧自伴离散谱定理从达到最大绝对Rayleigh值开始构造正交特征向量,证明非零谱离散、趋于零及核以外的完备展开。的记号:将正特征值按重数排列为 ,选归一化特征函数的连续代表 。它们是 的完备正交规范基,未必覆盖整个 。
Mercer 展开和两个总量
正指标集可以为空、有限或可数无限。对实际存在的指标求和,有
级数在 上绝对且一致收敛。并且
这里对角线 是原来的连续核的点值,不是从任意 代表上抽取的值。
只引入本页需要的两个算子类别。紧算子 的正奇异值为 ;若 ,称为 Hilbert–Schmidt 算子,记 ;若 ,称为迹类算子。正紧算子的奇异值就是正特征值。式(2)说明这里的 是迹类,式(3)是其 HS 范数平方。本页还将证明
对 的任意完备正交规范基 都成立。因此正迹确实与坐标选择无关。
一个截断,对应三种不同的误差
允许 ,令
有限秩时只保留实际存在的项;全部正模态取完后,后面的尾和与误差都为零。正余算子 满足
若还有下一个正模态,;否则算子范数误差为零。此外
所以 。式(5)中的平方和是 HS 范数的平方,不能与 HS 范数本身混称。
允许不可积的非负损失权
若 可测且几乎处处有限,在零测异常集上任选有限值,则
于右边有限时,。这里始终使用原测度 的特征值和特征函数,只改变损失的计量方式。若 ,仅有 并不足以推出这个加权结论。
这些是足够条件,不声称每项都是所有推广中不可缺少的必要条件。去掉全支撑时,逐点展开应限制在 ;不能自动恢复测度看不见的点。
直觉
对协方差核, 是位置 的方差。把它对空间积分,得到平方波动的积分总量;只有测度归一化为概率测度时,才可称为空间平均。谱展开则把同一波动分配给互相正交的方向,每个方向得到 。迹公式说,这两种记账方式相同。
三种尾量回答不同问题:迹尾把漏掉的正谱质量全部相加;HS 尾先平方再相加、最后开方;算子范数尾只看剩余最大的一个方向。它们共享同一组谱,却不会有相同衰减速度。
真正困难的是“空间点值”与“ 等价类”之间的桥。一个二维零测集可以包含整条对角线,所以不能先得到乘积空间几乎处处的展开,再把 代进去。下面先在再生核空间中对每一个点使用 Parseval,之后才积分。
第一步:连续特征映射让点值有可靠来源
复用再生核 Hilbert 空间理路再生核 Hilbert 空间reproducing kernel Hilbert space · RKHS · 再生核希尔伯特空间把点值连续的函数 Hilbert 空间与其唯一再生核对应起来。的构造,记它为 ,,有 。对任意 ,
连续使 在 范数中连续。因此每个 都连续:
紧度量空间有可数稠密子集 。若 正交于全部 ,则 ,连续性使 处处为零。所以这些核截面是可数全体集, 可分。
也可分:可数拓扑基生成一个可数集合代数;其集合的示性函数与有理系数简单函数在 中稠密。这里的稠密性可由有限测度下的单调类逼近得到:能按对称差测度逼近的集合包含这个代数,并对递增并及递减交封闭,因而覆盖 Borel 集。测度完成后新增的零集不改变 。所以后文两处使用可数正交基都有根据。
第二步:包含映射的平方质量先给紧性
设
连续、非负且有界, 有限,所以 。再生点值界给
若 , 几乎处处为零。若某点 ,连续性会给一个非空开邻域,其上 有正下界;全支撑使该邻域测度为正,与 矛盾。因此 单射。
选 的完备正交规范基 ,对每个 用 Parseval,再用非负项的 Tonelli 定理理路Tonelli 定理Tonelli's theorem非负可测函数的二重积分与两种迭代积分相等,允许共同取无穷。,得到
还不能只写“所以紧”。令 投影到前 个 。对有限尾和,用三角不等式和数列 Cauchy–Schwarz;再以 的连续性取极限,便得
右边系数趋零, 有限秩,所以 是有限秩算子的算子范数极限,确实紧。紧性建立后,对 使用奇异系统,并在式(8)中选择其右奇异基(),便得 ,所以 。有限维时投影序列在全空间处终止; 时基为空,,所有式子仍成立。
第三步:把积分算子认作
对 ,映射 是 上的有界线性泛函,故由 Hilbert 伴随得到 。它也有向量积分表达
这不是形式记号:连续的可分特征映射保证强可测,而
保证 Bochner 积分存在;与任意 配对,就验证了式(9)。不使用向量积分时,也可直接用上述有界泛函定义 ,再取 得到同一个逐点公式:
因此 ,右边自然有连续代表。 紧使 紧;伴随规则使 自伴; 给正性。这里没有先假定核的迹公式。
第四步:用右奇异基先证明逐点对角式
对 的正特征对,令
由紧算子的完整奇异系统理路紧算子的奇异系统Singular system of a compact operator · Compact operator SVD · 紧算子左右奇异展开为一般紧算子构造两端的完整奇异方向,证明范数收敛与截断误差,并求完 Volterra 算子的混合边界奇异系统。,这些 是 的完备正交规范基,并有
因而选 作为连续代表;全支撑保证连续代表唯一。这里 是 输入端的右奇异向量,而 是输出端的左奇异向量。
现在对每个固定的 ,在 内对 用 Parseval:
这已经是处处成立的对角恒等式,尚未对 积分。同样展开 ,得到式(1);数列 Cauchy–Schwarz 使其逐点绝对收敛。
正谱为空时,奇异系统的完备性使 ,因此 ,不是只在乘积空间几乎处处为零。有限正谱则给有限和;它不要求 本身有限维或 。
第五步:Dini 把逐点控制升为统一控制
式(10)给 。每个 连续,定义域紧,极限零函数连续,所以Dini 定理理路Dini 单调一致收敛定理Dini's theorem · Dini monotone convergence theorem在紧定义域上,把连续函数列朝连续极限的单调逐点收敛提升为一致收敛。给 。对两个点的尾系数再用 Cauchy–Schwarz,
于是绝对值级数的尾也在整个 上一致趋零。这证明式(6)以及 Mercer 的绝对一致收敛,未假定所有特征函数具有一个共同的上确界范数界,也未声称 一定有限。
第六步:此时才积分,并验证换基不改正迹
对式(10)用 Tonelli;由于 ,
再取 的任意完备正交规范基 。谱展开给非负二次型
对非负双重和换序,随后对每个 用 Parseval,得到
核方向贡献零;即使换基后不再显式列出核向量,内层 Parseval 仍等于一。这就是式(4)的基无关性证明,不需要非自伴算子的 Lidskii 定理或任意乘积的循环迹规则。
HS 恒等式也要在当前的 上验证,不能把区间版本的定义域悄悄扩张。对任意基 ,连续有界核的每个截面都在 中,截面 Parseval 与 Tonelli 给
另一方面,谱展开和同一个非负双重和计算给左边 ,证明式(3)。对正余算子 重复计算,就得到式(5)。算子范数尾则由谱展开的平方估计及单位输入 取等号得到。
第七步:加权等式只交换非负项
将已经逐点成立的式(10)乘以 ,Tonelli 立即给式(7),允许两边共同为 。同理
若总和有限,这是一个收敛非负数项级数的尾,故趋零。若总和无限,式(11)仍合法,却不能写成未经检查的“总量减去已保留量”;两者都无限时会出现无定义的 。
例子与边界
Brownian 协方差:先确认乘积方向,再读出谱
在 取 Lebesgue 测度及 。高斯过程页理路高斯过程Gaussian process · Gaussian random process任意有限组坐标都服从联合高斯分布、因而由均值函数与半正定协方差核确定其有限维分布的随机过程。已用指标函数特征表示证明它是 PSD 核;它也连续,故满足本页条件。
已有 Volterra 算子 及 。因为 ,三角域上的绝对积分有限,Fubini 定理理路Fubini 定理Fubini's theorem在适当可积条件下,多重积分等于任意次序的迭代积分。给
所以协方差算子是 ,不是 。后者对应的混合端点方向相反。
复用 Volterra 已完整证明的左右奇异系统,记
由 、,
左侧族 的完备性和 已在奇异系统页证明,所以这些 覆盖整个 。这里没有把“找到候选特征函数”冒充“找到全部谱”。
不逐项求和,直接得到三个准确总量
对角线积分、平方核积分与首个特征值分别给
因此 、。这两个级数和是核积分的结论,没有从预知的 zeta 值倒推迹。
保留前 个模态,写
这些减法合法,因为两个总量有限。若 ,还有可证明的包围
证明不依赖数值采样。对递减函数 、,每个整数 都有
先有限求和,再取非负递增极限,得到
计算两个反常积分并取 ,就是式(14)–(15)。于是迹尾为 阶,HS 范数 为 阶,算子范数尾为 阶。由于此例有 ,还有
共同特征函数上界是这个具体例子额外提供的,不能倒写进一般定理。
图中曲线只作有限采样示意,严格上、下界分别由式(16)和下文式(22)的解析证明保证。
零核、有限秩与非平凡零空间
的正谱为空,迹、HS 范数和全部尾误差都是零,不对空序列取最大值。
在 上取 。唯一正特征对是 、,其余与 正交的函数组成 。直接检查
时迹尾、HS 范数和算子范数都为 ,但 HS 范数平方是 ; 时四者均为零。 仍然无限维。这是“正模态只构成 的基”的直接实例。
HS 不等于迹类
复用紧谱页的正对角算子 。它有限截断的算子误差为 ,所以紧;,所以 HS;,所以不是迹类。两个级数的成败也可分别由积分比较与按倍增区间分组证明,无需知道平方和的具体值。
若在 的一组基上定义这个算子,乘积正交基使 在二维 中收敛,得到一个 核代表。但它不可能拥有满足本定理条件的连续 PSD 核代表,否则式(2)会迫使发散的 有限。
所以紧性只给特征值趋零,HS 再给平方可和,连续正核的逐点结构在这里进一步给一次可和;这三层承诺不能互换。
有界、可测、PSD,仍可能有“错误的对角线”
在 上令
对角线闭,所以 是有界 Borel 函数,且对称。对有限样本按相同取值分组,
因此它甚至保持了有限 Gram 意义的 PSD。可是每个单点的 Lebesgue 测度为零,故 于二维几乎处处,其积分算子为零;另一方面 ,所以 。若无声删除正则性条件,所谓迹公式便成了 。
同样, 与 Brownian 核给出相同的 算子 ,但其对角积分是 。这不是数值误差,而是任意核代表无法确定对角线。连续特征映射及其可分 RKHS 正是前面避开这个陷阱的机制。
全支撑也有具体边界:取离散紧空间 、 和单位矩阵核 、。 只看见 模态,按积分产生的连续特征代表在 为零,不能恢复 。限制到支撑 后,谱展开才与原核完全一致。
推论与应用
把谱尾解释成真正的随机函数损失
取标准 Brownian 运动理路Brownian 运动Brownian motion · Wiener process · 布朗运动 · Wiener 过程从零出发、具有独立平稳高斯增量与几乎处处连续路径的连续时间随机过程。的连续版本 于 。在共同的路径异常零集上置零后,连续路径与各坐标可测保证 联合可测:用二进网格的分段常值过程逐点逼近即可。Tonelli 给
因此几乎每条路径属于 。定义普通的路径 Lebesgue 积分
这是对路径作有限维正交投影;不是未经定义的随机微分积分。Cauchy–Schwarz 给 ,从而各系数平方可积。
计算协方差前可先验检查换序:,而每个 连续有界,所以涉及的二重绝对积分有限。Fubini 与 给
这些系数也确实联合高斯。以网格步长 的左端过程 替代 ,其积分系数是有限个 Brownian 坐标的线性组合,并有
使用高斯过程页已证明的“有限坐标线性组合的均方极限仍高斯”规则,对有限组系数的任意线性组合重复此论证,得到联合高斯。式(18)的对角协方差遂使 成为相互独立的标准正态族,独立性按任意有限子族理解。
展开有限和的平方,式(18)给每个 的准确余方差
因此对任意非负可测权 ,Tonelli 与式(11)给
特别地 。这里得到的是积分均方逼近。确定性协方差核的一致 Mercer 收敛,并不在本页证明随机级数几乎处处一致收敛,也没有替任意无限维空间建立高斯测度存在定理。
同一组模态,换成端点附近的奇异损失
保持原来的 Lebesgue 谱坐标,只把误差权改为 (), 的值任取有限数。由于对角线为 ,加权总量准确等于
所以 时
且式(19)的加权误差趋零。特别是 :权本身不可积,但核在被固定的端点 以 消失,抵消了足够的奇性。
还可以给出这个临界附近实例的定量证书。令 ;有限 时 。由 和式(16),
在 处分开积分,得到
这一步解释了为什么不能只用“上确界误差乘 ”。
而 不是同一种可控情况。每个固定模态满足
所以单项加权积分有限;但全部非负模态的加权和由式(20)发散。更强的结论是:每个有限截断的加权误差已经无限。由 ,对 ,
因此
时 ,结论直接成立。同一下界使所有 的误差也无限。于是本例加权误差趋零恰好发生于 ;普通 误差却始终趋零。这是更换损失后真实发生的成败转移,证明全过程都没有用 。
这不等于把底层 Hilbert 测度改成 后重新求谱。本页未声称原来的 还是那个新积分算子的特征系统,也不需要断言新算子是否有界。
已解任务:保留三个模态,交付什么误差证书
任务。 用三个 Brownian 模态近似协方差与随机路径。分别报告迹尾、HS 范数、算子范数;给出核的一致误差界;最后比较 与 两种损失。哪些部分能靠有限程序复算,哪些仍依赖前面的证明?
解。 前三项只涉及有限有理数计算:
代入式(13),
作为读数提示,
这些小数不是经过有向舍入证明的数值包围。精确表达式与式(14)–(15)才是权威证书;例如
随机路径的普通积分均方误差就是 ,不是 。核的一致误差不超过 ; 损失不超过 ; 损失则为 ,端点区间 上的 已足以证明。
下载有限算术读数器,可运行 python foundations-positive-kernel-trace-certificate.py --n 3 --self-test。它用精确分数核对有限系数,输出尾量的精确公式、由解析证明提供的积分比较界以及明确标为近似的浮点读数;自测还覆盖 、一秩核和重复点的 PSD 分组计算。有限计算不会证明 Mercer 定理、无限谱完备性、无穷和收敛、连续区间上的全域不等式或随机路径收敛;这些责任由本页相应证明承担。
读完后应能独立交付四项:先核对连续性、PSD、有限测度和支撑;从对角线求正谱总质量;按所问范数选择正确尾量;换损失后重新计算加权对角积分,并在发散时直接检查余项而非相减两个无穷。
如果目标是解 ,应转向Picard 判据理路Picard 判据与紧算子的最小范数逆Picard criterion · Picard solvability condition · Moore–Penrose inverse of a compact operator以余核正交和加权平方和同时判定精确可解性,给出最小二乘逆的真正定义域,并算出 Green 数据的 q>5/2 阈值。,因为迹有限不保证逆有界或数据真在值域中;若目标是有限样本的主方向,则核 PCA理路核主成分分析kernel principal component analysis · kernel PCA · KPCA在特征空间中心化 Gram 矩阵并求谱方向,给出规范化与样本外投影。处理的是经验协方差及训练样本重构误差。它们与本页的连续协方差谱质量各自保留准确的输入与输出。
参考资料
- Ernesto De Vito、Veronica Umanità、Silvia Villa,An extension of Mercer theorem to matrix-valued measurable kernels,作者托管的 2012-04-23 预印本;Theorem 4.1 及证明,印刷/PDF 页12–14;Theorem 6.1 及证明,印刷/PDF 页20–22。本文只取实标量、紧度量空间、有限全支撑测度的情形,以 RKHS 包含映射及完整奇异系统证明逐点展开,再直接计算正迹。
- Gerald Teschl,Mathematical Methods in Quantum Mechanics,2009 年第一版,PDF 标注版本日期 2009-02-12;§6.3,印刷页139–144/PDF 页151–156,尤其 Lemmas 6.9–6.10、6.13、6.15:HS、迹类的奇异值约定与基无关迹。本文只用正紧算子的非负双重和证明基无关性,不调用一般 Schatten 理想或非自伴 Lidskii 定理。
- Brownian 的 、 与 、三个尾量及其积分比较、奇异权阈值与对角反例均在本文独立推导;Volterra 两端系统的完备性复用库内奇异系统页,Brownian 的连续版本与高斯均方极限复用相应概率页。参考中的一般核展开不能代替本页逐点对角式的证明。