Dudley 熵积分

只选一个 $\epsilon$-cover，会把每个 $t$ 近似为单个代表。粗网代表少，却留下大的近似误差；细网误差小，但一次并集界要支付庞大的 $\log N(\epsilon )$。chaining 不在二者间二选一，而是构造逐渐变细的网

取 $T_0=\{t_0\}$，并记 ${\pi }_j(t)$ 为第 $j$ 层近邻。有限层分解保留最后的余项：

先对有限索引集把网细化到分清所有正距离，零距离的坐标几乎必然相同，余项便消失。再增加可数决定集中的有限子集，并对包含基点的非负上确界应用单调收敛定理理路单调收敛定理Monotone convergence theorem非负可测函数单调递增时，积分极限等于极限函数积分。，可得到一般结论。子集与全空间的覆盖数在固定倍数半径下比较，只改变普适常数。

有限个中心化增量 $Y_1,\dots ,Y_N$ 若都满足 $E{e}^{\lambda Y_i}\le e^{{\lambda }^2{v}^2/2}$，则由Jensen 不等式理路Jensen 不等式Jensen's inequality凸函数作用于平均值不超过函数值的相同加权平均。与 $e^{\lambda \underset{i}{max}{Y}_i}\le \sum _i{e}^{\lambda Y_i}$，有 $E\underset{i}{max}{Y}_i\le \log N/\lambda +\lambda v^2/2$。优化 $\lambda >0$ 得 $v\sqrt{2\log N}$；不需要各增量独立。

第 $j$ 层有更多候选增量，但每个增量的次高斯尺度也更小。对这一层取最大值的代价约为

把各层求和，再把 dyadic 和式比较为积分，就得到熵积分。证明的关键不是某个神奇常数，而是“细尺度只为细微修正付费”的多分辨率组织。

Rademacher 过程中的版本 ​

给定 $m\ge 1$ 个输入 $S=(x_1,\dots ,x_m)$，以及非空实值函数类 $F$，假设其样本值向量集在 ${\mathbb{R}}^m$ 中有界。定义

其中 ${\sigma }_i$ 是独立 Rademacher 符号。条件于 $S$，利用 $\cosh u\le e^{u^2/2}$ 和符号独立性，有

其中经验伪度量

满足所需的次高斯增量条件。因此 Dudley 界可把经验Rademacher 复杂度理路Rademacher 复杂度Rademacher complexity · empirical Rademacher complexity通过拟合随机符号理解函数类复杂度，推导线性类、有限类和泛化界，并说明损失类与数据依赖选择的区别。控制为 $F$ 在样本度量下的覆盖熵积分。若改用常见的经验 $L_2$ 度量 $d_{S,2}$，公式外会显式出现 $1/\sqrt{m}$。

经验过程的截断余项 ​

令 $D_S=\mathrm{diam}(F,d_{S,2})$。当 $D_S>0$ 时，一个常用的截断形式是

若 $D_S=0$，所有样本值向量相同，复杂度为零。上述有界向量集全有界，线性过程在其闭包上连续，故这里的上确界与近似也没有额外的可分性障碍。

截断证明保留最后一层余项，并用Cauchy–Schwarz 不等式理路Cauchy–Schwarz 不等式Cauchy–Schwarz inequality · 柯西–施瓦茨不等式内积的绝对值不超过两向量范数之积，且等号精确刻画线性相关。逐个符号向量控制：

因此半径 $\alpha$ 的最后近似只花 $O(\alpha )$；粗尺度仍按次高斯度量 $d_S=d_{S,2}/\sqrt{m}$ 累计。这两个尺度不能混用。

例如，若 $D_S\le A$ 且对 $0<\epsilon \le D_S$ 有

积分给出约 $A\sqrt{d/m}$ 的复杂度，而单尺度离散化往往多付一个不必要的对数。这个改进来自多尺度几何，不是把并集界常数调得更精细。

不能省略的假设 ​

覆盖数有限并不自动保证 Dudley 公式可用。首先必须建立随机过程相对于所选度量的次高斯增量；若只有重尾矩界，最大增量的尾部可能完全不同。其次要核对所用过程版本的可分性；上确界恰好可测仍不够。取 $U\sim U[0,1]$、$X_t={\mathbf{1}}_{\{t=U\}}$，每个固定坐标及每个固定增量都几乎必然为零，可取 $d\equiv 0$，但 $\underset{t}{sup}{X}_t=1$。任一固定可数子集上的上确界却几乎必然为零，因此这一过程不满足上述可分性条件。

一般过程也没有纯半径的截断余项。取 $N$ 个独立标准高斯坐标，异点距离设为 $\sqrt{2}$；直径固定，而期望最大值随 $N$ 无界增长。若把截断半径取到直径，再无条件丢掉细尺度增量，就会错误地给出与 $N$ 无关的上界。

熵积分是上界而非恒等式。某些集合的覆盖数估计很粗，积分就会松；对高度各向异性的过程，Talagrand 的 generic chaining 与 ${\gamma }_2$ 泛函能给更准确的几何刻画。基础学习界通常不需要引入整套 generic chaining，但不能把 Dudley 界称为任意过程上确界的精确公式。

覆盖数理路度量熵与覆盖数Metric entropy · Covering number · 覆盖数在指定尺度和度量下，用有限网覆盖函数类，并以覆盖数或度量熵量化其有效大小。描述确定性几何，Dudley 定理把它转成随机上确界；Rademacher 泛化界再把随机上确界转成风险偏差。三步的假设各不相同：函数类有小 cover、过程增量次高斯、损失和抽样协议允许泛化归约。任何一步失效，都不能靠下一步的公式补救。

局部化时，只对围绕低风险解的子类计算熵积分，可进入局部 Rademacher 复杂度理路局部 Rademacher 复杂度Local Rademacher complexity · 局部化复杂度围绕低风险或低方差函数逐层收缩函数类，以复杂度不动点刻画快于全局平方根速率的超额风险。和 fast rate。这里需要额外的方差—均值关系，而不是简单把全局 $F$ 换成一个看起来更小的集合。