Skip to content

模型Model

频率矩问题

Frequency moments

用 F_k 汇总频率向量,统一不同项数、流长与重复集中度目标。

形式陈述 ​

定义与特例 ​

给定流的频率向量和实参数 p>0,在非负频率下定义 Fp=∑ifip。F0=|{i:fi≠0}| 单独定义以避开 00;一般非负更新下 F1=∑tΔt,只有单位插入 Δt=1 时才等于更新数 m;F2 是 self-join size。

流 a,a,b,b 与 a,a,a,b 都长 4;前者 F2=22+22=8,后者 F2=32+12=10。任务可要求精确值,或给定 0<ε<1、0<δ<1,以至少 1−δ 的概率返回 (1±ε) 近似。

对非空单位插入流,从 m 个更新位置中有放回独立抽两次,键相同的有序位置对数正是 F2。因此 F2/m2 是两次抽取命中同键的概率。它不是频率的方差;在范数空间语言中,它与 ‖f‖22 相同,并直接测量碰撞集中度。对 0<p<1,相应表达只是拟范数幂,不能无条件沿用范数术语。

直觉

不同阶数给频率分布施加不同的放大方式:F0 只看支持集,F1 线性累计质量,F2 把碰撞和集中度放大,更高阶则越来越受最大坐标支配。它们共用一个记号,却不是把同一估计器的指数换掉就能互相得到。

频率向量与不同阶矩
例子与边界

AMS 二阶矩估计器 ​

选择四重独立且各自均匀取值的随机符号 ξi∈{−1,+1},维护

Z=∑iξifi.

更新 (i,Δ) 只做 Z←Z+ξiΔ,因此同一状态同时支持正负更新。展开可得

EZ2=∑ifi2+2∑i<jE[ξiξj]fifj=F2,

因为交叉项的符号期望为零。对频率 (3,1),符号同号时 Z2=16,异号时为 4,二者平均为 10,恰等于 32+12。

单副本波动很大。四独立性用于控制四阶矩与方差;重复独立副本先分组取均值,再取组间中位数,可把相对误差与失败概率降到目标范围。只写“两两独立使估计无偏”不足以支持集中保证。

各阶任务为何不同 ​

F0 只看支持集,不随同一键重复增长;F1 在当前频率非负的流中是带符号更新增量的总和,单位插入时才是更新数 m,无需 sketch;F2 测量碰撞集中度。更高阶 p 更受最大坐标支配,流算法空间随 p 出现相变,不能把 AMS 的平方换成任意指数就得到通用估计器。

General turnstile 中通常定义

Fp=∑i|fi|p.

若对奇数 p 直接使用 fip,正负坐标会抵消,甚至产生负的“矩”,失去范数语义。严格 turnstile 的非负性又要求每个前缀成立,不能只检查最终向量。

近似与输入边界 ​

乘法 (1±ε) 在 Fp=0 时要求精确返回 0,接口应单独约定空流或完全抵消状态。若结果只有加性误差,必须说明相对于 ‖f‖1p、尾部范数还是其他尺度;不能把两者统称“近似”。p 是算法参数,引用空间界时也不能固定后隐藏。

用同一条流比较精确与近似任务 ​

INDEX 到流式空间的归约提供了一个可复算的比较:前 n 项为 (1,x1),…,(n,xn),最后追加 (i,1)。当 xi=0 时全异;当 xi=1 时一个频率为 2,其余 n−1 个为 1。因此

F0=n+1−xi,F1=n+1,F2=n+1+2xi.

F0 和 F2 都能精确解码该位,故单遍精确算法在 U=2n,m=n+1 的这组输入上需要 Ω(n) bits;F1 对两类输入完全相同,不能承担这项解码。对 x=10110,追加 (4,1) 得 (F0,F1,F2)=(5,6,8),追加 (2,1) 则得 (6,6,6)。

对二阶矩,加性误差严格小于 1 时,两种答案仍能由阈值 n+2 分开;相对误差却需要 ε<1/(n+2)。固定常数相对误差无法维持这个间隔,所以精确二阶矩的线性空间下界与 AMS 的小空间近似并不冲突。成功概率相同也不足以迁移下界,必须同时保持输出误差尺度。

推论与应用

对 turnstile 流中的二阶矩 F2,AMS 二阶矩 Sketch用固定随机符号将频率向量投影为一个标量,再以重复和中位数控制方差与失败概率。其线性更新和可合并性来自同一随机投影;它直接实现的是 F2 估计,而不是所有 p 的频率矩或逐项 heavy-hitter 恢复。

频率矩统一了 distinct counting、流长、self-join size 与分布集中度等流式目标,并为 AMS、CountSketch 等线性摘要规定了精确估计对象。选用算法时还要固定 insertion-only 或 turnstile 语义、误差尺度与 p 的取值,不能只按 Fp 的共同记号迁移保证。

参考资料
  • Noga Alon, Yossi Matias, and Mario Szegedy, “The Space Complexity of Approximating the Frequency Moments”, Journal of Computer and System Sciences 58(1), 1999, pp. 137–147;作者稿 §3.4 Proposition 3.8(p. 16)给出非负整数阶 k≠1 的精确频率矩空间下界。
  • S. Muthukrishnan, “Data Streams: Algorithms and Applications,” Foundations and Trends in Theoretical Computer Science 1(2), 2005, pp. 117–236.
关系图谱9 个相邻概念 · 3 类关系

拖动节点调整位置。

显示关系

显示:依赖

  1. 前置三跳
  2. 前置二跳
  3. 前置一跳
  4. 当前条目
  5. 后续一跳
  6. 后续二跳
  7. 后续三跳
文字版关系按与当前条目的最短距离分组
类型化关系