Skip to content

频率矩问题

Frequency moments

用 F_k 汇总频率向量,统一不同项数、流长与重复集中度目标。

条目类型
模型

形式陈述

定义与特例

流的频率向量,非负频率下 Fp=ifipF0=|{i:fi0}| 单独定义以避开 00;一般非负更新下 F1=tΔt,只有单位插入 Δt=1 时才等于更新数 mF2 是 self-join size。

a,a,b,ba,a,a,b 都长 4;前者 F2=22+22=8,后者 F2=32+12=10。任务可要求精确值,或给定 ε,δ 返回 (1±ε) 近似。

对单位插入流,从 m 个更新位置中有放回独立抽两次,键相同的有序位置对数正是 F2。因此 F2/m2 是两次抽取命中同键的概率。它不是频率的方差;在范数空间语言中,它与 f22 相同,并直接测量碰撞集中度。对 0<p<1,相应表达只是拟范数幂,不能无条件沿用范数术语。

直觉

不同阶数给频率分布施加不同的放大方式:F0 只看支持集,F1 线性累计质量,F2 把碰撞和集中度放大,更高阶则越来越受最大坐标支配。它们共用一个记号,却不是把同一估计器的指数换掉就能互相得到。

频率向量与不同阶矩
例子与边界

AMS 二阶矩估计器

选择四独立随机符号 ξi{1,+1},维护

Z=iξifi.

更新 (i,Δ) 只做 ZZ+ξiΔ,因此同一状态同时支持正负更新。展开可得

EZ2=ifi2+2i<jE[ξiξj]fifj=F2,

因为交叉项的符号期望为零。对频率 (3,1),符号同号时 Z2=16,异号时为 4,二者平均为 10,恰等于 32+12

单副本波动很大。四独立性用于控制四阶矩与方差;重复独立副本先分组取均值,再取组间中位数,可把相对误差与失败概率降到目标范围。只写“两两独立使估计无偏”不足以支持集中保证。

各阶任务为何不同

F0 只看支持集,不随同一键重复增长;F1 在非负流中是更新增量总和,单位插入时才是更新数 m,无需 sketch;F2 测量碰撞集中度。更高阶 p 更受最大坐标支配,流算法空间随 p 出现相变,不能把 AMS 的平方换成任意指数就得到通用估计器。

General turnstile 中通常定义

Fp=i|fi|p.

若对奇数 p 直接使用 fip,正负坐标会抵消,甚至产生负的“矩”,失去范数语义。严格 turnstile 的非负性又要求每个前缀成立,不能只检查最终向量。

近似与输入边界

乘法 (1±ε)Fp=0 时要求精确返回 0,接口应单独约定空流或完全抵消状态。若结果只有加性误差,必须说明相对于 f1p、尾部范数还是其他尺度;不能把两者统称“近似”。p 是算法参数,引用空间界时也不能固定后隐藏。

推论与应用

对 turnstile 流中的二阶矩 F2AMS 二阶矩 Sketch用固定随机符号将频率向量投影为一个标量,再以重复和中位数控制方差与失败概率。其线性更新和可合并性来自同一随机投影;它直接实现的是 F2 估计,而不是所有 p 的频率矩或逐项 heavy-hitter 恢复。

频率矩统一了 distinct counting、流长、self-join size 与分布集中度等流式目标,并为 AMS、CountSketch 等线性摘要规定了精确估计对象。选用算法时还要固定 insertion-only 或 turnstile 语义、误差尺度与 p 的取值,不能只按 Fp 的共同记号迁移保证。

参考资料
  • Noga Alon, Yossi Matias, and Mario Szegedy, “The Space Complexity of Approximating the Frequency Moments,” Journal of Computer and System Sciences 58(1), 1999, pp. 137–147.
  • S. Muthukrishnan, “Data Streams: Algorithms and Applications,” Foundations and Trends in Theoretical Computer Science 1(2), 2005, pp. 117–236.
关系图谱9 个相邻概念 · 3 类关系

拖动节点调整位置。

显示关系

显示:依赖

  1. 前置三跳
  2. 前置二跳
  3. 前置一跳
  4. 当前条目
  5. 后续一跳
  6. 后续二跳
  7. 后续三跳
文字版关系按与当前条目的最短距离分组
类型化关系