“同一个放大机制已经出现在 AMS 二阶矩 Sketch 中:那里的单副本估计 $F 2$,本页则把它作为任意有限方差总体均值的可复用统计方法。特殊应用中的随机副本和这里的观测样本,是不同的随…”
形式陈述
单计数器
对从零开始、独立于摘要随机性的固定流及其频率向量
流结束后
直觉
无偏与四阶矩
展开平方,异项因
控制
置信放大
取
再取独立的奇数
这套组内平均、组间中位数的机制可抽成 有限方差均值估计接口。通用页面另行处理固定样本数的丢余、未知均值与已知方差上界;此处的
例子与边界
更新例子与边界
同一键多次正负更新只改变一个带固定符号的计数器,最终恰按净频率进入
位空间与哈希种子
若流总绝对更新量为
共
这还采用能容纳计数与种子的字长;逐位算术和哈希求值成本应另计。
两个 AMS sketch 只有使用相同符号函数时才能相加合并;独立副本的编号和种子必须对齐。合并后
推论与应用
更新吞吐与查询时机
所有计数器都在一条更新到来时同步执行
因此朴素每次更新需计算并写
查询时先对每个计数器平方,再在组内平均、组间取中位数;保留带符号的线性计数器
参考资料
- Noga Alon, Yossi Matias, Mario Szegedy, The Space Complexity of Approximating the Frequency Moments, JCSS, 1999.
- Graham Cormode, Ke Yi, Small Summaries for Big Data, Cambridge University Press, 2020, frequency moment sketches.