“若键带有非负实权,普通MinHash仍只看“是否出现”。一致加权抽样将每个坐标扩成相应高度的区间,目标改为最小权重和除以最大权重和。定义目标之后再选指纹,才能区分重复去重、频次权重与相似度。”
形式陈述
权重成为区间高度
固定有限坐标集
它的面积为
两向量都为零时约定为1;只有一个为零时为0。权重不必为整数;若它来自重复记录计数,应先按坐标聚合。给定输入后,概率只取在抽样参数上。
MinHash从集合的共享次序中选最早键。一致加权抽样将对象换成面积集合,并同时要求两条性质:
- 均匀性:输出坐标i的概率为
,在该坐标内输出高度y条件均匀于 。 - 嵌套一致性:对
,若从s选出的点仍属于 ,用相同随机参数对v抽样就选回同一点。
只有第一条不足以保证两个输入之间的碰撞率;第二条规定不同权重必须怎样共享随机结果。
Ioffe的共享格点构造
为每个坐标i独立抽取
对每个
选
给定同一坐标的共享
输出必须同时保留坐标与t,不能只留下胜出的坐标。[1, §3.2,Figure 2]
直觉
一段随机对数网格夹住当前权重
由向下取整的定义,
仅凭这幅图还不能证明抽样正确。网格间距的分布、纵坐标y与比赛分数a的独立性,决定胜出后高度是否仍均匀。下面把这些量一起计算。
完整变量变换给出独立的两段指数量
先固定一个正实权s,省略坐标下标。设
令
因此V、W是相互独立的速率1指数变量。格点公式又给出
对0<u<1,
C与V、W独立。令
a为速率s的指数变量,而且与y独立。这一联合结论比“y边缘均匀”“a边缘指数”分别成立更强:若两者相关,按最小a选坐标可能把对应y的分布筛偏。[1, §3.3给出同一联合分布的另一推导]
指数竞赛如何给出均匀面积点
不同坐标参数独立,所以
从0积分到无穷,胜出概率为
共享参数还必须证明嵌套一致性
现固定整批随机参数,对任意
此处不能给v重新抽R、C、β。均匀性证明把s视为固定输入;一致性证明把参数视为固定,比较多个权重。两步处理的是不同方向的条件,合在一起才构成完整接口。
从并集面积推回碰撞等式
令
反过来,p必至少属于s、v中的一侧,因为每个坐标的最大高度来自其中一侧;一致性使该侧指纹等于p。若两侧指纹相同,另一侧也输出p,故p必须落在交叠面积内。碰撞与“u的均匀面积点落在m中”恰好等价,概率就是
例子与边界
不改变格点,与越过格点
两个坐标都手工指定
对
继续缩为w=(1,1),坐标1变成
只保存坐标会在一维立刻失败
只有一个正坐标,权重分别为1和2。加权Jaccard为1/2,但两次输出坐标必定相同,若省掉t,错误碰撞率恒为1。保留完整(i,t)后,两次是否落在同一共享格子才是正确碰撞事件。
普通MinHash对支持集做去重,面对s=(1)、v=(2)也总得到同一键。它回答的是两个支持集是否相似,不能承担权重比例这一不同目标。
零、缩放与浮点临界点
权重为零时面积区间为空,禁止计算log0;所有坐标都为零时只返回
理想证明使用精确实数、连续Gamma/Uniform和精确floor。数值实现计算
附件显式将其标为浮点教学模型。它验证给定数值参数的轨迹、缩权不变量及碰撞与并集点的对应,并用模拟频率作诊断;这些有限检查不证明理想连续碰撞概率,也不提供任意动态范围的逐位精确实现。
推论与应用
副本、稀疏访问和真实成本
独立重复q次构造,每次在两个输入间共享参数,可把完整指纹的碰撞均值作为
若输入已按不同正权坐标稀疏列出、每个参数能常数时间读取,且log、exp、floor按单位成本的实数RAM计算,q副本需
附件的可追踪版本扫描长度d的稠密权重数组,还收集所有正权候选以供复核,因此单副本实际时间O(d+1)、辅助记录数O(nnz(s)+1)。若只需最终指纹,可边扫描边维护最小者,省去候选列表。有限精度随机数的生成和高精度超越函数成本不能直接套用理想实数RAM。
相似度指纹不是子集总量抽样
优先级抽样也使用非负权与共享随机键,但其目标是固定子集的加权总量,需要保留记录和阈值后作逆概率修正。本页的(i,t)则专门支持两向量相似度的碰撞检验,单个指纹不能恢复任意子集总权重。
共享随机键终结任务要求同时交出y、z、log分数、完整二元组、缩权是否仍覆盖旧点,以及一个“只保存坐标”的失败例。读者最终应能区分算法的确定性一致性、一般概率证明和有限数值诊断。
参考资料
[1] Sergey Ioffe,Improved Consistent Sampling, Weighted Minhash and L1 Sketching,ICDM,2010,§§3.1–3.3、Figure 2。本文选用其中同时保留坐标和格点编号的构造,给出从(R,β)到(V,W)的完整联合密度推导,并单独证明跨权重一致性。
[2] Mark Manasse、Frank McSherry、Kunal Talwar,Consistent Weighted Sampling,作者稿自署2008年7月2日,后列为MSR-TR-2010-73,§2。引用范围为均匀面积抽样、嵌套一致性及其加权Jaccard碰撞结论;本文不实现该稿的active-index生成程序。