Skip to content

方法Method

隐私损失分布核算

Privacy loss distribution · PLD accounting

把有序相邻输出分布的似然比推前为隐私损失分布,通过超额质量积分而非单纯尾概率计算 delta。

形式陈述 ​

固定一个有序相邻输入对,其输出分布为 P,Q,相对于共同支配测度 μ=P+Q 的密度为 p,q。在 Y∼P 下定义 L(Y)=log⁡(p(Y)/q(Y));q=0<p 时记 L=+∞。这个随机变量的分布称为隐私损失分布(PLD)。

对 ε≥0,该方向所需的最小加法松弛量为

δP‖Q(ε)=supE{P(E)−eεQ(E)}=∫(p−eεq)+dμ=EP[(1−eε−L)+].

函数 (u)+=max(u,0) 使该散度常被称为 hockey-stick divergence。机制的 DP 保证要求对所有有序相邻输入对取上确界,因此还要处理 Q‖P,不是只算一组样本分布。

直觉

区域 B={p>eεq} 是最有利于暴露隐私差异的事件。在这个区域内,允许的乘法比较已经支付了 eεQ(B),δ 只补剩下的超额部分:

δP‖Q(ε)=P(B)−eεQ(B)≤P(L>ε).

因此尾概率是一个方便的充分上界,却通常不等于最小 δ。将 DP 解释成“概率 δ 的坏区域完全失去保护”会把已由乘法项支付的质量重复计算。

例子与边界

0.6 的尾概率,只有 0.1 的超额质量 ​

取两个输出 a,b,令 P=(0.6,0.4)、Q=(0.4,0.6),ε=log⁡1.25。在 a 处 L=log⁡1.5>ε,在 b 处 L=log⁡(2/3)<0。故

P[L>ε]=0.6,δP‖Q=0.6−1.25⋅0.4=0.1.

反向由对称性同样为 0.1。若机制的相邻输入只有这一对,就满足 (log⁡1.25,0.1)-DP,尽管越过损失阈值的概率为 0.6。这是对“δ 等于坏区域概率”的直接反例。

两轮独立报告怎样卷积 ​

对固定输入对,若两轮输出条件于输入独立,则联合密度连乘、损失相加,PLD 做概率测度的卷积;损失落在等距格点时,对应概率数组的离散卷积。以真实 bit 相反的两输入比较,两轮各使用 p=3/4 的随机化回答。单轮损失为 log⁡3,概率 3/4;或为 −log⁡3,概率 1/4。两轮得到

Pr[L=2log⁡3]=9/16,Pr[L=0]=6/16,Pr[L=−2log⁡3]=1/16.

取 ε=log⁡3,只有首项贡献,故 δ=(9/16)(1−1/3)=3/8。取 ε=2log⁡3,所有正部均为零,恢复基本组合的纯隐私保证。

自适应时不能直接独立卷积 ​

自适应过程的总损失仍是条件损失之和,但后轮损失分布可能依赖之前的输出。直接卷积某几个边缘 PLD 会错误地假设独立。此时必须使用对全部历史有效的支配分布定理,或改用可自适应组合的 RDP 等界。

推论与应用

离散核算器可把损失值分桶,逐轮卷积后计算 ∑ℓpℓ(1−eε−ℓ)+。两个长度 m 的数组直接卷积用 O(m2) 运算,用FFT对适当零填充的数组作两次正变换、逐点相乘与一次逆变换,可降为 O(mlog⁡m)(m≥2);循环卷积的回绕质量不能当作线性卷积结果。

要返回严格上界,必须给舍入、截断尾部和浮点误差留出预算。把损失向上取整会增大正部贡献,但丢掉无穷损失质量会低估 δ。数值精度是隐私证书的一部分,画出的曲线平滑不等于上界已经可靠。

参考资料
关系图谱5 个相邻概念 · 2 类关系

拖动节点调整位置。

显示关系

显示:依赖

  1. 前置三跳
  2. 前置二跳
  3. 前置一跳
  4. 当前条目
  5. 后续一跳
  6. 后续二跳
  7. 后续三跳
文字版关系按与当前条目的最短距离分组
类型化关系