Skip to content

方法Method

指数隐私机制

Exponential mechanism

通过效用的指数权重选择离散输出,用分子与归一化常数两项共同控制隐私损失。

形式陈述 ​

设 R 是公开、有限且非空的候选集,u(D,r) 是候选 r 在数据集 D 上的实值效用。固定 r 后,其数据灵敏度定义为

Δu=supD≃D′,r∈R|u(D,r)−u(D′,r)|.

取 ε>0。若 0<Δu<∞,指数机制按以下概率选择一个候选:

PD(r)=exp(εu(D,r)/(2Δu))ZD,ZD=∑s∈Rexp(εu(D,s)/(2Δu)).

它满足纯$\varepsilon$-差分隐私。这里改变的是数据 D,不是候选 r;两个候选的效用差可以很大而不破坏灵敏度条件。若 Δu=0,每个候选的效用在相邻输入间相同;可用任意预先固定的有限温度生成权重,或按公开规则打破最大效用的并列,均有 (0,0)-DP,无须除以零。

隐私与效用各怎样证明 ​

记 c=ε/(2Δu)。相邻数据满足 ecu(D,r)/ecu(D′,r)≤eε/2。同样逐项比较归一化和,有 ZD′/ZD≤eε/2。相乘即得 PD(r)/PD′(r)≤eε,对事件求和便是 DP。分母的变化解释了公式中的因子 2。

令 u∗=maxru(D,r)。至少一个最优项给 ZD≥ecu∗,而效用低于 u∗−t 的所有候选总权重至多 |R|ec(u∗−t),所以

Pr[u(D,R)<u∗−t]≤|R|e−εt/(2Δu).

对任意 0<β<1,以至少 1−β 的概率,效用损失不超过 2Δuε(log⁡|R|+log⁡(1/β))。这是充分界,不是每个实例的实际损失。

直觉

候选可以是课程时段、分类器或一棵树,没有必要先把输出编码成一个有距离意义的实数再加噪声。机制只要求能评价候选质量,并限制一个人的记录对每个评分的影响。

温度降低,也就是增大 ε,会让概率更多集中在高效用候选上。评分整体加上同一个数不会改变输出,因为分子分母同时乘以一个常数。评分整体乘正数且同时重算灵敏度,也不会改变概率。

例子与边界

三个候选的完整计算 ​

某项匿名投票有三个公开候选 A,B,C,效用为各自票数。替换一张选票使任一固定候选的票数最多变化 1,故 Δu=1。若票数为 (4,3,1),取 ε=2log⁡2,三个权重为 (16,8,2),输出概率是

P(A)=8/13,P(B)=4/13,P(C)=1/13.

最优候选仍可能落选。实际期望效用为 (4⋅16+3⋅8+1⋅2)/26=45/13,相对最优值 4 的期望损失为 7/13。这给出了概率、准确性和随机选择三者之间可核对的联系。

若把“数据库中出现过的候选”直接作为 R(D),某候选可能只在一个相邻数据集上可输出。此时另一边概率为零,纯 DP 会失败。候选集必须预先公开确定,或由另一个已核算的私有步骤产生。

有限集合条件的用途 ​

对连续候选也可相对于固定基准测度定义指数密度,但归一化积分必须有限,效用保证还要比较近最优区域的测度。不能把有限集合公式中的 log⁡|R| 原样用于无穷候选集。

推论与应用

若目标是最小化经验损失,可设 u(D,h)=−∑iℓ(h,xi)。当每条损失在 [0,1] 内,替换邻接给 Δu≤1;输出一个高效用假设便是私有版本的经验风险最小化。候选空间巨大时,统计保证并不自动给出高效采样算法。

显式有限集的实现可先减去最大 log-weight,再求指数并归一化,避免数值溢出。在指数、算术与离散采样采用单位成本原语的模型下,若计算一次效用用时 Tu,枚举实现用时 O(|R|(Tu+1)),额外保存权重用 O(|R|) 空间;也可两遍扫描降低存储。近似采样的分布误差必须纳入隐私分析,不能把“近似 softmax”当成完全相同的机制。

参考资料
关系图谱4 个相邻概念 · 2 类关系

拖动节点调整位置。

显示关系

显示:依赖

  1. 前置三跳
  2. 前置二跳
  3. 前置一跳
  4. 当前条目
  5. 后续一跳
  6. 后续二跳
  7. 后续三跳
文字版关系按与当前条目的最短距离分组
类型化关系

被这些条目使用