形式陈述
设 是公开、有限且非空的候选集, 是候选 在数据集 上的实值效用。固定 后,其数据灵敏度定义为
取 。若 ,指数机制按以下概率选择一个候选:
它满足纯$\varepsilon$-差分隐私公理库差分隐私Differential privacy · DP · 差分隐私定义用相邻数据集输出分布的乘法比较与加法松弛,限制单条记录对发布结果的影响。。这里改变的是数据 ,不是候选 ;两个候选的效用差可以很大而不破坏灵敏度条件。若 ,每个候选的效用在相邻输入间相同;可用任意预先固定的有限温度生成权重,或按公开规则打破最大效用的并列,均有 -DP,无须除以零。
隐私与效用各怎样证明
记 。相邻数据满足 。同样逐项比较归一化和,有 。相乘即得 ,对事件求和便是 DP。分母的变化解释了公式中的因子 。
令 。至少一个最优项给 ,而效用低于 的所有候选总权重至多 ,所以
对任意 ,以至少 的概率,效用损失不超过 。这是充分界,不是每个实例的实际损失。
直觉
候选可以是课程时段、分类器或一棵树,没有必要先把输出编码成一个有距离意义的实数再加噪声。机制只要求能评价候选质量,并限制一个人的记录对每个评分的影响。
温度降低,也就是增大 ,会让概率更多集中在高效用候选上。评分整体加上同一个数不会改变输出,因为分子分母同时乘以一个常数。评分整体乘正数且同时重算灵敏度,也不会改变概率。
例子与边界
三个候选的完整计算
某项匿名投票有三个公开候选 ,效用为各自票数。替换一张选票使任一固定候选的票数最多变化 ,故 。若票数为 ,取 ,三个权重为 ,输出概率是
最优候选仍可能落选。实际期望效用为 ,相对最优值 的期望损失为 。这给出了概率、准确性和随机选择三者之间可核对的联系。
若把“数据库中出现过的候选”直接作为 ,某候选可能只在一个相邻数据集上可输出。此时另一边概率为零,纯 DP 会失败。候选集必须预先公开确定,或由另一个已核算的私有步骤产生。
有限集合条件的用途
对连续候选也可相对于固定基准测度定义指数密度,但归一化积分必须有限,效用保证还要比较近最优区域的测度。不能把有限集合公式中的 原样用于无穷候选集。
推论与应用
若目标是最小化经验损失,可设 。当每条损失在 内,替换邻接给 ;输出一个高效用假设便是私有版本的经验风险最小化公理库经验风险最小化Empirical risk minimization · ERM在假设类中选择训练样本平均损失最小的规则。。候选空间巨大时,统计保证并不自动给出高效采样算法。
显式有限集的实现可先减去最大 log-weight,再求指数并归一化,避免数值溢出。在指数、算术与离散采样采用单位成本原语的模型下,若计算一次效用用时 ,枚举实现用时 ,额外保存权重用 空间;也可两遍扫描降低存储。近似采样的分布误差必须纳入隐私分析,不能把“近似 softmax”当成完全相同的机制。
参考资料