形式陈述
邻接与定义
固定整数 ,参数 、。设数据集 只在一个位置不同,称为替换邻接并记作 。随机机制 是 -差分隐私的,若对任意相邻数据集及任意可测输出事件 ,都有
由于邻接关系对称,同一不等式也适用于交换 后的方向。若 ,称为纯 -DP; 的版本称为近似 DP。这里比较的是机制在两个固定输入上诱导的输出概率分布理路概率分布Probability distribution · Law可测空间上总质量为一的测度;随机变量的律是由样本概率推出的一类分布。;随机性来自机制内部,而不是对某个训练分布取平均。DP 因而是逐相邻数据集的最坏情形保证,不是“平均用户不容易被识别”的经验指标。
删除或增加一条记录的 unbounded adjacency 是另一种常见约定,适合“某个人是否参与数据集”的叙事;替换邻接则固定样本量,比较某条记录被另一条取代。两种约定可以在参数常数代价下转换,却不是同一个关系。定理、库接口与隐私预算必须从头到尾使用声明过的版本。
隐私损失随机变量
若输出分布有密度,观察到输出 时的隐私损失可写成
纯 DP 要求相邻分布相互绝对连续,且相应密度比几乎处处不超过 ;密度在零测集上的取值不影响保证。对近似 DP,固定有序相邻输出分布 ,并相对于共同支配测度写密度 ,该方向所需的最小加法松弛为
最大事件可取 ,因此 。 控制的是超过乘法基线的质量,并不一般等于损失越界事件的概率。举例取 、、,越界概率为 ,超额却仅为 。交换方向后仍需检查同一个要求;完整核算与组合见隐私损失分布核算理路隐私损失分布核算Privacy loss distribution · PLD accounting把有序相邻输出分布的似然比推前为隐私损失分布,通过超额质量积分而非单纯尾概率计算 delta。。
共同支配测度总可选为 ,所以这一表达式同样容纳离散、连续和混合输出;事件定义本身不要求预先选定 Lebesgue 密度。
灵敏度与 Laplace 机制
对数值查询 ,其 全局灵敏度为
当 且 时,Laplace 机制发布
相邻数据集让输出密度的对数比至多为
因此得到纯 -DP。若 ,相邻查询值相同,可直接发布 ,得到 -DP。证明依赖最坏相邻差,不是数据上观测到的平均改变量。若先查看数据再未经隐私保护地选一个更小灵敏度,选择过程本身可能泄漏信息。
直觉
差分隐私要求:把任何一个人的记录换掉后,观察者看到某个输出的可能性都不会剧烈改变。于是观察者很难仅从发布结果判断这条记录究竟是哪一个值,甚至是否以相邻约定所描述的方式出现。保护对象是单条记录的边际影响,不是把数据中的所有总体规律都隐藏起来。
越小,相邻输入的输出分布越接近;它不是“泄漏了 bit”的直接换算。 也不是普通算法失败概率:它允许隐私比较在一小部分概率质量上失去纯 DP 的乘法控制,实践中常要求它远小于目标人群规模的倒数,并结合保护单位与威胁模型说明取值理由;这项设计要求不是定义中的固定阈值。
灵敏度把这个分布条件变成可操作的噪声尺度。查询在最坏相邻数据集间最多移动多少,噪声就必须有足够宽度掩盖这次移动;样本量增大后,均值的单点影响会下降,而未限制值域的查询仍可能被一个极端值任意拉远。
差分隐私的相邻输出分布
例子与边界
bit 计数与均值
例如数据是 个 bit,发布总和 。替换一条记录最多改变 1,因此加入尺度 的 Laplace 噪声即可保护计数。发布均值时灵敏度为 ,噪声随样本量缩小;若值域不先限制在 ,均值查询的全局灵敏度可能无界,公式便没有可用尺度。
信任与观察边界
中央 DP 假设可信机制接触原始数据后只发布私有输出;本地 DP 要求每位用户在发送前先随机化记录,通常为同等统计精度付出更多样本。shuffle、pan-privacy 和 continual observation 又改变观察者能看到的中间状态。只写“使用 DP”而不说明信任边界,无法判断定义覆盖了数据库、客户端还是持续日志。
DP 对任意辅助信息保持其相邻分布比较,但不会修复输入收集、访问控制、实现侧信道或输出语义本身的问题。若发布的统计量在业务上已经唯一确定某个人,机制必须靠噪声和参数承担这项风险;哈希标识符或删除姓名并不自动满足 DP。
推论与应用
后处理、组合与群体差异
若 满足 -DP,任何不再访问原数据的随机后处理 保持相同参数。攻击者把输出转换、筛选、与公开信息拼接,都不能让两分布比原先更可区分;但若 再读取私有数据,它已不是后处理。
依次运行机制会累积隐私损失。若第 轮对每个公开历史下的条件机制都有 保证,最基本的自适应顺序组合把 相加为 ;高级组合、Rényi DP 或 privacy accountant 可以在额外结构下给出更紧预算。不能把每轮单独安全理解成无限轮仍用同一预算,也不能在交互结束后只挑“最好看”的一轮而忽略此前输出。
群体差异会放大参数:若两数据集相差 条记录,可沿邻接链反复应用定义,纯 DP 的乘法因子增长为 。DP 保护单条记录的边际影响,不承诺整个群体模式、总体均值或由许多人共同决定的事实保持秘密。
从隐私稳定性到泛化
差分隐私也不等于泛化。它最初是隐私定义;输出分布对单条样本稳定,又能作为控制自适应过拟合的充分条件。这个额外统计结论及其样本量和失败概率见差分隐私蕴含泛化理路差分隐私蕴含泛化Differential privacy implies generalization · Differential privacy and generalization · 隐私稳定性泛化把相邻数据集上的差分隐私稳定性转化为自适应选择统计量的高概率泛化保证。,不能反向写进 DP 的定义。
高斯发布与统一预算
若查询按二范数衡量相邻移动,Gaussian 机制理路Gaussian 隐私机制Gaussian mechanism for differential privacy用 L2 全局灵敏度校准球形高斯噪声,并通过一维隐私损失计算近似差分隐私参数。可将多维密度比归结为一个正态投影,再计算满足目标参数的噪声尺度。多轮高斯发布还可用零集中 DP理路零集中差分隐私Zero-concentrated differential privacy · zCDP对所有 Rényi 阶数使用统一线性上界,以一个可相加的参数描述隐私损失集中性。保存所有 Rényi 阶数的一条线性包络,先相加,再统一转换为最终的 。这些是机制与核算的具体选择,均保留本页声明的邻接关系与完整发布范围。
参考资料
- Cynthia Dwork, Frank McSherry, Kobbi Nissim, and Adam Smith, “Calibrating Noise to Sensitivity in Private Data Analysis,” TCC, 2006。
- Cynthia Dwork and Aaron Roth, The Algorithmic Foundations of Differential Privacy, 2014, Chapters 2–3。
- Cynthia Dwork et al., “Our Data, Ourselves: Privacy Via Distributed Noise Generation,” EUROCRYPT, 2006,关于分布式与本地信任边界的早期路线。