形式陈述
机制 满足 -零集中差分隐私,简称 -zCDP,若对任意相邻输入 和每个实数 ,都有
是Rényi 散度公理库Rényi 差分隐私Renyi differential privacy · RDP以 Rényi 散度控制隐私损失的指数矩,使同一阶数的自适应组合预算可加。, 是同一个常数。“每个阶数”是定义的一部分;某个 上满足一条不等式,不足以宣称 zCDP。
若第 轮在任意公开历史下都为 -zCDP,则自适应组合为 -zCDP。对任意 ,-zCDP 又蕴含
当 时,各相邻输出分布相同,直接取 ;无需用下面涉及除以 的优化步骤。
直觉
RDP 可以画成横轴阶数 、纵轴隐私预算的曲线。zCDP 用一条穿过原点、斜率为 的直线从上方罩住整条曲线。两个过程组合时直线斜率相加,因此记账只需要一个数。
Gaussian 机制尤其适合这种表示。相邻查询差上界为 ,噪声标准差为 时,其 RDP 曲线恰为 ,所以 。一个参数就能无损记录这条直线;对其他机制,线性包络可能较松。
转换式的推导
从任意阶数的 RDP 转换,可取
令 ,右侧为 。取 ,后两项相等,得到上述闭式。转换中的平方根并非额外经验规则,而是对所有可用阶数完成一次优化。
例子与边界
先组合,再选择 delta
某个有界查询的灵敏度为 ,每轮加标准差 的 Gaussian 噪声。单轮 ,发布 轮后 。若报告目标 ,则
改为 时,同一条已经固定的发布流程对应 。这并不是重新运行机制,而是从一个 zCDP 保证导出不同的参数对。
反向设计也能直接计算。若给定最终 、,写 、,条件 等价于
再将这个总 分配到各轮;对 、 的 Gaussian 发布,由 选择噪声。 时可直接发布;若 却分配 ,任何有限标准差都不满足这条 Gaussian 校准。预算分配不一定均匀;更重要或灵敏度更大的查询可以分配不同份额。
为什么不是纯 DP
高斯隐私损失无界,却满足有限 zCDP。因此 不是逐输出的最大损失,也不是“以概率 不泄露”。它控制全部指数矩的增长速度。纯 -DP 可以推出 -zCDP,但反向不能保留纯隐私。
不同文献还使用带两个参数的集中隐私定义。阅读定理时要检查是否含有额外截距,不能只看到缩写 CDP 就把组合与转换式中的常数照搬。
推论与应用
将所有轮次的 相加后,统一转换通常比每轮先选一个 再作普通组合更清楚。对带抽样的 Gaussian 更新,应先分析抽样机制的真实曲线;直接把未抽样 乘以采样率平方并当作所有阶数都成立,通常没有根据。
自测:把单轮噪声标准差翻倍, 变为原来的四分之一。若再把轮数增为四倍,总 恢复原值,所以在相同最终 下得到相同的转换保证。这一计算只涉及预算,不承诺训练精度或收敛速度也相同。
参考资料