Rényi 差分隐私

$\alpha$ 越大，指数矩越重视高隐私损失的尾部。只报一个阶数，像只用一种放大倍数检查尾部；保存整条函数 $\eta (\alpha )$，可以在确定目标 $\delta$ 后再选择最合适的阶数。

把多个机制先转成 $(\epsilon ,\delta )$ 再组合，相当于早早将完整曲线压成一个点。RDP 允许先将曲线逐阶相加，最后只转换一次。

加法从条件期望而来 ​

两轮总损失为 $L_1+L_2$。若第二轮对每个历史都有 $(\alpha ,{\eta }_2)$-RDP，则

先对第二轮作条件期望即可，因而自适应选择也受控。重复此步得到同阶预算之和。转换公式则用Markov 不等式公理库Markov 不等式Markov's inequality非负随机变量超过阈值的概率由其期望除以阈值控制。把指数矩变成 $P[L>\epsilon ]\le \delta$；这个尾概率条件足以推出 DP，但可能比直接算超额质量更松。

两次高斯发布 ​

对相邻均值差范数至多 $\mathrm{\Delta }$、噪声标准差为 $\sigma$ 的Gaussian 机制公理库Gaussian 隐私机制Gaussian mechanism for differential privacy用 L2 全局灵敏度校准球形高斯噪声，并通过一维隐私损失计算近似差分隐私参数。，直接积分得到

假设每轮 $\mathrm{\Delta }=1,\sigma =10$，发布两轮，组合曲线为 ${\eta }_{\mathrm{t}\mathrm{o}\mathrm{t}}(\alpha )=\alpha /100$。在阶数 $\alpha =40$、目标 $\delta ={10}^{-6}$ 时，转换给

若允许连续阶数，最小化 $0.01\alpha +\log \left({10}^6\right)/(\alpha -1)$，得到 $\alpha =1+\sqrt{100\log {10}^6}\approx 38.17$，最终约 $0.753$。选择阶数发生在公开预算函数上，无须再次访问数据。

单阶保证到底没有说什么 ​

一个有限阶的 RDP 允许无界隐私损失，只要对应指数矩有限。因此不能从 $(2,\eta )$-RDP 推出纯 $\eta$-DP，也不能把 $\eta$ 当成直接可报告的同名 $\epsilon$。反之，近似 DP 可以允许 $P$ 在 $Q$ 概率为零的点上有少量质量，于是所有有限阶 RDP 都可能无穷；两种描述没有无条件的双向等价。

若存在某个 $\beta >1$ 使 $D_{\beta }(P\Vert Q)<\mathrm{\infty }$，则 $\alpha \downarrow 1$ 的极限是KL 散度公理库KL 散度Kullback–Leibler divergence · Relative entropy同一可测空间上分布 P 相对于 Q 的对数 Radon–Nikodym 导数在 P 下的积分。，它主要控制平均损失；隐私要求关心尾部，这也是仅报告 KL 往往不够的原因。

对 $T$ 轮机制保存离散阶数网格 $\mathcal{A}$ 时，核算器更新 $R(\alpha )\leftarrow R(\alpha )+{\eta }_t(\alpha )$，最后返回 $\underset{\alpha \in \mathcal{A}}{min}[R(\alpha )+\log \left(1/\delta \right)/(\alpha -1)]$。状态大小为 $O(|\mathcal{A}|)$，每轮更新时间也为 $O(|\mathcal{A}|)$；有限网格给合法上界，但可能错过更好的阶数。

若曲线始终有统一线性包络 $\eta (\alpha )\le \rho \alpha$，可进一步用零集中 DP公理库零集中差分隐私Zero-concentrated differential privacy · zCDP对所有 Rényi 阶数使用统一线性上界，以一个可相加的参数描述隐私损失集中性。的单个 $\rho$ 保存整个包络。一般采样机制的曲线不是直线，压成一个数可能损失精度。