最小熵

Shannon 熵询问长期平均需要多少信息描述样本，最小熵则盯住攻击者最有利的单次猜测。只要有一个结果堆积了很大概率，攻击者就会始终猜它；分布其余部分即使铺得极宽、贡献了很高的平均熵，也不能抵消这个预测捷径。

因此，最小熵把“弱随机源”变成可操作的上界：$k$ bit 最小熵不是说源含有 $k$ 个独立公平 bit，而是说任何单点概率至多 $2^{-k}$。概率质量可以高度不规则，也可以带复杂相关性；提取器必须对所有满足这一点界的源统一工作。

若 $X$ 在恰好 $2^k$ 个点上均匀，则每点概率为 $2^{-k}$，所以 $H_{\mathrm{\infty }}(X)=k$，同时 $H(X)=k$。这类 flat source 是分析一般 $k$-source 的基本图像，但定义并不要求概率相等，也不要求支持集能高效枚举。

考虑字母表 $\{0,1,\dots ,2^k\}$ 上的分布：以概率 $1/2$ 输出 $0$，其余 $2^k$ 个结果各以概率 $2^{-(k+1)}$ 输出。最大点概率为 $1/2$，故 $H_{\mathrm{\infty }}(X)=1$；攻击者始终猜 $0$ 就能成功一半。与此同时，

会随 $k$ 增长。这个例子说明平均不确定性很大，仍可能只有一个 bit 的最小熵。

最小熵不描述典型码长，也不保证各 bit 均匀或独立。一个 $n$ bit 变量可拥有接近 $n$ 的最小熵，却在某个公开谓词上有偏差；反过来，一个变量的边缘分布均匀，在与旁信息联合考虑后也可能完全可预测。做隐私放大或密钥派生时，应使用包含攻击者旁信息的条件或平滑最小熵版本，而不能只计算无条件 $H_{\mathrm{\infty }}(X)$。

统计估计还有样本边界。有限观测中没有见到高概率点，并不能证明真实最大概率小；要从数据给出最小熵下界，需要明确的源模型、置信界和对未见事件的控制。密码协议通常把 min-entropy 下界作为经过验证的假设或由物理模型推出的参数，而非由直方图直接宣告。

最小熵是有种子随机性提取器理路有种子随机性提取器Seeded randomness extractor · Seeded extractor用独立均匀短种子把任意高最小熵弱源映为统计上接近均匀的输出。、剩余哈希引理理路剩余哈希引理Leftover hash lemma · LHL二通用哈希把弱随机源压缩为公开种子和经典旁信息后仍接近均匀的输出，误差由平均条件最小熵控制；条件化与 Jensen 不等式给出证明，三比特例子精确算出联合距离。、隐私放大和模糊提取器的输入度量。经典旁信息下的哈希证明先平均各条件的猜测率，再用平方根凹性得到联合安全界；三比特零标志例子算出最坏条件最小熵为零、平均条件最小熵为二，而先取对数再平均会得到不同数值。它使剩余随机性、输出长度和统计误差可以放在同一参数式中比较。

旁信息版本尤其适合安全分析：公开 transcript、设备读数或泄漏变量都会改变条件猜测概率。平滑最小熵进一步允许丢弃总概率很小的异常区域，支撑有限块长与量子信息中的精细界；使用时必须声明平滑距离、平滑参数以及旁信息是经典还是量子，不能把不同版本的数值直接互换。