温度缩放概率校准

两个类别的概率比满足

增大温度会压缩这些比值，使分布更平；减小温度会扩大差异，使概率更集中。$T\to \mathrm{\infty }$ 时所有类别趋于均匀；$T\to 0^{+}$ 时概率集中在最大 logit 的类别集合中。

分数排序没有变，报告的把握却变了。因此同一分类器可以在准确率完全不动的情况下，显著改善或者恶化它的概率评分。

一个温度恰好修正过度自信 ​

先看二分类。校准集中四个样本具有相同 logit 差 $z_1-z_0=\log 9$，其中三个为正、一个为负。原温度 $T=1$ 给出的正类概率为 $0.9$，平均 NLL 为

取 $T=2$，新的概率为

平均 NLL 降到

四个样本的预测类别始终为正，准确率始终是 $3/4$。对这份数据，Bernoulli 对数损失在经验频率 $3/4$ 最小，而温度族恰好包含它，所以 $T=2$ 是最优解。

多类也不是逐概率直接除以温度。例如 logits 为 $(\log 4,\log 2,0)$，在 $T=1$ 时概率为 $(4,2,1)/7$；在 $T=2$ 时变为

分母必须重新归一化，最高类别仍为第一类。

真正凸的是逆温度坐标 ​

令 $\beta =1/T>0$。式 (1) 成为

其一阶、二阶导数分别为

因此它是 $\beta$ 上的凸函数公理库凸函数Convex function函数在任意凸组合处不超过相同权重下函数值的凸组合。。这给一维求解提供清楚依据；非线性换元后，不能直接声称 $T$ 坐标中的目标也必然凸。

有限最优温度也并非总存在。若每个校准样本的真实类别都是严格最大 logit，则 $\beta \to \mathrm{\infty }$ 可以不断降低 NLL，最优下确界可能只在 $T\to 0^{+}$ 达到。若数据更偏好均匀概率，最优又可能落在 $\beta =0$ 的闭包边界，即 $T\to \mathrm{\infty }$。实际求解应声明搜索区间或正则化，而非把每次优化器返回的有限值都当成唯一内点最优。

一份会终止的区间求解步骤 ​

预先给定 $0<{\beta }_{min}<{\beta }_{max}<\mathrm{\infty }$ 和参数容差 $\tau >0$，在这个闭区间上最小化 $F$。连续性保证最小值取得，$F^{\prime }$ 单调不减，使二分求根公理库二分求根法Bisection method以端点异号区间为不变量，给出可验证误差界、对数成本和有限精度停止条件。可在排除端点最优后用于导数：

1. 若 $F^{\prime }({\beta }_{min})\ge 0$，返回左端点；否则若 $F^{\prime }({\beta }_{max})\le 0$，返回右端点
2. 其余情形维护导数异号的区间；只要区间宽度大于 $\tau$，就在中点计算 $F^{\prime }$；负则保留右半，正则保留左半，恰为零则直接返回
3. 当区间宽度不超过 $\tau$ 时返回中点，并令 $T=1/\beta$

两端导数同为零时，目标在区间上为常数，第一步任取左端仍最优。其他情况下，最终区间包含一个极小点，因此返回值到某个区间最优逆温度的距离至多 $\tau$。若初始宽度为 $W$，至多需要 $max\{0,\lceil {\log }_2(W/\tau )\rceil \}$ 次二分；在指数函数与实数运算按单位成本计的模型中，计算每次导数需 $O(nK)$ 工作，总成本为 $O(nK(1+max\{0,\log \left(W/\tau \right)\}))$。浮点实现还应控制导数符号误差，不能把近似为零直接当作精确最优证书。

这给出指定区间内的有限计算保证。区间限制本身属于算法输入；它既不承诺找到整个开半轴上的最优温度，也不把优化精度变成总体校准精度。

同一温度无法解决的信息缺口 ​

假设两个可区分群体都被模型给出同一对 logits，但真实正例率分别为 $0.6$ 和 $0.9$。无论选择哪个 $T$，两群体得到的报告仍相同，不可能同时等于这两个不同频率。

若群体等大，报 $0.75$ 可以在总体上校准，却依然在每个群体内失准。这不是求解器还没调好，而是单参数映射没有使用群体信息。扩大为不同群体分别校准，会改变模型与评估目标，需单独选择和验证。

温度缩放适合原模型的排序已有用、主要问题是整体过度自信或不够自信的情况。它对类别排序的保持是数学性质；在某个数据集上改善 NLL 或可靠度则是需要验证的事实。

使用时，先固定模型并保存校准集 logits，再优化逆温度，最后在独立评估集比较 NLL、可靠度及样本量。若需要更灵活的单调概率映射，可以考虑保序校准公理库保序概率校准与相邻块合并Isotonic probability calibration · Pool adjacent violators在独立校准集上用相邻违反块合并求最优非降概率映射，给出完整执行轨迹、线性时间不变量和累计残差最优性证书。；若关心多个重叠群体，则应明确多重校准公理库多重校准Multicalibration对预先指定的重叠群组及分数桶同时约束平均校准误差，以总体残差修正和平方势下降证明有限步可达，并分开处理样本泛化。的群组族与容差，而不是期待一个温度自动解决全部要求。