汉语宝典

温度缩放 Logits

温度缩放 Logits 演示器,在 softmax 前对 logits 做温度缩放,演示校准对概率分布形态的影响(不改变 argmax)。

🖼️ Temperature-Scaled Logits Demo

Scale logits by a temperature before softmax and watch the calibrated distribution change, a practical demo of confidence calibration.

📐 计算公式 / 原理
z′ = z/T(T>1 平滑分布,T<1 锐化分布)
对 logits 统一除以温度是最简单的概率校准手段,T 在验证集上用 NLL 搜索得到,不改变 argmax 因此不影响准确率,只改善置信度的可靠性(ECE)。它只能校正整体过度/不足自信,无法修正逐类别偏差。

📐 计算公式与说明

scaled = logit / T;T>1 更平滑,T<1 更尖锐

仅用于演示 softmax 前缩放,不改变 argmax。

📚 深度解析:温度缩放 Logits

💡 常见使用场景

  • 在 softmax 前对 logits 做 z/T,演示温度对概率形态的影响,不改变 argmax。
  • T>1 平滑分布(置信度降低),T<1 锐化(更自信),是模型校准常用手段。
  • 与生成温度同源:同一机制既可用于校准也可调生成多样性。
校准演示
logits=[3,1,0],T=1 → 概率≈[0.8438,0.1142,0.0420];T=2 → [0.6285,0.2312,0.1402],最高概率由 84.38% 降到 62.85%,更接近真实准确率即达到校准目的;T=0.5 → [0.9796,0.0179,0.0024] 过度自信。注意缩放只改数值大小,argmax 仍是第 1 类。

❓ 常见问题(FAQ)

温度缩放能提升准确率吗?
不直接提升分类准确率(argmax 不变),只让输出置信度更'诚实'地反映正确率,对需要可靠概率的应用(如风险决策)很有价值。
T 用什么值校准?
在验证集上用负对数似然最小化搜索最优 T(通常略大于 1),使预测置信度与经验准确率对齐;是后处理、不改模型权重。