Содержание
  1. Задача читателя и границы метода
  2. Основные понятия и параметры
  3. Полный учебный пример
  4. Проверка результата на заданном входе
  5. Сравнение с ближайшим подходом
  6. Ограничения и следующий шаг
  7. Частые вопросы
Справочник

Что такое temperature scaling: калибровка модели

17 ноября 2026 · 13 минут чтения

Что такое temperature scaling: калибровка модели — это постобработка одним положительным скаляром T: логиты делятся на T, затем применяется softmax(z/T). Документация scikit-learn описывает метод как модификацию softmax температурным параметром, который подбирается на отложенной выборке минимизацией log loss. Победитель по argmax сохраняется, меняется уверенность.

Задача читателя и границы метода

Классификатор выдаёт метку и число рядом с ней. Число выглядит как вероятность, и на него опираются при выборе порога, в ансамблях, в очереди ручной проверки. Документация scikit-learn определяет хорошо откалиброванный классификатор как вероятностный классификатор, у которого выход согласован с фактической частотой: среди объектов с оценкой около 0,8 доля верных близка к 0,8. Соответствие уверенности и частоты проверяют по размеченному набору; одно уверенное предсказание само по себе калибровку не подтверждает.

Temperature scaling решает узкую задачу: привести шкалу уверенности в соответствие с наблюдаемой частотой, сохранив порядок классов внутри каждого объекта и его argmax-метку. Метод работает с логитами — вектором выходов классификатора до softmax, как называет его документация scikit-learn. Логиты доступны у моделей с линейным выходным слоем: это классификаторы изображений, текстовые классификаторы, любые сети с softmax на конце.

Границы очерчены ясно. Метод подбирает один скаляр на всю модель, поэтому отдельные классы и подгруппы не получают собственных параметров. Улучшение среднего показателя не гарантирует улучшения в каждом сегменте. Он требует отдельного набора с верными метками, который не участвовал в обучении весов. Он меняет только уверенность, оставляя решение прежним. Задача читателя — понять, подходит ли такой инструмент к его случаю, и если да, провести подбор и проверку по воспроизводимому порядку.

Отдельно стоит развести два похожих названия. Temperature scaling в калибровке классификатора — постобработка готовой модели: скаляр T делит логиты, параметр подбирается по log loss на отложенных данных. Temperature в генеративных LLM — параметр сэмплирования, который управляет разнообразием при выборе следующего токена во время генерации. Формулы внешне родственны, задача, процедура и способ оценки различны: в первом случае параметр оценивают по размеченным данным, во втором меняют распределение выбора следующего токена. Само изменение параметра не гарантирует ни калибровки, ни творческого качества. Смешение этих понятий даёт неверные ожидания: подбор T на валидации не сделает ответы модели более креативными, а повышение sampling temperature не откалибрует классификатор.

Основные понятия и параметры

Форма записи метода: softmax(z/T), где z — вектор логитов, T — положительный скаляр. Документация scikit-learn приводит эту запись в описании CalibratedClassifierCV и указывает, что значение T оптимизирует log loss. Логиты — это выходы последнего линейного слоя до нормировки; их можно получить напрямую. Если доступны только вероятности, для калибровки можно построить логарифмические оценки по описанному в scikit-learn правилу; это не восстановление исходного вектора логитов один к одному. Документация scikit-learn описывает обратный переход: к вероятностям добавляется малое положительное число, чтобы избежать проблем с логарифмом нуля, затем берётся натуральный логарифм. Такой путь нужен, когда модель отдаёт только softmax-выходы.

Параметр T читается так. При T = 1 распределение остаётся исходным. При T > 1 логиты делятся на большее число, разрывы между ними сжимаются, распределение становится мягче, уверенность падает. При T < 1 логиты растягиваются, распределение обостряется, уверенность растёт. Область допустимых значений — положительные числа; ноль и отрицательные значения лишены смысла, поскольку деление на ноль не определено, а отрицательный масштаб переворачивал бы знак логитов.

Ключевое свойство зафиксировано в документации scikit-learn: деление на положительный скаляр не меняет положение максимума в выходе softmax, поэтому temperature scaling не изменяет точность калибруемого классификатора. Практический вывод: метки остаются теми же, accuracy не двигается, меняется шкала вероятностей. Это свойство действует для одного фиксированного положительного скаляра T при неизменных логитах. Оно не переносится на ансамбли разных моделей, на кросс-валидационные схемы, на произвольные преобразования логитов и на пороги, которые вы выбираете дальше по пайплайну.

Что оптимизируется. Документация scikit-learn называет целевую функцию: T подбирается минимизацией log loss, то есть кросс-энтропии, на отложенном наборе. Логика простая: log loss штрафует за уверенные ошибки, поэтому оптимальный T сдвигает распределение так, чтобы уверенность соответствовала фактической частоте. Один скаляр — минимум параметров, но малое число параметров не отменяет риск подгонки и необходимость нетронутого теста. Устойчивость на имеющемся объёме данных нужно проверить.

Как это устроено в библиотеках. Документация scikit-learn перечисляет три варианта калибровки в CalibratedClassifierCV: изотоническую, сигмоидную и температурную. Опция temperature добавлена в версии 1.8. Документация scikit-learn отмечает, что температурная калибровка естественно поддерживает многоклассовые предсказания, работая с логитами и применяя softmax в конце. Отдельный проект Probmetrics предоставляет класс TemperatureScalingCalibrator с методами fit и predict_proba: в README проекта показаны импорт класса, создание объекта, обучение на вероятностях с метками и получение откалиброванных вероятностей. Архивный репозиторий gpleiss/temperature_scaling описывает демонстрацию для PyTorch 0.3 как простая демонстрация метода; его README прямо сообщает, что проект не задумывался как самостоятельный пакет и много лет не поддерживается. Этот архив полезен для понимания происхождения метода, а его старый runtime API к переносу в текущий код не предназначен.

Понятие Что означает Роль в методе
Логиты z Выходы классификатора до softmax Вход для деления на T
Скаляр T Положительное число Единственный подбираемый параметр
softmax(z/T) Нормировка после деления Даёт калиброванные вероятности
Log loss Кросс-энтропия Целевая функция подбора T
Калибровочный набор Отложенные данные с метками Источник для подбора T
ECE Ошибка калибровки по бинам Метрика проверки результата

Полный учебный пример

Ниже — учебный пример с условными числами. Внешний сервис не запускался, модель не обучалась, скорость и улучшение качества не измерялись. Все входные данные и эталоны даны в тексте; реальные параметры библиотеки сверяются с названной документацией.

Возьмём задачу с двумя классами и один объект. Логиты условно заданы как z=[2,0]. При T=1 вероятность первого класса равна exp(2)/(exp(2)+exp(0))≈0.8808. Для иллюстрации вручную выберем T=2. Тогда z/T=[1,0], а вероятность первого класса равна exp(1)/(exp(1)+exp(0))≈0.7311. Победитель остался первым, шкала уверенности стала мягче.

Набора с наблюдаемыми частотами в этом примере нет. Значение T не оптимизировалось; число 0.7311 не объявляется доказанной вероятностью верного ответа. Это только арифметика положительного деления логитов и softmax. Подбор T по данным требует следующей отдельной процедуры.

Порядок работы выглядит так.

  1. Обучите классификатор на тренировочном наборе. Веса фиксируются.
  2. Выделите отдельный калибровочный набор с верными метками. Он не участвовал в обучении весов.
  3. Получите логиты модели на калибровочном наборе. Если модель отдаёт вероятности, постройте логарифмические входы калибровки по описанному в документации scikit-learn правилу: добавьте малое положительное число и возьмите натуральный логарифм.
  4. Подберите скаляр T минимизацией log loss на этих логитах и метках.
  5. Примените найденный T к логитам на тестовом наборе, который не использовался ни для обучения весов, ни для подбора T.
  6. Сравните распределения вероятностей до и после по одинаковому протоколу: посчитайте log loss и постройте диаграмму надёжности.

Разделение данных здесь принципиально. Тренировочный набор служит для весов модели, валидационный или калибровочный — для подбора T, нетронутый тестовый — для финальной оценки. Подбор T на тестовом наборе делает оценку недействительной: вы подгоняете параметр под данные, на которых затем отчитываетесь.

Схема данных в таблице условна и показывает назначение каждого набора.

Набор Назначение Что подбирается
Train Обучение модели Веса классификатора
Validation / calibration Подбор температуры Скаляр T
Test Финальная оценка Ничего

Для ручной проверки механизма можно посчитать softmax в любом окружении с экспонентой. Полный учебный текст расчёта приведён ниже и воспроизводится копированием.

ТЕКСТ5 строк
Вход: z=[2,0], два класса.
T=1: softmax для первого класса = exp(2)/(exp(2)+1) ≈ 0.8808.
T=2: z/T=[1,0], softmax для первого класса = exp(1)/(exp(1)+1) ≈ 0.7311.
Argmax: первый класс в обоих случаях.
T выбран вручную; наблюдаемые частоты и оптимальный T здесь неизвестны.

Проверка результата на заданном входе

Проверка отвечает на вопрос: стало ли лучше и не сломалось ли что-то. Начните с метрики, которую оптимизировали. Log loss на тестовом наборе до и после калибровки считается по одному протоколу: те же объекты, те же метки, та же формула. Снижение log loss означает улучшение этой функции качества на данном тестовом наборе. Оно не доказывает идеальную калибровку по всем сегментам. При росте проверьте состав данных, метки и процедуру подбора; один результат не устанавливает причину расхождения.

Второй инструмент — диаграмма надёжности. Объекты группируются по предсказанной вероятности, для каждой группы сравнивается средняя уверенность с долей верных ответов. Документация TorchMetrics описывает построение бинов: они формируются равномерно в диапазоне от 0 до 1. На такой диаграмме хорошо откалиброванная модель лежит близко к диагонали. Улучшение диаграммы проверяют по данным, без обещания заранее. T оптимизируется по log loss; численная оценка по бинам и поведение на другом наборе могут измениться иначе. Отсутствие улучшения само по себе не устанавливает ошибку реализации.

Третий инструмент — числовая сводка ошибки калибровки. TorchMetrics предоставляет класс CalibrationError как измеритель: он считает расхождение между уверенностью и точностью по бинам. Этот инструмент служит для измерения, и подбор T в нём не выполняется. Разделение ролей важно: один компонент подбирает параметр, другой измеряет результат.

Четвёртая проверка — сохранение меток. По свойству, зафиксированному в документации scikit-learn, деление на положительный скаляр не смещает максимум softmax. Значит, список предсказанных классов на тестовом наборе обязан совпасть до и после калибровки. Если метки изменились, проверьте знак T, порядок применения и что используется деление логитов на T перед softmax. Прямое деление вероятностей не является описанным преобразованием. Расхождение меток указывает на ошибку в реализации.

Пятая проверка — устойчивость T. Разбейте калибровочный набор на части и подберите T на каждой. Если значения близки, оценка устойчива. Большой разброс требует проверки состава данных и процедуры. У него может быть несколько причин; одна оценка разброса не определяет необходимый объём выборки. Полезно также сравнить T, подобранный на разных подвыборках, с итоговым значением: сильное расхождение сигнализирует о неоднородности данных.

Шестая проверка — поведение по подгруппам. Единый скаляр не задаёт отдельной настройки для каждого сегмента; поэтому отдельно сравните log loss и диаграмму надёжности по выбранным классам или группам. Если в одном сегменте калибровка улучшилась, а в другом ухудшилась, оцените приемлемость изменения для задачи и сравните альтернативы на независимых данных.

Соберите проверку в один проход: log loss до и после, диаграмма надёжности, сводка ошибки калибровки, совпадение меток, устойчивость T, разбивка по подгруппам. Такой набор даёт ответ, пригодный для решения о внедрении.

Сравнение с ближайшим подходом

Ближайшие альтернативы — изотоническая и сигмоидная калибровка. Документация scikit-learn перечисляет изотоническую, сигмоидную и температурную калибровку как варианты CalibratedClassifierCV. Различия удобно свести в таблицу.

Критерий Temperature scaling Изотоническая Сигмоидная (Платта)
Число параметров Один скаляр T Ступенчатая функция Два параметра
Многоклассовость Поддерживается через логиты Требует схемы «один против всех» Требует схемы «один против всех»
Гибкость Общий масштаб логитов Непараметрическая функция Сигмоидное преобразование
Влияние на метки Максимум softmax сохраняется Метки могут меняться Метки могут меняться
Что оптимизируется Log loss Отдельная целевая функция Log loss

Документация scikit-learn отмечает, что температурная калибровка естественно поддерживает многоклассовые предсказания, работая с логитами и применяя softmax в конце. Изотоническая и сигмоидная калибровка исторически строились вокруг бинарного случая и для многих классов требуют отдельной схемы. Один скаляр против ступенчатой функции — это разница между устойчивостью и гибкостью: изотоническая калибровка может точнее повторить сложную форму зависимости, но на малых выборках склонна подгоняться под шум.

Temperature scaling можно использовать как простой кандидат для сравнения: он подбирает один скаляр и сохраняет argmax фиксированной модели. Решение принимайте по результатам независимой проверки; ухудшение качества возможно. Если проверка по подгруппам показывает, что единый T не выравнивает калибровку, переходите к методам с большим числом параметров и сравнивайте их по тому же протоколу.

Ограничения и следующий шаг

Ограничения метода вытекают из его устройства. Один скаляр на модель означает, что различия между классами и сегментами данных остаются неучтёнными. Метод требует отдельного набора с верными метками; при его отсутствии подбор T превращается в подгонку. Метод работает с логитами, поэтому для моделей, отдающих только вероятности, нужен обратный переход через логарифм, описанный в документации scikit-learn. Метод не повышает точность: свойство сохранения максимума softmax означает, что метки остаются прежними, и ждать роста accuracy от калибровки не стоит.

Отдельное ограничение — область действия свойства сохранения максимума. Оно верно для одного фиксированного положительного скаляра T при неизменных логитах. Ансамбли разных моделей, кросс-валидационные схемы, произвольные преобразования логитов и пороги, выбираемые дальше по пайплайну, этим свойством не покрываются, и их поведение нужно проверять отдельно.

Следующий шаг зависит от результата проверки. Если log loss снизился, диаграмма надёжности придвинулась к диагонали, метки совпали и T устойчив, метод можно внедрять: сохраните найденный скаляр вместе с версией модели и применяйте его к логитам на инференсе. Если улучшение есть только в среднем, а по подгруппам картина расходится, рассмотрите параметрические методы с большим числом параметров. Если калибровочных данных мало, увеличьте набор или проверьте устойчивость T на нескольких разбиениях, прежде чем принимать решение.

Для воспроизводимости фиксируйте три вещи: значение T, состав калибровочного набора и протокол оценки. Документация scikit-learn указывает, что T обучается минимизацией log loss на отложенном наборе; тот же протокол применяйте при повторных проверках, чтобы сравнение было корректным.

Частые вопросы

Что такое temperature scaling в калибровке модели?

Это постобработка классификатора: логиты делятся на положительный скаляр T, затем применяется softmax. Документация scikit-learn описывает метод как модификацию softmax температурным параметром. Скаляр подбирается на отложенном наборе минимизацией log loss. Метод меняет шкалу уверенности, сохраняя предсказанные метки.

Чем temperature scaling отличается от sampling temperature в LLM?

Формулы внешне родственны, но задачи различны. В калибровке классификатора T подбирают по log loss на отложенных данных для улучшения вероятностных оценок. Фактическое изменение калибровки затем проверяют. В генеративных моделях temperature управляет разнообразием при выборе следующего токена во время генерации. Процедура подбора и способ оценки у этих параметров разные.

Влияет ли temperature scaling на точность модели?

Документация scikit-learn фиксирует свойство: деление на положительный скаляр не смещает максимум softmax, поэтому точность калибруемого классификатора не меняется. Метки остаются прежними, меняется уверенность. Свойство действует для одного фиксированного положительного T при неизменных логитах. Ансамбли, кросс-валидация и downstream-пороги требуют отдельной проверки.

Какой набор данных нужен для подбора T?

Нужен отдельный калибровочный набор с верными метками, не участвовавший в обучении весов. Схема разделения: тренировочный набор для весов, валидационный или калибровочный для T, нетронутый тестовый для финальной оценки. Подбор T на тестовом наборе делает оценку недействительной. Для проверки устойчивости полезно разбить калибровочный набор на части.

Как проверить, что калибровка сработала?

Сравните log loss на тестовом наборе до и после по одному протоколу. Постройте диаграмму надёжности: документация TorchMetrics описывает равномерные бины в диапазоне от 0 до 1, и сопоставьте положение кривой с диагональю до и после. Улучшение заранее не гарантируется. Проверьте совпадение меток: максимум softmax сохраняется. Добавьте разбивку по подгруппам и проверку устойчивости T на нескольких разбиениях.

Читайте также

3 материала