Что такое temperature scaling: калибровка модели — это постобработка одним положительным скаляром T: логиты делятся на T, затем применяется softmax(z/T). Документация scikit-learn описывает метод как модификацию softmax температурным параметром, который подбирается на отложенной выборке минимизацией log loss. Победитель по argmax сохраняется, меняется уверенность.
Задача читателя и границы метода
Классификатор выдаёт метку и число рядом с ней. Число выглядит как вероятность, и на него опираются при выборе порога, в ансамблях, в очереди ручной проверки. Документация scikit-learn определяет хорошо откалиброванный классификатор как вероятностный классификатор, у которого выход согласован с фактической частотой: среди объектов с оценкой около 0,8 доля верных близка к 0,8. Соответствие уверенности и частоты проверяют по размеченному набору; одно уверенное предсказание само по себе калибровку не подтверждает.
Temperature scaling решает узкую задачу: привести шкалу уверенности в соответствие с наблюдаемой частотой, сохранив порядок классов внутри каждого объекта и его argmax-метку. Метод работает с логитами — вектором выходов классификатора до softmax, как называет его документация scikit-learn. Логиты доступны у моделей с линейным выходным слоем: это классификаторы изображений, текстовые классификаторы, любые сети с softmax на конце.
Границы очерчены ясно. Метод подбирает один скаляр на всю модель, поэтому отдельные классы и подгруппы не получают собственных параметров. Улучшение среднего показателя не гарантирует улучшения в каждом сегменте. Он требует отдельного набора с верными метками, который не участвовал в обучении весов. Он меняет только уверенность, оставляя решение прежним. Задача читателя — понять, подходит ли такой инструмент к его случаю, и если да, провести подбор и проверку по воспроизводимому порядку.
Отдельно стоит развести два похожих названия. Temperature scaling в калибровке классификатора — постобработка готовой модели: скаляр T делит логиты, параметр подбирается по log loss на отложенных данных. Temperature в генеративных LLM — параметр сэмплирования, который управляет разнообразием при выборе следующего токена во время генерации. Формулы внешне родственны, задача, процедура и способ оценки различны: в первом случае параметр оценивают по размеченным данным, во втором меняют распределение выбора следующего токена. Само изменение параметра не гарантирует ни калибровки, ни творческого качества. Смешение этих понятий даёт неверные ожидания: подбор T на валидации не сделает ответы модели более креативными, а повышение sampling temperature не откалибрует классификатор.
Основные понятия и параметры
Форма записи метода: softmax(z/T), где z — вектор логитов, T — положительный скаляр. Документация scikit-learn приводит эту запись в описании CalibratedClassifierCV и указывает, что значение T оптимизирует log loss. Логиты — это выходы последнего линейного слоя до нормировки; их можно получить напрямую. Если доступны только вероятности, для калибровки можно построить логарифмические оценки по описанному в scikit-learn правилу; это не восстановление исходного вектора логитов один к одному. Документация scikit-learn описывает обратный переход: к вероятностям добавляется малое положительное число, чтобы избежать проблем с логарифмом нуля, затем берётся натуральный логарифм. Такой путь нужен, когда модель отдаёт только softmax-выходы.
Параметр T читается так. При T = 1 распределение остаётся исходным. При T > 1 логиты делятся на большее число, разрывы между ними сжимаются, распределение становится мягче, уверенность падает. При T < 1 логиты растягиваются, распределение обостряется, уверенность растёт. Область допустимых значений — положительные числа; ноль и отрицательные значения лишены смысла, поскольку деление на ноль не определено, а отрицательный масштаб переворачивал бы знак логитов.
Ключевое свойство зафиксировано в документации scikit-learn: деление на положительный скаляр не меняет положение максимума в выходе softmax, поэтому temperature scaling не изменяет точность калибруемого классификатора. Практический вывод: метки остаются теми же, accuracy не двигается, меняется шкала вероятностей. Это свойство действует для одного фиксированного положительного скаляра T при неизменных логитах. Оно не переносится на ансамбли разных моделей, на кросс-валидационные схемы, на произвольные преобразования логитов и на пороги, которые вы выбираете дальше по пайплайну.
Что оптимизируется. Документация scikit-learn называет целевую функцию: T подбирается минимизацией log loss, то есть кросс-энтропии, на отложенном наборе. Логика простая: log loss штрафует за уверенные ошибки, поэтому оптимальный T сдвигает распределение так, чтобы уверенность соответствовала фактической частоте. Один скаляр — минимум параметров, но малое число параметров не отменяет риск подгонки и необходимость нетронутого теста. Устойчивость на имеющемся объёме данных нужно проверить.
Как это устроено в библиотеках. Документация scikit-learn перечисляет три варианта калибровки в CalibratedClassifierCV: изотоническую, сигмоидную и температурную. Опция temperature добавлена в версии 1.8. Документация scikit-learn отмечает, что температурная калибровка естественно поддерживает многоклассовые предсказания, работая с логитами и применяя softmax в конце. Отдельный проект Probmetrics предоставляет класс TemperatureScalingCalibrator с методами fit и predict_proba: в README проекта показаны импорт класса, создание объекта, обучение на вероятностях с метками и получение откалиброванных вероятностей. Архивный репозиторий gpleiss/temperature_scaling описывает демонстрацию для PyTorch 0.3 как простая демонстрация метода; его README прямо сообщает, что проект не задумывался как самостоятельный пакет и много лет не поддерживается. Этот архив полезен для понимания происхождения метода, а его старый runtime API к переносу в текущий код не предназначен.
| Понятие | Что означает | Роль в методе |
|---|---|---|
| Логиты z | Выходы классификатора до softmax | Вход для деления на T |
| Скаляр T | Положительное число | Единственный подбираемый параметр |
| softmax(z/T) | Нормировка после деления | Даёт калиброванные вероятности |
| Log loss | Кросс-энтропия | Целевая функция подбора T |
| Калибровочный набор | Отложенные данные с метками | Источник для подбора T |
| ECE | Ошибка калибровки по бинам | Метрика проверки результата |
Полный учебный пример
Ниже — учебный пример с условными числами. Внешний сервис не запускался, модель не обучалась, скорость и улучшение качества не измерялись. Все входные данные и эталоны даны в тексте; реальные параметры библиотеки сверяются с названной документацией.
Возьмём задачу с двумя классами и один объект. Логиты условно заданы как z=[2,0]. При T=1 вероятность первого класса равна exp(2)/(exp(2)+exp(0))≈0.8808. Для иллюстрации вручную выберем T=2. Тогда z/T=[1,0], а вероятность первого класса равна exp(1)/(exp(1)+exp(0))≈0.7311. Победитель остался первым, шкала уверенности стала мягче.
Набора с наблюдаемыми частотами в этом примере нет. Значение T не оптимизировалось; число 0.7311 не объявляется доказанной вероятностью верного ответа. Это только арифметика положительного деления логитов и softmax. Подбор T по данным требует следующей отдельной процедуры.
Порядок работы выглядит так.
- Обучите классификатор на тренировочном наборе. Веса фиксируются.
- Выделите отдельный калибровочный набор с верными метками. Он не участвовал в обучении весов.
- Получите логиты модели на калибровочном наборе. Если модель отдаёт вероятности, постройте логарифмические входы калибровки по описанному в документации scikit-learn правилу: добавьте малое положительное число и возьмите натуральный логарифм.
- Подберите скаляр T минимизацией log loss на этих логитах и метках.
- Примените найденный T к логитам на тестовом наборе, который не использовался ни для обучения весов, ни для подбора T.
- Сравните распределения вероятностей до и после по одинаковому протоколу: посчитайте log loss и постройте диаграмму надёжности.
Разделение данных здесь принципиально. Тренировочный набор служит для весов модели, валидационный или калибровочный — для подбора T, нетронутый тестовый — для финальной оценки. Подбор T на тестовом наборе делает оценку недействительной: вы подгоняете параметр под данные, на которых затем отчитываетесь.
Схема данных в таблице условна и показывает назначение каждого набора.
| Набор | Назначение | Что подбирается |
|---|---|---|
| Train | Обучение модели | Веса классификатора |
| Validation / calibration | Подбор температуры | Скаляр T |
| Test | Финальная оценка | Ничего |
Для ручной проверки механизма можно посчитать softmax в любом окружении с экспонентой. Полный учебный текст расчёта приведён ниже и воспроизводится копированием.
Вход: z=[2,0], два класса.
T=1: softmax для первого класса = exp(2)/(exp(2)+1) ≈ 0.8808.
T=2: z/T=[1,0], softmax для первого класса = exp(1)/(exp(1)+1) ≈ 0.7311.
Argmax: первый класс в обоих случаях.
T выбран вручную; наблюдаемые частоты и оптимальный T здесь неизвестны.
Проверка результата на заданном входе
Проверка отвечает на вопрос: стало ли лучше и не сломалось ли что-то. Начните с метрики, которую оптимизировали. Log loss на тестовом наборе до и после калибровки считается по одному протоколу: те же объекты, те же метки, та же формула. Снижение log loss означает улучшение этой функции качества на данном тестовом наборе. Оно не доказывает идеальную калибровку по всем сегментам. При росте проверьте состав данных, метки и процедуру подбора; один результат не устанавливает причину расхождения.
Второй инструмент — диаграмма надёжности. Объекты группируются по предсказанной вероятности, для каждой группы сравнивается средняя уверенность с долей верных ответов. Документация TorchMetrics описывает построение бинов: они формируются равномерно в диапазоне от 0 до 1. На такой диаграмме хорошо откалиброванная модель лежит близко к диагонали. Улучшение диаграммы проверяют по данным, без обещания заранее. T оптимизируется по log loss; численная оценка по бинам и поведение на другом наборе могут измениться иначе. Отсутствие улучшения само по себе не устанавливает ошибку реализации.
Третий инструмент — числовая сводка ошибки калибровки. TorchMetrics предоставляет класс CalibrationError как измеритель: он считает расхождение между уверенностью и точностью по бинам. Этот инструмент служит для измерения, и подбор T в нём не выполняется. Разделение ролей важно: один компонент подбирает параметр, другой измеряет результат.
Четвёртая проверка — сохранение меток. По свойству, зафиксированному в документации scikit-learn, деление на положительный скаляр не смещает максимум softmax. Значит, список предсказанных классов на тестовом наборе обязан совпасть до и после калибровки. Если метки изменились, проверьте знак T, порядок применения и что используется деление логитов на T перед softmax. Прямое деление вероятностей не является описанным преобразованием. Расхождение меток указывает на ошибку в реализации.
Пятая проверка — устойчивость T. Разбейте калибровочный набор на части и подберите T на каждой. Если значения близки, оценка устойчива. Большой разброс требует проверки состава данных и процедуры. У него может быть несколько причин; одна оценка разброса не определяет необходимый объём выборки. Полезно также сравнить T, подобранный на разных подвыборках, с итоговым значением: сильное расхождение сигнализирует о неоднородности данных.
Шестая проверка — поведение по подгруппам. Единый скаляр не задаёт отдельной настройки для каждого сегмента; поэтому отдельно сравните log loss и диаграмму надёжности по выбранным классам или группам. Если в одном сегменте калибровка улучшилась, а в другом ухудшилась, оцените приемлемость изменения для задачи и сравните альтернативы на независимых данных.
Соберите проверку в один проход: log loss до и после, диаграмма надёжности, сводка ошибки калибровки, совпадение меток, устойчивость T, разбивка по подгруппам. Такой набор даёт ответ, пригодный для решения о внедрении.
Сравнение с ближайшим подходом
Ближайшие альтернативы — изотоническая и сигмоидная калибровка. Документация scikit-learn перечисляет изотоническую, сигмоидную и температурную калибровку как варианты CalibratedClassifierCV. Различия удобно свести в таблицу.
| Критерий | Temperature scaling | Изотоническая | Сигмоидная (Платта) |
|---|---|---|---|
| Число параметров | Один скаляр T | Ступенчатая функция | Два параметра |
| Многоклассовость | Поддерживается через логиты | Требует схемы «один против всех» | Требует схемы «один против всех» |
| Гибкость | Общий масштаб логитов | Непараметрическая функция | Сигмоидное преобразование |
| Влияние на метки | Максимум softmax сохраняется | Метки могут меняться | Метки могут меняться |
| Что оптимизируется | Log loss | Отдельная целевая функция | Log loss |
Документация scikit-learn отмечает, что температурная калибровка естественно поддерживает многоклассовые предсказания, работая с логитами и применяя softmax в конце. Изотоническая и сигмоидная калибровка исторически строились вокруг бинарного случая и для многих классов требуют отдельной схемы. Один скаляр против ступенчатой функции — это разница между устойчивостью и гибкостью: изотоническая калибровка может точнее повторить сложную форму зависимости, но на малых выборках склонна подгоняться под шум.
Temperature scaling можно использовать как простой кандидат для сравнения: он подбирает один скаляр и сохраняет argmax фиксированной модели. Решение принимайте по результатам независимой проверки; ухудшение качества возможно. Если проверка по подгруппам показывает, что единый T не выравнивает калибровку, переходите к методам с большим числом параметров и сравнивайте их по тому же протоколу.
Ограничения и следующий шаг
Ограничения метода вытекают из его устройства. Один скаляр на модель означает, что различия между классами и сегментами данных остаются неучтёнными. Метод требует отдельного набора с верными метками; при его отсутствии подбор T превращается в подгонку. Метод работает с логитами, поэтому для моделей, отдающих только вероятности, нужен обратный переход через логарифм, описанный в документации scikit-learn. Метод не повышает точность: свойство сохранения максимума softmax означает, что метки остаются прежними, и ждать роста accuracy от калибровки не стоит.
Отдельное ограничение — область действия свойства сохранения максимума. Оно верно для одного фиксированного положительного скаляра T при неизменных логитах. Ансамбли разных моделей, кросс-валидационные схемы, произвольные преобразования логитов и пороги, выбираемые дальше по пайплайну, этим свойством не покрываются, и их поведение нужно проверять отдельно.
Следующий шаг зависит от результата проверки. Если log loss снизился, диаграмма надёжности придвинулась к диагонали, метки совпали и T устойчив, метод можно внедрять: сохраните найденный скаляр вместе с версией модели и применяйте его к логитам на инференсе. Если улучшение есть только в среднем, а по подгруппам картина расходится, рассмотрите параметрические методы с большим числом параметров. Если калибровочных данных мало, увеличьте набор или проверьте устойчивость T на нескольких разбиениях, прежде чем принимать решение.
Для воспроизводимости фиксируйте три вещи: значение T, состав калибровочного набора и протокол оценки. Документация scikit-learn указывает, что T обучается минимизацией log loss на отложенном наборе; тот же протокол применяйте при повторных проверках, чтобы сравнение было корректным.
Частые вопросы
Что такое temperature scaling в калибровке модели?
Это постобработка классификатора: логиты делятся на положительный скаляр T, затем применяется softmax. Документация scikit-learn описывает метод как модификацию softmax температурным параметром. Скаляр подбирается на отложенном наборе минимизацией log loss. Метод меняет шкалу уверенности, сохраняя предсказанные метки.
Чем temperature scaling отличается от sampling temperature в LLM?
Формулы внешне родственны, но задачи различны. В калибровке классификатора T подбирают по log loss на отложенных данных для улучшения вероятностных оценок. Фактическое изменение калибровки затем проверяют. В генеративных моделях temperature управляет разнообразием при выборе следующего токена во время генерации. Процедура подбора и способ оценки у этих параметров разные.
Влияет ли temperature scaling на точность модели?
Документация scikit-learn фиксирует свойство: деление на положительный скаляр не смещает максимум softmax, поэтому точность калибруемого классификатора не меняется. Метки остаются прежними, меняется уверенность. Свойство действует для одного фиксированного положительного T при неизменных логитах. Ансамбли, кросс-валидация и downstream-пороги требуют отдельной проверки.
Какой набор данных нужен для подбора T?
Нужен отдельный калибровочный набор с верными метками, не участвовавший в обучении весов. Схема разделения: тренировочный набор для весов, валидационный или калибровочный для T, нетронутый тестовый для финальной оценки. Подбор T на тестовом наборе делает оценку недействительной. Для проверки устойчивости полезно разбить калибровочный набор на части.
Как проверить, что калибровка сработала?
Сравните log loss на тестовом наборе до и после по одному протоколу. Постройте диаграмму надёжности: документация TorchMetrics описывает равномерные бины в диапазоне от 0 до 1, и сопоставьте положение кривой с диагональю до и после. Улучшение заранее не гарантируется. Проверьте совпадение меток: максимум softmax сохраняется. Добавьте разбивку по подгруппам и проверку устойчивости T на нескольких разбиениях.
