Содержание
  1. Логиты и распределение
  2. Формула для трёх вариантов
  3. Устойчивое вычисление
  4. Температура
  5. Softmax и sigmoid
  6. Что означает вероятность
  7. Практическая проверка суммы и оси
  8. Частые вопросы
Справочник

Что такое softmax: из оценок в распределение

16 ноября 2026 · 10 минут чтения

Вопрос «Что такое softmax: из оценок в распределение» описывает преобразование чисел функцией softmax, которая берёт вектор числовых оценок (логитов) и превращает его в вероятности, сумма которых равна единице. В документации PyTorch сказано, что softmax применяется к n-мерному входному тензору и возвращает тензор той же формы со значениями в диапазоне [0, 1]. Google в учебном курсе по машинному обучению описывает softmax как слой, отображающий вектор оценок в распределение вероятностей.

Логиты и распределение

Логиты — это сырые оценки, которые модель выдаёт для каждого класса до применения softmax. Google в разделе о рекомендательных системах называет их вектором оценок и отмечает, что softmax-слой отображает этот вектор в распределение вероятностей. В разобранной Google рекомендательной модели размер выхода совпадает с числом элементов каталога, и каждая позиция представляет вероятность взаимодействия с элементом.

Логиты могут быть любыми вещественными числами: отрицательными, положительными, большими по модулю. Их абсолютная величина не имеет смысла сама по себе — значение имеет разница между ними. Если один логит больше другого, соответствующая вероятность будет выше. Если логиты равны, вероятности распределятся поровну.

Softmax решает конкретную задачу: преобразовать числовые оценки в набор неотрицательных значений, которые складываются в единицу. Это делает выход интерпретируемым как распределение вероятностей по взаимоисключающим классам. Google в курсе по многоклассовой классификации прямо указывает: softmax предполагает, что каждый пример принадлежит ровно одному классу. Это ключевое ограничение модели — она подходит для задач, где классы исключают друг друга.

Для трёх классов логиты можно записать как вектор из трёх чисел. Например, A = 0, B = ln 2, C = ln 3. Здесь заданы учебные входы; реальная модель не измерялась. Экспоненты этих логитов дают 1, 2 и 3. Сумма равна 6. Softmax превращает их в 1/6, 2/6 и 3/6. Проверка: сумма 1/6 + 2/6 + 3/6 = 1. Порядок сохранён: класс C получил наибольшую вероятность, класс A — наименьшую.

Формула для трёх вариантов

Общая формула softmax для вектора логитов z выглядит так: вероятность i-го класса равна экспоненте z_i, делённой на сумму экспонент всех логитов. Документация SciPy формулирует это так: функция softmax преобразует каждый элемент коллекции, вычисляя экспоненту элемента, делённую на сумму экспонент всех элементов.

Для трёх классов формула расписывается в три строки:

  • p(A) = exp(z_A) / (exp(z_A) + exp(z_B) + exp(z_C))
  • p(B) = exp(z_B) / (exp(z_A) + exp(z_B) + exp(z_C))
  • p(C) = exp(z_C) / (exp(z_A) + exp(z_B) + exp(z_C))

Знаменатель одинаков для всех трёх вероятностей. Это гарантирует, что сумма всегда равна единице. Документация TensorFlow подтверждает: сумма всех выходов softmax равна 1, и функция используется для многоклассовых предсказаний.

Подставим учебные логиты: z_A = 0, z_B = ln 2, z_C = ln 3. Экспонента нуля равна 1. Экспонента ln 2 равна 2. Экспонента ln 3 равна 3. Знаменатель: 1 + 2 + 3 = 6. Вероятности: 1/6, 2/6 и 3/6. Их сумма равна 1. Порядок логитов сохранён: C > B > A.

Формула работает для любого числа классов. Для n классов знаменатель — сумма n экспонент. Числитель каждого класса — его собственная экспонента. Документация PyTorch уточняет, что выходной тензор имеет ту же размерность и форму, что и входной, а значения лежат в диапазоне [0, 1].

Устойчивое вычисление

Прямое вычисление экспоненты от больших логитов приводит к переполнению. Если логит равен 1000, exp(1000) — огромное число, которое не помещается в стандартный float. Документация SciPy отмечает, что реализация использует сдвиг для предотвращения переполнения. Тот же приём применяется вручную: перед вычислением экспоненты из всех логитов вычитается максимальный логит.

Математически результат не меняется. Если из всех логитов вычесть одно и то же число, вероятности останутся теми же. Проверим на учебном примере: логиты A = 0, B = ln 2, C = ln 3. Прибавим ко всем 1000. Получим 1000, 1000 + ln 2, 1000 + ln 3. Математически распределение то же. В коде вычитание максимума до exp предотвращает переполнение.

Вот учебный пример на стандартной библиотеке Python:

PYTHON14 строк
from math import exp, log

def softmax(values, temperature=1):
    if temperature <= 0:
        raise ValueError('temperature must be positive')
    scaled = [x / temperature for x in values]
    maximum = max(scaled)
    weights = [exp(x - maximum) for x in scaled]
    total = sum(weights)
    return [x / total for x in weights]

print(softmax([0, log(2), log(3)]))
print(softmax([1000, 1000 + log(2), 1000 + log(3)]))
print(softmax([0, log(2), log(3)], 0.5))

Код вычисляет заданный учебный пример стандартной библиотекой Python. Из-за округления float сравнивайте результаты с допуском. Первый вызов даёт [1/6, 2/6, 3/6]. Второй вызов со сдвигом на 1000 даёт тот же результат. Третий вызов с температурой 0.5 даёт [1/14, 4/14, 9/14].

Проверка после вычисления: все значения положительны, сумма близка к единице, порядок логитов сохранён при температуре больше нуля. Проверки помогают заметить ошибки, но отдельно нужно проверить правильность оси и входных данных.

Температура

Температура — параметр, который управляет резкостью распределения. Логиты делятся на температуру до применения экспоненты. При T = 1 распределение соответствует обычному softmax. При T меньше единицы распределение становится резче: единственный максимальный логит получает больший вес; поведение промежуточных вероятностей зависит от остальных логитов. При T больше единицы распределение сглаживается.

Учебный пример: логиты A = 0, B = ln 2, C = ln 3. При T = 0.5 делим каждый логит на 0.5, то есть умножаем на 2. Получаем 0, 2·ln 2, 2·ln 3. Экспоненты: 1, 4, 9. Сумма: 14. Вероятности: 1/14, 4/14 и 9/14. При T = 1 они равнялись 1/6, 2/6 и 3/6. Максимальная вероятность теперь 9/14 вместо 3/6. Распределение стало резче.

Температура не меняет порядок логитов. Класс с наибольшим логитом остаётся наиболее вероятным при любой положительной температуре. Меняется только степень уверенности. При T, стремящейся к нулю, распределение сосредотачивается на классе с единственным максимальным логитом; при равных максимумах вес делится между ними. При T, стремящейся к бесконечности, распределение приближается к равномерному.

В коде температура проверяется на положительность. Нулевая или отрицательная температура даёт деление на ноль или инверсию порядка. Функция из примера выбрасывает ValueError при temperature <= 0. Это защита от некорректного вызова.

Температура применяется в генеративных моделях для управления разнообразием выхода. Низкая температура делает выбор более предсказуемым, высокая — более разнообразным. Конкретные значения подбираются под задачу и не являются универсальными.

Softmax и sigmoid

Sigmoid и softmax решают разные задачи. Google в курсе по многоклассовой классификации описывает sigmoid так: при подходе one-vs-all сигмоида применяется к каждому выходному узлу независимо, что даёт значение от 0 до 1 для каждого узла, но не гарантирует, что эти значения в сумме дадут ровно 1.

Softmax, по тому же источнику, назначает десятичные вероятности каждому классу в многоклассовой задаче так, что все вероятности складываются в 1.0. Разница принципиальная: sigmoid обрабатывает каждый выход независимо, softmax нормирует весь вектор сразу.

Критерий Sigmoid Softmax
Число классов Независимые бинарные метки Взаимоисключающие классы
Сумма выходов Не гарантирована Равна 1
Связь между выходами Отсутствует Общий знаменатель
Типичная задача Многометочная классификация Многоклассовая классификация

Google в курсе прямо указывает: softmax предполагает, что каждый пример принадлежит ровно одному классу. Если объект может относиться к нескольким классам одновременно, sigmoid подходит лучше. Если классы исключают друг друга, softmax даёт корректное распределение.

Практический признак выбора: если сумма вероятностей по всем классам должна быть равна единице, применяется softmax. Если каждый класс оценивается независимо и сумма может превышать единицу, применяется sigmoid. Выбор связан с постановкой задачи и способом обучения модели.

Что означает вероятность

Выход softmax описывает распределение относительных оценок. Например, 3/6 в нашем расчёте означает половину нормированного веса для класса C. Это условная величина, зависящая от логитов, которые выдала модель.

Softmax сам по себе не калибрует истинность ответов языковой модели. Высокая вероятность на выходе означает лишь, что модель уверенно различает классы внутри своего представления. Она не означает, что ответ соответствует фактам. Нельзя умножать полученные вероятности на процент достоверности факта — это разные величины.

Документация TensorFlow описывает выход softmax как тензор того же типа и формы, что и логиты. Значения лежат в диапазоне [0, 1] и суммируются в единицу. Гарантия качества предсказания из этого математического свойства не следует.

Для трёх классов из учебного примера вероятности 1/6, 2/6 и 3/6 означают, что класс C получил в три раза больше веса, чем класс A. Это отношение экспонент: exp(ln 3) / exp(0) = 3. Softmax сохраняет относительные различия логитов в виде отношений вероятностей.

Интерпретация вероятностей зависит от задачи. В приведённой Google рекомендательной модели выход представляет вероятность взаимодействия с элементом. В классификации — уверенность модели в принадлежности к классу. В генерации текста — вес токена при выборе следующего.

Практическая проверка суммы и оси

Ось — параметр, определяющий, вдоль какого измерения вычисляется softmax. Документация PyTorch описывает dim как измерение, вдоль которого вычисляется softmax, так что каждый срез вдоль dim суммируется в 1. Документация TensorFlow указывает, что по умолчанию используется последняя размерность (-1). Документация SciPy отмечает, что при axis = None softmax вычисляется по всему массиву.

Выбор оси критичен для многомерных тензоров. Если логиты имеют форму (batch, classes), softmax нужно применять по оси классов. Применение по оси batch даст неверный результат: сумма по батчу станет единичной, хотя задача требует нормировать каждый объект по его классам.

Порядок проверки после вызова softmax:

  1. Убедиться, что все значения неотрицательны.
  2. Проверить, что сумма по выбранной оси близка к единице.
  3. Сравнить порядок вероятностей с порядком исходных логитов.
  4. Убедиться, что форма выхода совпадает с формой входа.

Документация TensorFlow подтверждает, что выход имеет тот же тип и форму, что и логиты. Документация PyTorch указывает, что выходной тензор имеет ту же размерность и форму, что и входной, со значениями в диапазоне [0, 1].

Типичная ошибка — применить softmax по оси батча вместо оси классов. Вторая ошибка — забыть про вычитание максимума при больших логитах. Третья — использовать softmax для независимых меток, где нужен sigmoid. Четвёртая — интерпретировать вероятность как меру истинности ответа.

Частые вопросы

Что такое softmax простыми словами?

Softmax превращает набор чисел в вероятности, сумма которых равна единице. Каждое число сначала возводится в экспоненту, затем делится на сумму всех экспонент. Результат — распределение по классам, где больший логит даёт большую вероятность.

Чем softmax отличается от sigmoid?

Sigmoid обрабатывает каждый выход независимо и даёт значения от 0 до 1 без гарантии суммы. Softmax нормирует весь вектор сразу, и сумма выходов равна единице. Google в курсе по многоклассовой классификации указывает, что softmax предполагает принадлежность примера ровно одному классу.

Зачем вычитать максимум перед экспонентой?

Экспонента от больших чисел переполняет стандартный float. Вычитание максимума из всех логитов не меняет математический результат, но предотвращает переполнение. Документация SciPy отмечает, что реализация использует сдвиг для предотвращения переполнения.

Как температура влияет на распределение?

Температура делит логиты до экспоненты. При T меньше единицы распределение становится резче, при T больше единицы — сглаживается. Порядок классов сохраняется при любой положительной температуре. Учебный пример: при T = 0.5 вероятности [1/14, 4/14, 9/14] вместо [1/6, 2/6, 3/6].

По какой оси применять softmax?

По оси классов. Документация TensorFlow указывает, что по умолчанию используется последняя размерность (-1). Документация PyTorch описывает dim как измерение, вдоль которого каждый срез суммируется в 1. Применение по оси батча даёт неверный результат.

Читайте также

3 материала