Содержание
  1. Что сглаживается в метках
  2. Явный контракт uniform mixture
  3. Полная таблица семи targets
  4. Форма, диапазон и сумма
  5. Wrong-only против uniform mix
  6. Повторное ручное сглаживание
  7. Стандартный Python oracle
  8. Где проверить параметр конкретного API
  9. Частые вопросы
Справочник

Что такое label smoothing: сглаживание меток

17 ноября 2026 · 15 минут чтения

Что такое label smoothing: сглаживание меток — подготовка целевого распределения, при которой часть массы жёсткой метки распределяется по выбранной формуле. В документации PyTorch CrossEntropyLoss этот результат описан как смесь исходной истины и равномерного распределения. Ниже разберём формулу и проверим метки перед обучением: одного контроля суммы для этого недостаточно.

Что сглаживается в метках

Сглаживается сам целевой вектор, который подаётся в функцию потерь. В задаче с тремя классами A, B, C истинный класс A в жёстком виде записывается как [1, 0, 0]. Единица стоит на позиции правильного класса, нули — на остальных. Label smoothing уменьшает уверенность на правильной позиции и распределяет часть массы по остальным классам.

Формально это смесь исходной метки с равномерным распределением. В документации PyTorch формулировка прямая: targets становятся смесью исходной истины и равномерного распределения. В справочнике Keras по вероятностным потерям для категориальной кросс-энтропии сказано, что при значении 0.1 для ненацелевых меток используется 0.1 / num_classes, а для нацелевых — 0.9 + 0.1 / num_classes. Это тот же принцип: часть массы уходит на равномерный фон.

Сглаживание меняет целевое распределение. Логиты модели при этом остаются ненормированными: в документации PyTorch отмечено, что вход содержит ненормированные логиты для каждого класса, которые в общем случае могут быть отрицательными и не суммироваться к единице. Сглаживание преобразует targets; логиты сохраняют формат, предусмотренный выбранной функцией потерь.

Практический смысл для читателя: перед обучением нужно понять, какой именно вектор попадёт в loss. Если в коде уже есть мягкая метка, сглаживание может примениться второй раз. Если метка пришла из другого пайплайна, она может быть построена по другой конвенции. Обе ситуации разбираются ниже на конкретных числах.

Важно разделять два места применения. Первое — ручное преобразование targets до вызова loss. Второе — параметр внутри самой функции потерь. В документации TensorFlow для CategoricalCrossentropy указано: значение с плавающей точкой в диапазоне [0, 1], при значении больше нуля значения меток сглаживаются, то есть уверенность в значениях меток ослабляется. Это описание параметра, который выполняет преобразование внутри loss.

Для самопроверки держите в голове три вопроса. Какой класс истинный. Сколько всего классов. Какая формула сглаживания выбрана в проекте. Ответы на эти три вопроса определяют, каким должен быть итоговый вектор. Дальше остаётся арифметика и проверка.

Явный контракт uniform mixture

Контракт нужно зафиксировать письменно до запуска обучения. В учебном примере для трёх классов выбран явный контракт: smooth(y) = (1 — alpha) * y + alpha / K, где K — число классов, alpha — сила сглаживания. Это смесь исходной метки с равномерным распределением. При alpha = 0.3 и K = 3 формула даёт для [1, 0, 0] результат [0.8, 0.1, 0.1].

Проверим арифметику по координатам. Первая координата: (1 — 0.3) * 1 + 0.3 / 3 = 0.7 + 0.1 = 0.8. Вторая координата: (1 — 0.3) * 0 + 0.3 / 3 = 0 + 0.1 = 0.1. Третья координата считается так же и даёт 0.1. Сумма трёх координат равна единице. Все координаты лежат в диапазоне от нуля до единицы.

Такой контракт называют uniform mixture, потому что добавка одинакова для всех классов. В документации PyTorch это отражено формулировкой о смеси исходной истины и равномерного распределения. В справочнике Keras для категориальной кросс-энтропии приведён эквивалент через нацелевые и ненацелевые метки: при 0.1 ненацелевые получают 0.1 / num_classes, нацелевые — 0.9 + 0.1 / num_classes.

Контракт фиксирует три вещи. Первое: сколько классов участвует в распределении. Второе: какова сила сглаживания alpha. Третье: применяется ли формула один раз или повторно. Без этой фиксации невозможно отличить правильную мягкую метку от результата двойного преобразования, потому что обе могут иметь корректную сумму.

Запишите контракт рядом с кодом подготовки данных. Формулировка вида один проход smooth с alpha = 0.3, K = 3, uniform mixture помогает сопоставить подготовку меток и настройку функции потерь при ревью. Если в проекте несколько задач с разным числом классов, контракт нужен для каждой отдельно.

Границы параметра дают дополнительный контроль. При alpha = 0 формула возвращает исходную метку. При alpha = 1 получается равномерное распределение [1/3, 1/3, 1/3] для трёх классов, и классовая информация теряется. Это дополнительные контрольные случаи формулы; рабочее значение параметра выбирают отдельно.

Полная таблица семи targets

Ниже — полный аудит семи входных targets из учебного примера. Истинный класс A, K = 3, alpha = 0.3, контракт uniform mixture. Таблица показывает, что именно проверяется и какое решение принимается до обучения.

№ Вектор Сумма Что это Решение
1 [1, 0, 0] 1.0 Исходная жёсткая метка Один проход формулы даёт [0.8, 0.1, 0.1]
2 [0.8, 0.1, 0.1] 1.0 Готовая мягкая метка по контракту Принять, повторное сглаживание не планируется
3 [0.7, 0.15, 0.15] 1.0 Другая конвенция wrong-only с alpha 0.3 Сверить с выбранным контрактом
4 [0.66, 0.17, 0.17] 1.0 Результат двух проходов формулы Контракт «один проход» нарушен
5 [1.2, -0.1, -0.1] 1.0 Отрицательные вероятности Отклонить до обучения
6 [0.8, 0.1, 0.2] 1.1 Координаты в [0, 1], сумма не равна 1 Отклонить
7 [0.9, 0.1] 1.0 Две координаты при K = 3 Отклонить для режима мягких targets

Разберём строки по порядку. Строка 1 — вход, который требует преобразования. Строка 2 — корректный результат одного прохода. Строка 3 выглядит как валидное распределение, но построена по другой конвенции: там сглаживается только неправильная часть, а правильная координата остаётся 0.7. Сумма равна единице, и это скрывает смысловую ошибку.

Строка 4 — самый коварный случай. Вектор [0.66, 0.17, 0.17] получается, если применить формулу к уже сглаженной метке [0.8, 0.1, 0.1] второй раз с тем же alpha. Арифметика повторного прохода: 0.7 * 0.8 + 0.1 = 0.66, 0.7 * 0.1 + 0.1 = 0.17. Форма верна, сумма равна единице, диапазон соблюдён. Нарушен только контракт «один проход».

Строки 5 и 6 отсекаются механическими проверками. Отрицательная координата в строке 5 делает вектор непригодным. Сумма 1.1 в строке 6 нарушает нормировку. Строка 7 отсекается проверкой формы: при трёх классах вектор обязан содержать три координаты.

Практический вывод из таблицы: сумма и диапазон ловят часть ошибок, а смысловые расхождения требуют сравнения с выбранной формулой. Полная таблица решений и отрицательные пробы дают больше, чем один числовой пример.

Форма, диапазон и сумма

Три механические проверки выполняются до обучения по заранее выбранному числу классов и формату мягких меток. Форма: длина вектора равна числу классов K. Диапазон: каждая координата лежит в отрезке от нуля до единицы. Сумма: сумма координат равна единице с учётом погрешности вычислений.

В документации PyTorch прямо сказано, что библиотека не проверяет, лежат ли значения target в диапазоне [0, 1] и суммируется ли распределение каждого образца к единице. Там же указано, что предупреждение не выводится и ответственность за корректные распределения лежит на пользователе. Это объясняет, почему проверки нужно писать самостоятельно.

Порядок аудита выглядит так. Сначала сверяются кодировка меток, число классов и ось, по которой раскладывается распределение. Затем проверяется форма. После формы — диапазон. После диапазона — сумма. Затем распределение сравнивается с выбранной формулой. Последний шаг — проверка, где именно применяется сглаживание: в подготовке данных или внутри loss.

Проверка формы ловит несоответствие числа классов. В выбранном режиме трёх классов отклоняйте вектор из двух координат до вызова loss. Проверка диапазона ловит отрицательные значения и значения больше единицы. Проверка суммы ловит ненормированные векторы.

Отдельно стоит вопрос точности. Сумма проверяется с допуском, потому что вычисления с плавающей точкой могут давать погрешность. В стандартном Python для этого есть функция isclose из модуля math. Она сравнивает значения с относительным допуском и подходит для проверки как суммы, так и совпадения векторов.

Механические проверки не заменяют смысловую. Вектор [0.7, 0.15, 0.15] проходит все три проверки и при этом построен по другой конвенции. Поэтому после формы, диапазона и суммы обязателен шаг сравнения с выбранным контрактом.

Wrong-only против uniform mix

Две конвенции сглаживания дают разные векторы при одном и том же alpha. Uniform mixture распределяет добавку по всем классам одинаково. Wrong-only конвенция сглаживает только неправильные координаты, а правильную оставляет с другой массой.

Сравним результаты для истинного класса A, K = 3, alpha = 0.3. Uniform mixture даёт [0.8, 0.1, 0.1]. Wrong-only конвенция в учебном примере даёт [0.7, 0.15, 0.15]. Оба вектора нормированы, оба лежат в допустимом диапазоне, оба имеют правильную форму. Различие видно только при сравнении с выбранной формулой.

В справочнике Keras описание категориальной кросс-энтропии задаёт распределение через нацелевые и ненацелевые метки: при 0.1 ненацелевые получают 0.1 / num_classes, нацелевые — 0.9 + 0.1 / num_classes. Это описание соответствует uniform mixture. Для бинарной кросс-энтропии в том же справочнике сказано, что сглаживание сжимает метки к 0.5. Для бинарной кросс-энтропии проверяют формат отдельных бинарных меток; в категориальном случае используют число классов K. При двух классах арифметика сглаживания может совпасть, но формат входа и выбранный loss всё равно нужно сверить.

Практический риск возникает при смешивании пайплайнов. Если метки подготовлены одним скриптом по wrong-only конвенции, а loss настроен на uniform mixture, итоговое распределение окажется результатом двух разных преобразований. Сумма останется равной единице, и механические проверки ничего не заметят.

Различить конвенции помогает сравнение с эталоном. Посчитайте ожидаемый вектор по выбранной формуле и сравните его с фактическим. В учебном примере [0.7, 0.15, 0.15] не совпадает с ожидаемым [0.8, 0.1, 0.1], и это расхождение — сигнал о другой конвенции.

Зафиксируйте конвенцию в документации проекта. Одна строка с формулой и значением alpha снимает неопределённость при передаче кода между командами. Без неё одинаковые на вид векторы могут означать разные вещи.

Повторное ручное сглаживание

Повторное применение формулы — отдельный класс ошибок. Оно возникает, когда сглаживание уже выполнено в подготовке данных, а затем включается параметр внутри loss или срабатывает второй вызов той же функции.

В учебном примере повторный проход даёт [0.66, 0.17, 0.17]. Арифметика: 0.7 * 0.8 + 0.1 = 0.66 для правильной координаты, 0.7 * 0.1 + 0.1 = 0.17 для каждой из остальных. Вектор нормирован, координаты в допустимом диапазоне, форма верна. Контракт «один проход» нарушен, и механические проверки этого не показывают.

Важное уточнение: это арифметика повторного применения выбранной формулы в учебном примере. Поведение конкретной библиотеки при мягких метках и параметре label_smoothing больше нуля зависит от её реализации. В документации TensorFlow для CategoricalCrossentropy сказано, что при значении больше нуля значения меток сглаживаются. Как именно это сочетается с уже мягкими метками, определяется кодом библиотеки, и проверять нужно её формулу.

Практический порядок действий. Сначала выясните, где применяется сглаживание: в подготовке данных или в loss. Затем убедитесь, что преобразование выполняется один раз. Если мягкие метки приходят из внешнего источника, проверьте, не сглаживает ли их loss повторно.

Держите параметр в loss и ручное преобразование различимыми. Если оба включены, в конфигурации должно быть явно видно, что именно происходит. Одно поле «сглажено» скрывает источник преобразования и затрудняет поиск двойного применения.

Проверка повторного сглаживания сводится к сравнению фактического вектора с ожидаемым результатом одного прохода. Если вектор ближе к равномерному, чем ожидаемый, проверьте историю преобразований: одно такое расхождение ещё не устанавливает причину. В учебном примере [0.66, 0.17, 0.17] ближе к равномерному, чем [0.8, 0.1, 0.1].

Стандартный Python oracle

Для проверки меток достаточно небольшого скрипта. Он реализует выбранную формулу и три проверки: форму, диапазон и сумму. Ниже — полный учебный код.

PYTHON20 строк
from math import isclose

def smooth(y, alpha):
    k = len(y)
    return [(1 - alpha) * v + alpha / k for v in y]

def distribution_valid(y, k):
    return len(y) == k and all(0 <= v <= 1 for v in y) and isclose(sum(y), 1)

def matches(a, b):
    return len(a) == len(b) and all(isclose(x, y) for x, y in zip(a, b))

expected = smooth([1, 0, 0], 0.3)
assert matches(expected, [0.8, 0.1, 0.1])
assert matches(smooth(expected, 0.3), [0.66, 0.17, 0.17])
assert distribution_valid([0.7, 0.15, 0.15], 3)
assert not matches([0.7, 0.15, 0.15], expected)
assert not distribution_valid([1.2, -0.1, -0.1], 3)
assert not distribution_valid([0.8, 0.1, 0.2], 3)
assert not distribution_valid([0.9, 0.1], 3)

Функция smooth реализует контракт uniform mixture. Функция distribution_valid проверяет форму, диапазон и сумму. Функция matches сравнивает два вектора покоординатно с допуском. Первые два assert подтверждают ожидаемые значения из таблицы. Третий assert показывает, что вектор wrong-only конвенции проходит механические проверки. Четвёртый assert ловит расхождение с выбранным контрактом. Три последних assert отсекают отрицательные координаты, ненормированную сумму и неверную форму.

Этот скрипт реализует только выбранную арифметическую формулу; вызова PyTorch или Keras здесь нет. Он проверяет подготовленные targets до обучения и не требует запуска модели. Такой oracle удобно держать рядом с кодом подготовки данных и запускать в тестах.

Расширение под свою задачу простое. В проверку distribution_valid передайте число классов проекта, в smooth — вектор нужной длины и выбранную силу сглаживания alpha. Добавьте assert для каждого ожидаемого вектора. Отрицательные пробы стоит оставить: они фиксируют, какие векторы должны отклоняться.

Где проверить параметр конкретного API

Параметр сглаживания в разных библиотеках называется по-разному и живёт в разных местах. В документации PyTorch для CrossEntropyLoss описана смесь исходной истины и равномерного распределения. В справочнике Keras по вероятностным потерям и на странице TensorFlow для CategoricalCrossentropy приведена формула через нацелевые и ненацелевые метки.

Проверять нужно три вещи. Первое: как называется параметр в используемой версии библиотеки. Второе: какую формулу реализует библиотека при мягких метках. Третье: применяется ли сглаживание к меткам в виде индексов классов или к распределениям.

В документации PyTorch отмечено, что ignore_index применим, когда target содержит индексы классов. Это указывает на различие между режимами: индексы классов и вероятностные распределения обрабатываются по-разному. В документации TensorFlow для CategoricalCrossentropy сказано, что по умолчанию y_pred кодирует распределение вероятностей. В справочнике Keras для категориальной кросс-энтропии указано, что метки ожидаются в one_hot представлении.

Порядок проверки для конкретного проекта. Откройте страницу документации той версии библиотеки, которая установлена. Найдите описание параметра сглаживания. Сверьте формулу с выбранным контрактом. Проверьте, что ручное преобразование и параметр не дублируют друг друга.

Для бинарной задачи смотрите отдельное описание. В справочнике Keras бинарная кросс-энтропия описана как функция для бинарной классификации, и там сглаживание сжимает метки к 0.5. Для бинарных меток ориентируйтесь на формулу выбранной бинарной функции потерь и её формат входа.

Отдельно стоит вопрос эффекта. В работе «When Does Label Smoothing Help?» на arxiv.org авторы сообщают, что по результатам экспериментов сглаживание улучшает калибровку модели, что может заметно улучшить beam-search. Там же отмечено, что при обучении учительской сети со сглаживанием дистилляция знаний в ученическую сеть становится существенно менее эффективной. Эти наблюдения относятся к описанным экспериментам и не переносятся автоматически на любую задачу.

Частые вопросы

Что такое label smoothing простыми словами?

Это замена жёсткой метки вида [1, 0, 0] на мягкую, где часть массы распределена по остальным классам. В документации PyTorch сказано, что targets становятся смесью исходной истины и равномерного распределения. Для трёх классов и alpha 0.3 получается [0.8, 0.1, 0.1]. Сглаживание меняет целевой вектор, который подаётся в функцию потерь.

Какая формула label smoothing?

В учебном примере используется smooth(y) = (1 — alpha) * y + alpha / K, где K — число классов. В справочнике Keras приведён эквивалент через нацелевые и ненацелевые метки: при 0.1 ненацелевые получают 0.1 / num_classes, нацелевые — 0.9 + 0.1 / num_classes. Формулу нужно зафиксировать в проекте до запуска обучения.

Как проверить метки перед обучением?

Проверьте форму, диапазон и сумму, затем сравните вектор с выбранной формулой. В документации PyTorch указано, что библиотека не проверяет диапазон и сумму, и ответственность лежит на пользователе. Стандартный Python oracle из этой статьи выполняет все четыре шага. Вектор [0.7, 0.15, 0.15] проходит механические проверки и расходится с контрактом uniform mixture.

Что будет при повторном сглаживании?

Повторный проход формулы сдвигает распределение ближе к равномерному. В учебном примере второй проход даёт [0.66, 0.17, 0.17] вместо [0.8, 0.1, 0.1]. Форма, диапазон и сумма остаются корректными, поэтому механические проверки ошибку не показывают. Сравнение с ожидаемым вектором выявляет нарушение контракта «один проход».

Где смотреть параметр label_smoothing в PyTorch и Keras?

В документации PyTorch смотрите страницу CrossEntropyLoss, в справочнике Keras — раздел вероятностных потерь, в документации TensorFlow — страницу CategoricalCrossentropy. Проверяйте название параметра в установленной версии и формулу при мягких метках. В документации PyTorch отмечено, что ignore_index применим, когда target содержит индексы классов.

Читайте также

3 материала