Содержание
  1. По каким координатам считают статистику
  2. Формула и epsilon
  3. Расчёт на двух значениях
  4. Обучаемые gamma и beta
  5. Сдвиг входа
  6. Отличия от BatchNorm и RMSNorm
  7. Что проверить в API
  8. Частые вопросы
Справочник

Что такое LayerNorm: нормализация признаков слоя

16 ноября 2026 · 13 минут чтения

Вопрос «Что такое LayerNorm: нормализация признаков слоя» касается операции, которая считает среднее и дисперсию по выбранным координатам одного примера и приводит эти координаты к общему масштабу. В документации PyTorch сказано, что среднее и стандартное отклонение вычисляются по последним D измерениям, где D — размер normalized_shape. Дальше разберём координаты, формулу, ручной расчёт, обучаемые параметры и проверку API.

По каким координатам считают статистику

Статистика LayerNorm берётся внутри одного примера. Документация Flax формулирует это так: слой нормализует активации для каждого примера в батче независимо, в отличие от Batch Normalization, где статистика собирается по батчу. Практический смысл: результат для одного примера не зависит от того, какие ещё примеры лежат рядом в батче.

Координаты задаёт normalized_shape. В документации PyTorch указано, что среднее и стандартное отклонение считаются по последним D измерениям, где D — размер normalized_shape. Если передано одно целое число, оно трактуется как список из одного элемента, и модуль нормализует по последнему измерению, размер которого должен совпадать с этим числом. Для тензора формы (batch, tokens, features) при normalized_shape=features статистика идёт по последней оси: каждая позиция токена обрабатывается отдельно.

Flax разделяет две группы осей явными именами параметров. В его документации reduction_axes описаны как оси для вычисления статистики нормализации, а feature_axes — как оси для обучаемого смещения и масштаба. Такое разделение удобно читать как ответ на вопрос «где считаем» и «где применяем параметры».

Разберём на учебном примере. Возьмём один токен с двумя признаками: x = [1, 3]. Нормализуются обе координаты этого токена. Среднее равно 2, дисперсия по генеральной совокупности равна ((1−2)² + (3−2)²) / 2 = 1. Для двух токенов [[1, 3], [11, 13]] каждая внутренняя пара считается отдельно, если normalized_shape равен 2. Четыре значения в одну статистику не объединяются: первый токен даёт свою пару, второй — свою.

Ошибка новичка здесь одна: выбрать normalized_shape так, что в статистику попадают координаты разных смысловых групп. Если последняя ось смешивает признаки разных типов, среднее считается по разнородным величинам, и нормализация теряет смысл. Проверяйте форму тензора перед слоем и сверяйте её с normalized_shape.

Что задаём Где статистика Где параметры affine
PyTorch normalized_shape последние D измерений те же оси
Flax reduction_axes оси статистики —
Flax feature_axes — оси gamma и beta
Keras axis указанные оси те же оси

Таблица собрана по документации PyTorch, Flax и Keras. В PyTorch и Keras перечисленные оси статистики определяют также форму affine-параметров. Во Flax эти группы осей можно задавать отдельно; их совпадение не является общим требованием.

Формула и epsilon

Формула LayerNorm состоит из четырёх шагов. Сначала считается среднее по выбранным координатам. Затем — дисперсия по тем же координатам. Потом каждое значение центрируется и делится на sqrt(variance + epsilon). В конце применяется линейное преобразование с обучаемыми gamma и beta.

В документации PyTorch отдельно указано, что дисперсия вычисляется через смещённую оценку, эквивалентную torch.var(input, correction=0). Дисперсия здесь равна сумме квадратов отклонений, делённой на число нормализуемых координат. Для учебного примера с двумя значениями делитель равен 2, и дисперсия получается 1.

Epsilon — малое число, которое добавляется к дисперсии, чтобы избежать деления на ноль. Документация Flax описывает его именно так: небольшое число, добавляемое к дисперсии для предотвращения деления на ноль. Значение epsilon задаётся в API каждого проекта и различается между библиотеками. В документации PyTorch, TensorFlow/Keras и Flax приведены разные значения по умолчанию, поэтому при переносе модели между фреймворками epsilon нужно выставлять явно и сверять с текущей документацией конкретной версии.

В учебном расчёте ниже epsilon равен нулю, чтобы арифметика оставалась простой. Реальный API использует epsilon для устойчивости. Обнулять его в рабочей модели не следует: нулевое значение принято только для ручного расчёта.

Порядок вычисления для одного токена:

  1. Собрать координаты, попадающие в normalized_shape.
  2. Посчитать среднее по этим координатам.
  3. Посчитать дисперсию как среднее квадратов отклонений от среднего.
  4. Вычесть среднее из каждого значения и разделить на sqrt(variance + epsilon).
  5. Умножить на gamma и прибавить beta.

Эта последовательность описывает обычную нормализацию с affine. При переносе между API нужно сверять также оси, dtype, способ вычисления статистики и включение масштаба или смещения.

Расчёт на двух значениях

Ручной расчёт на двух значениях показывает, как работает нормализация и что делают параметры affine. Возьмём учебный вход x = [1, 3], epsilon = 0, gamma = [1, 1], beta = [0, 0]. Среднее равно 2, дисперсия равна 1, стандартное отклонение равно 1. После центрирования и деления получаем [−1, 1]. Это эталонный результат для простой арифметики.

Второй вход x2 = [11, 13] при тех же параметрах даёт тот же выход [−1, 1]. Общий сдвиг всех нормализуемых координат на одну константу устраняется центрированием. Точное совпадение при изменении масштаба требует дополнительных условий: положительного множителя и epsilon = 0; при ненулевом epsilon масштабная инвариантность лишь приближённая.

Теперь вернём исходный x = [1, 3] и поставим gamma = [2, 1], beta = [0, 1]. Нормализованный вектор [−1, 1] умножается покоординатно на gamma и сдвигается на beta: первая координата −1 × 2 + 0 = −2, вторая 1 × 1 + 1 = 2. Выход равен [−2, 2]. Среднее этого выхода равно 0, дисперсия равна 4. Единичная дисперсия после affine получается только при специально подобранных параметрах и не является обязательным свойством выхода.

Ещё один вариант: gamma = [1, 1], beta = [1, 1]. Выход равен [0, 2], среднее равно 1. Это прямой контрпример к утверждению, что после обучаемого affine выход всегда имеет нулевое среднее и единичную дисперсию. Параметры affine обучаются вместе с моделью и могут задать любое среднее и любой масштаб.

Вход gamma beta Выход Среднее выхода
[1, 3] [1, 1] [0, 0] [−1, 1] 0
[11, 13] [1, 1] [0, 0] [−1, 1] 0
[1, 3] [2, 1] [0, 1] [−2, 2] 0
[1, 3] [1, 1] [1, 1] [0, 2] 1

Все значения в таблице — учебный арифметический эталон. Реальная модель в этом примере не обучалась, внешние сервисы не запускались, скорость и качество не измерялись. Учебный результат сверяется с заданным входом, а параметры продукта — с текущей документацией.

Обучаемые gamma и beta

Gamma и beta — обучаемые параметры линейного преобразования после нормализации. В документации Keras сказано, что нормализованное значение линейно преобразуется параметрами gamma и beta: output = x_normalized × gamma + beta. Там же указано, что gamma по умолчанию равен тензору единиц, а beta — тензору нулей, поэтому центрирование и масштабирование остаются тождественными до начала обучения.

Это важная деталь для отладки. Свежесозданный слой с настройками по умолчанию даёт выход, равный нормализованному входу. Отклонение от этого поведения появляется после обучения, когда gamma и beta обновились. Если выход слоя в начале обучения выглядит странно, стоит проверить, не загружены ли в gamma и beta чужие значения.

Размерности gamma и beta определяются осями affine. В документации TensorFlow указано, что gamma и beta охватывают оси входов, заданные в axis, и эта часть формы входов должна быть полностью определена. Практический вывод: нельзя оставлять размерность оси affine неизвестной на этапе построения слоя. Для входа формы (batch, tokens, features) с axis=-1 параметры имеют размер features.

В оригинальной работе по LayerNorm сказано, что, как и в batch normalization, каждому нейрону даются собственные адаптивные смещение и усиление, применяемые после нормализации и до нелинейности. Это объясняет, зачем параметры нужны: нормализация приводит координаты к общему масштабу, а affine возвращает слою выразительность, позволяя сдвинуть и растянуть выход.

Порядок применения: нормализация, затем affine, затем нелинейность. Если перепутать порядок и поставить нелинейность до affine, слой теряет часть выразительности, а градиенты через параметры идут иначе. Проверяйте порядок в своей реализации по документации конкретной библиотеки.

Сдвиг входа

Сдвиг входа — свойство, которое делает LayerNorm удобной для рекуррентных и трансформерных архитектур. Если ко всем координатам нормализуемого вектора прибавить одну и ту же константу, среднее сдвинется на неё же, а отклонения от среднего не изменятся. Дисперсия останется прежней, и выход нормализации не поменяется.

Проверим на учебном примере. Вход [1, 3] даёт выход [−1, 1]. Вход [11, 13] даёт тот же выход [−1, 1]. Разница между входами равна 10 по каждой координате, а результат совпадает. Это и есть инвариантность к сдвигу: LayerNorm убирает общий сдвиг координат внутри одного примера.

При epsilon = 0 умножение всех координат на положительную константу сохраняет нормализованный результат: среднее и стандартное отклонение масштабируются согласованно. При положительном epsilon это равенство в общем случае приближённое. Для переноса модели сверяйте epsilon, оси и параметры affine; сами свойства инвариантности не гарантируют устойчивость обучения.

В оригинальной работе отмечено, что, в отличие от batch normalization, layer normalization выполняет ровно одно и то же вычисление на этапе обучения и на этапе тестирования. Это следствие того, что статистика вычисляется по выбранным координатам текущего входа. В документации PyTorch сказано, что слой использует статистику, вычисленную из входных данных, и в режиме обучения, и в режиме оценки. Практический вывод: поведение слоя не зависит от переключения режима, и отдельного накопленного среднего для инференса у него нет.

Для отладки это удобно: результат на одном примере воспроизводится независимо от размера батча. Если при неизменном входе и параметрах результат зависит от состава батча, проверьте оси нормализации и другие слои; небольшие численные различия также возможны из-за вычислительного ядра.

Отличия от BatchNorm и RMSNorm

BatchNorm и LayerNorm различаются тем, по каким данным собирается статистика. BatchNorm считает среднее и дисперсию по батчу, поэтому результат для одного примера зависит от соседей по батчу. LayerNorm считает статистику внутри примера, поэтому такой зависимости нет. Документация Flax формулирует это прямо: LayerNorm нормализует активации для каждого примера в батче независимо, тогда как Batch Normalization делает это по батчу.

Второе отличие — поведение в режимах обучения и оценки. BatchNorm накапливает статистику по батчам и использует её на инференсе, поэтому режимы различаются. LayerNorm в обоих режимах использует статистику текущего входа, что подтверждают и оригинальная работа, и документация PyTorch.

RMSNorm — близкий метод, который нормализует по среднеквадратичному значению и не выполняет центрирование. LayerNorm центрирует координаты, вычитая среднее, и делит на стандартное отклонение. Из-за отсутствия центрирования RMSNorm не обладает инвариантностью к сдвигу входа в том же виде. Полный расчёт LayerNorm остаётся самостоятельной операцией, а RMSNorm удобно рассматривать как отдельный метод со своим набором свойств.

Критерий BatchNorm LayerNorm RMSNorm
Где статистика по батчу внутри примера внутри примера
Центрирование да да нет
Режимы обучения и оценки различаются совпадают совпадают
Зависимость от соседей по батчу есть нет нет

Для BatchNorm таблица описывает обычный режим со статистикой батча при обучении и накопленной статистикой при оценке; настройки конкретного API могут его изменить. Выбор нормализации определяется архитектурой, а независимость LayerNorm от других примеров сама по себе не гарантирует качество или устойчивость обучения.

Что проверить в API

Проверка API сводится к нескольким пунктам, которые различаются между библиотеками. Начните с normalized_shape или его аналога: убедитесь, что оси статистики совпадают с осями, которые вы хотите нормализовать. В PyTorch это последние D измерений, в Keras и Flax — оси, заданные параметром axis или reduction_axes.

Второй пункт — epsilon. В документации PyTorch, TensorFlow/Keras и Flax приведены разные значения по умолчанию. При переносе модели между фреймворками выставляйте epsilon явно и сверяйте с текущей документацией нужной версии. Единого значения, подходящего всем библиотекам, здесь нет.

Третий пункт — оси affine. В Keras и TensorFlow gamma и beta охватывают оси, заданные в axis, и эта часть формы входов должна быть полностью определена. Проверьте, что размерности параметров совпадают с ожидаемыми и что форма входа известна на этапе построения слоя.

Четвёртый пункт — режим. В документации PyTorch указано, что слой использует статистику из входных данных и в обучении, и в оценке. Если ваша реализация ведёт себя иначе, проверьте, не подменён ли слой другим классом нормализации.

Пятый пункт — порядок операций. Нормализация, affine, нелинейность. Проверьте порядок в своей реализации и в конфигурации модели.

Шестой пункт — значения gamma и beta при инициализации. В Keras они по умолчанию равны единицам и нулям, поэтому до обучения слой работает как чистая нормализация. Если загружаете чекпойнт, сверьте, что параметры соответствуют ожидаемым.

Учебный пример для самопроверки: возьмите вход [1, 3], epsilon = 0, gamma = [1, 1], beta = [0, 0] и убедитесь, что выход равен [−1, 1]. Затем поставьте beta = [1, 1] и проверьте, что выход равен [0, 2]. Эти два случая покрывают центрирование и сдвиг после affine.

ТЕКСТ23 строки
Учебный fixture для самопроверки LayerNorm

Вход: x = [1, 3]
normalized_shape = 2
epsilon = 0 (только для ручной арифметики)
gamma = [1, 1]
beta = [0, 0]

Шаг 1. mean = (1 + 3) / 2 = 2
Шаг 2. variance = ((1 - 2)^2 + (3 - 2)^2) / 2 = 1
Шаг 3. std = sqrt(1 + 0) = 1
Шаг 4. normalized = [(1 - 2) / 1, (3 - 2) / 1] = [-1, 1]
Шаг 5. output = normalized * gamma + beta = [-1, 1]

Проверка сдвига: x2 = [11, 13] даёт тот же output [-1, 1].

Проверка affine: gamma = [2, 1], beta = [0, 1] даёт output [-2, 2].
Проверка affine: gamma = [1, 1], beta = [1, 1] даёт output [0, 2].

Это авторский учебный fixture. Реальный запуск внешнего сервиса,
обучение модели, измерение скорости и платные API не заявлены.
Учебный результат сверяется с заданным входом, а параметры продукта —
только с текущей документацией.

Эталон позволяет проверить арифметику, оси и влияние affine перед работой с выбранным API; при положительном epsilon выход численно будет немного отличаться.

Частые вопросы

Что такое LayerNorm простыми словами?

LayerNorm — слой, который для каждого примера считает среднее и дисперсию по выбранным координатам и приводит эти координаты к общему масштабу. После нормализации применяется линейное преобразование с обучаемыми gamma и beta. Статистика берётся внутри примера, поэтому результат не зависит от других примеров в батче.

Чем LayerNorm отличается от BatchNorm?

BatchNorm собирает статистику по батчу, поэтому результат для одного примера зависит от соседей. LayerNorm считает статистику внутри примера и даёт одинаковое вычисление в обучении и на инференсе. Документация Flax описывает это как независимую нормализацию для каждого примера.

Зачем нужны gamma и beta в LayerNorm?

Gamma и beta — обучаемые параметры линейного преобразования после нормализации. Они возвращают слою выразительность: нормализация убирает сдвиг и масштаб, а affine позволяет задать их заново в удобном для модели виде. По умолчанию gamma равен единицам, beta — нулям.

Почему после LayerNorm среднее не всегда ноль?

Нулевое среднее получается при единичных gamma и нулевых beta. После обучения параметры меняются, и выход может иметь любое среднее и любой масштаб. В учебном примере с beta = [1, 1] выход равен [0, 2], среднее равно 1.

Какое значение epsilon использовать?

Epsilon задаётся в API каждой библиотеки, и значения по умолчанию различаются между PyTorch, TensorFlow/Keras и Flax. При переносе модели выставляйте epsilon явно и сверяйте с текущей документацией нужной версии. В учебном расчёте epsilon равен нулю только для простоты арифметики.

Читайте также

3 материала