Вопрос «Что такое LayerNorm: нормализация признаков слоя» касается операции, которая считает среднее и дисперсию по выбранным координатам одного примера и приводит эти координаты к общему масштабу. В документации PyTorch сказано, что среднее и стандартное отклонение вычисляются по последним D измерениям, где D — размер normalized_shape. Дальше разберём координаты, формулу, ручной расчёт, обучаемые параметры и проверку API.
По каким координатам считают статистику
Статистика LayerNorm берётся внутри одного примера. Документация Flax формулирует это так: слой нормализует активации для каждого примера в батче независимо, в отличие от Batch Normalization, где статистика собирается по батчу. Практический смысл: результат для одного примера не зависит от того, какие ещё примеры лежат рядом в батче.
Координаты задаёт normalized_shape. В документации PyTorch указано, что среднее и стандартное отклонение считаются по последним D измерениям, где D — размер normalized_shape. Если передано одно целое число, оно трактуется как список из одного элемента, и модуль нормализует по последнему измерению, размер которого должен совпадать с этим числом. Для тензора формы (batch, tokens, features) при normalized_shape=features статистика идёт по последней оси: каждая позиция токена обрабатывается отдельно.
Flax разделяет две группы осей явными именами параметров. В его документации reduction_axes описаны как оси для вычисления статистики нормализации, а feature_axes — как оси для обучаемого смещения и масштаба. Такое разделение удобно читать как ответ на вопрос «где считаем» и «где применяем параметры».
Разберём на учебном примере. Возьмём один токен с двумя признаками: x = [1, 3]. Нормализуются обе координаты этого токена. Среднее равно 2, дисперсия по генеральной совокупности равна ((1−2)² + (3−2)²) / 2 = 1. Для двух токенов [[1, 3], [11, 13]] каждая внутренняя пара считается отдельно, если normalized_shape равен 2. Четыре значения в одну статистику не объединяются: первый токен даёт свою пару, второй — свою.
Ошибка новичка здесь одна: выбрать normalized_shape так, что в статистику попадают координаты разных смысловых групп. Если последняя ось смешивает признаки разных типов, среднее считается по разнородным величинам, и нормализация теряет смысл. Проверяйте форму тензора перед слоем и сверяйте её с normalized_shape.
| Что задаём | Где статистика | Где параметры affine |
|---|---|---|
PyTorch normalized_shape |
последние D измерений | те же оси |
Flax reduction_axes |
оси статистики | — |
Flax feature_axes |
— | оси gamma и beta |
Keras axis |
указанные оси | те же оси |
Таблица собрана по документации PyTorch, Flax и Keras. В PyTorch и Keras перечисленные оси статистики определяют также форму affine-параметров. Во Flax эти группы осей можно задавать отдельно; их совпадение не является общим требованием.
Формула и epsilon
Формула LayerNorm состоит из четырёх шагов. Сначала считается среднее по выбранным координатам. Затем — дисперсия по тем же координатам. Потом каждое значение центрируется и делится на sqrt(variance + epsilon). В конце применяется линейное преобразование с обучаемыми gamma и beta.
В документации PyTorch отдельно указано, что дисперсия вычисляется через смещённую оценку, эквивалентную torch.var(input, correction=0). Дисперсия здесь равна сумме квадратов отклонений, делённой на число нормализуемых координат. Для учебного примера с двумя значениями делитель равен 2, и дисперсия получается 1.
Epsilon — малое число, которое добавляется к дисперсии, чтобы избежать деления на ноль. Документация Flax описывает его именно так: небольшое число, добавляемое к дисперсии для предотвращения деления на ноль. Значение epsilon задаётся в API каждого проекта и различается между библиотеками. В документации PyTorch, TensorFlow/Keras и Flax приведены разные значения по умолчанию, поэтому при переносе модели между фреймворками epsilon нужно выставлять явно и сверять с текущей документацией конкретной версии.
В учебном расчёте ниже epsilon равен нулю, чтобы арифметика оставалась простой. Реальный API использует epsilon для устойчивости. Обнулять его в рабочей модели не следует: нулевое значение принято только для ручного расчёта.
Порядок вычисления для одного токена:
- Собрать координаты, попадающие в
normalized_shape. - Посчитать среднее по этим координатам.
- Посчитать дисперсию как среднее квадратов отклонений от среднего.
- Вычесть среднее из каждого значения и разделить на
sqrt(variance + epsilon). - Умножить на gamma и прибавить beta.
Эта последовательность описывает обычную нормализацию с affine. При переносе между API нужно сверять также оси, dtype, способ вычисления статистики и включение масштаба или смещения.
Расчёт на двух значениях
Ручной расчёт на двух значениях показывает, как работает нормализация и что делают параметры affine. Возьмём учебный вход x = [1, 3], epsilon = 0, gamma = [1, 1], beta = [0, 0]. Среднее равно 2, дисперсия равна 1, стандартное отклонение равно 1. После центрирования и деления получаем [−1, 1]. Это эталонный результат для простой арифметики.
Второй вход x2 = [11, 13] при тех же параметрах даёт тот же выход [−1, 1]. Общий сдвиг всех нормализуемых координат на одну константу устраняется центрированием. Точное совпадение при изменении масштаба требует дополнительных условий: положительного множителя и epsilon = 0; при ненулевом epsilon масштабная инвариантность лишь приближённая.
Теперь вернём исходный x = [1, 3] и поставим gamma = [2, 1], beta = [0, 1]. Нормализованный вектор [−1, 1] умножается покоординатно на gamma и сдвигается на beta: первая координата −1 × 2 + 0 = −2, вторая 1 × 1 + 1 = 2. Выход равен [−2, 2]. Среднее этого выхода равно 0, дисперсия равна 4. Единичная дисперсия после affine получается только при специально подобранных параметрах и не является обязательным свойством выхода.
Ещё один вариант: gamma = [1, 1], beta = [1, 1]. Выход равен [0, 2], среднее равно 1. Это прямой контрпример к утверждению, что после обучаемого affine выход всегда имеет нулевое среднее и единичную дисперсию. Параметры affine обучаются вместе с моделью и могут задать любое среднее и любой масштаб.
| Вход | gamma | beta | Выход | Среднее выхода |
|---|---|---|---|---|
| [1, 3] | [1, 1] | [0, 0] | [−1, 1] | 0 |
| [11, 13] | [1, 1] | [0, 0] | [−1, 1] | 0 |
| [1, 3] | [2, 1] | [0, 1] | [−2, 2] | 0 |
| [1, 3] | [1, 1] | [1, 1] | [0, 2] | 1 |
Все значения в таблице — учебный арифметический эталон. Реальная модель в этом примере не обучалась, внешние сервисы не запускались, скорость и качество не измерялись. Учебный результат сверяется с заданным входом, а параметры продукта — с текущей документацией.
Обучаемые gamma и beta
Gamma и beta — обучаемые параметры линейного преобразования после нормализации. В документации Keras сказано, что нормализованное значение линейно преобразуется параметрами gamma и beta: output = x_normalized × gamma + beta. Там же указано, что gamma по умолчанию равен тензору единиц, а beta — тензору нулей, поэтому центрирование и масштабирование остаются тождественными до начала обучения.
Это важная деталь для отладки. Свежесозданный слой с настройками по умолчанию даёт выход, равный нормализованному входу. Отклонение от этого поведения появляется после обучения, когда gamma и beta обновились. Если выход слоя в начале обучения выглядит странно, стоит проверить, не загружены ли в gamma и beta чужие значения.
Размерности gamma и beta определяются осями affine. В документации TensorFlow указано, что gamma и beta охватывают оси входов, заданные в axis, и эта часть формы входов должна быть полностью определена. Практический вывод: нельзя оставлять размерность оси affine неизвестной на этапе построения слоя. Для входа формы (batch, tokens, features) с axis=-1 параметры имеют размер features.
В оригинальной работе по LayerNorm сказано, что, как и в batch normalization, каждому нейрону даются собственные адаптивные смещение и усиление, применяемые после нормализации и до нелинейности. Это объясняет, зачем параметры нужны: нормализация приводит координаты к общему масштабу, а affine возвращает слою выразительность, позволяя сдвинуть и растянуть выход.
Порядок применения: нормализация, затем affine, затем нелинейность. Если перепутать порядок и поставить нелинейность до affine, слой теряет часть выразительности, а градиенты через параметры идут иначе. Проверяйте порядок в своей реализации по документации конкретной библиотеки.
Сдвиг входа
Сдвиг входа — свойство, которое делает LayerNorm удобной для рекуррентных и трансформерных архитектур. Если ко всем координатам нормализуемого вектора прибавить одну и ту же константу, среднее сдвинется на неё же, а отклонения от среднего не изменятся. Дисперсия останется прежней, и выход нормализации не поменяется.
Проверим на учебном примере. Вход [1, 3] даёт выход [−1, 1]. Вход [11, 13] даёт тот же выход [−1, 1]. Разница между входами равна 10 по каждой координате, а результат совпадает. Это и есть инвариантность к сдвигу: LayerNorm убирает общий сдвиг координат внутри одного примера.
При epsilon = 0 умножение всех координат на положительную константу сохраняет нормализованный результат: среднее и стандартное отклонение масштабируются согласованно. При положительном epsilon это равенство в общем случае приближённое. Для переноса модели сверяйте epsilon, оси и параметры affine; сами свойства инвариантности не гарантируют устойчивость обучения.
В оригинальной работе отмечено, что, в отличие от batch normalization, layer normalization выполняет ровно одно и то же вычисление на этапе обучения и на этапе тестирования. Это следствие того, что статистика вычисляется по выбранным координатам текущего входа. В документации PyTorch сказано, что слой использует статистику, вычисленную из входных данных, и в режиме обучения, и в режиме оценки. Практический вывод: поведение слоя не зависит от переключения режима, и отдельного накопленного среднего для инференса у него нет.
Для отладки это удобно: результат на одном примере воспроизводится независимо от размера батча. Если при неизменном входе и параметрах результат зависит от состава батча, проверьте оси нормализации и другие слои; небольшие численные различия также возможны из-за вычислительного ядра.
Отличия от BatchNorm и RMSNorm
BatchNorm и LayerNorm различаются тем, по каким данным собирается статистика. BatchNorm считает среднее и дисперсию по батчу, поэтому результат для одного примера зависит от соседей по батчу. LayerNorm считает статистику внутри примера, поэтому такой зависимости нет. Документация Flax формулирует это прямо: LayerNorm нормализует активации для каждого примера в батче независимо, тогда как Batch Normalization делает это по батчу.
Второе отличие — поведение в режимах обучения и оценки. BatchNorm накапливает статистику по батчам и использует её на инференсе, поэтому режимы различаются. LayerNorm в обоих режимах использует статистику текущего входа, что подтверждают и оригинальная работа, и документация PyTorch.
RMSNorm — близкий метод, который нормализует по среднеквадратичному значению и не выполняет центрирование. LayerNorm центрирует координаты, вычитая среднее, и делит на стандартное отклонение. Из-за отсутствия центрирования RMSNorm не обладает инвариантностью к сдвигу входа в том же виде. Полный расчёт LayerNorm остаётся самостоятельной операцией, а RMSNorm удобно рассматривать как отдельный метод со своим набором свойств.
| Критерий | BatchNorm | LayerNorm | RMSNorm |
|---|---|---|---|
| Где статистика | по батчу | внутри примера | внутри примера |
| Центрирование | да | да | нет |
| Режимы обучения и оценки | различаются | совпадают | совпадают |
| Зависимость от соседей по батчу | есть | нет | нет |
Для BatchNorm таблица описывает обычный режим со статистикой батча при обучении и накопленной статистикой при оценке; настройки конкретного API могут его изменить. Выбор нормализации определяется архитектурой, а независимость LayerNorm от других примеров сама по себе не гарантирует качество или устойчивость обучения.
Что проверить в API
Проверка API сводится к нескольким пунктам, которые различаются между библиотеками. Начните с normalized_shape или его аналога: убедитесь, что оси статистики совпадают с осями, которые вы хотите нормализовать. В PyTorch это последние D измерений, в Keras и Flax — оси, заданные параметром axis или reduction_axes.
Второй пункт — epsilon. В документации PyTorch, TensorFlow/Keras и Flax приведены разные значения по умолчанию. При переносе модели между фреймворками выставляйте epsilon явно и сверяйте с текущей документацией нужной версии. Единого значения, подходящего всем библиотекам, здесь нет.
Третий пункт — оси affine. В Keras и TensorFlow gamma и beta охватывают оси, заданные в axis, и эта часть формы входов должна быть полностью определена. Проверьте, что размерности параметров совпадают с ожидаемыми и что форма входа известна на этапе построения слоя.
Четвёртый пункт — режим. В документации PyTorch указано, что слой использует статистику из входных данных и в обучении, и в оценке. Если ваша реализация ведёт себя иначе, проверьте, не подменён ли слой другим классом нормализации.
Пятый пункт — порядок операций. Нормализация, affine, нелинейность. Проверьте порядок в своей реализации и в конфигурации модели.
Шестой пункт — значения gamma и beta при инициализации. В Keras они по умолчанию равны единицам и нулям, поэтому до обучения слой работает как чистая нормализация. Если загружаете чекпойнт, сверьте, что параметры соответствуют ожидаемым.
Учебный пример для самопроверки: возьмите вход [1, 3], epsilon = 0, gamma = [1, 1], beta = [0, 0] и убедитесь, что выход равен [−1, 1]. Затем поставьте beta = [1, 1] и проверьте, что выход равен [0, 2]. Эти два случая покрывают центрирование и сдвиг после affine.
Учебный fixture для самопроверки LayerNorm
Вход: x = [1, 3]
normalized_shape = 2
epsilon = 0 (только для ручной арифметики)
gamma = [1, 1]
beta = [0, 0]
Шаг 1. mean = (1 + 3) / 2 = 2
Шаг 2. variance = ((1 - 2)^2 + (3 - 2)^2) / 2 = 1
Шаг 3. std = sqrt(1 + 0) = 1
Шаг 4. normalized = [(1 - 2) / 1, (3 - 2) / 1] = [-1, 1]
Шаг 5. output = normalized * gamma + beta = [-1, 1]
Проверка сдвига: x2 = [11, 13] даёт тот же output [-1, 1].
Проверка affine: gamma = [2, 1], beta = [0, 1] даёт output [-2, 2].
Проверка affine: gamma = [1, 1], beta = [1, 1] даёт output [0, 2].
Это авторский учебный fixture. Реальный запуск внешнего сервиса,
обучение модели, измерение скорости и платные API не заявлены.
Учебный результат сверяется с заданным входом, а параметры продукта —
только с текущей документацией.
Эталон позволяет проверить арифметику, оси и влияние affine перед работой с выбранным API; при положительном epsilon выход численно будет немного отличаться.
Частые вопросы
Что такое LayerNorm простыми словами?
LayerNorm — слой, который для каждого примера считает среднее и дисперсию по выбранным координатам и приводит эти координаты к общему масштабу. После нормализации применяется линейное преобразование с обучаемыми gamma и beta. Статистика берётся внутри примера, поэтому результат не зависит от других примеров в батче.
Чем LayerNorm отличается от BatchNorm?
BatchNorm собирает статистику по батчу, поэтому результат для одного примера зависит от соседей. LayerNorm считает статистику внутри примера и даёт одинаковое вычисление в обучении и на инференсе. Документация Flax описывает это как независимую нормализацию для каждого примера.
Зачем нужны gamma и beta в LayerNorm?
Gamma и beta — обучаемые параметры линейного преобразования после нормализации. Они возвращают слою выразительность: нормализация убирает сдвиг и масштаб, а affine позволяет задать их заново в удобном для модели виде. По умолчанию gamma равен единицам, beta — нулям.
Почему после LayerNorm среднее не всегда ноль?
Нулевое среднее получается при единичных gamma и нулевых beta. После обучения параметры меняются, и выход может иметь любое среднее и любой масштаб. В учебном примере с beta = [1, 1] выход равен [0, 2], среднее равно 1.
Какое значение epsilon использовать?
Epsilon задаётся в API каждой библиотеки, и значения по умолчанию различаются между PyTorch, TensorFlow/Keras и Flax. При переносе модели выставляйте epsilon явно и сверяйте с текущей документацией нужной версии. В учебном расчёте epsilon равен нулю только для простоты арифметики.
