Что такое RMSNorm: нормализация в языковых моделях — это операция над активациями. RMSNorm — слой нормализации, который делит входной вектор на его среднеквадратичное значение и умножает результат на обучаемый масштаб. Что такое RMSNorm в языковых моделях: способ удержать масштаб активаций между слоями трансформера, где среднее значение не вычитается. Формула простая, считается вручную.
Задача нормализации
Нормализация нужна, чтобы распределение входов слоя не уезжало при обновлении предыдущих весов. В работе Biao Zhang и Rico Sennrich на arXiv описано, что LayerNorm стабилизирует обучение за счёт центрирования и масштабирования, а его вычислительные накладные расходы заметны на глубоких сетях. Авторы приводят пример: на модели RNNSearch с GRU LayerNorm замедляет шаг обучения примерно на 67% относительно варианта без нормализации.
Идея RMSNorm: сохранить масштабирование и отказаться от вычитания среднего. В аннотации статьи на arXiv сказано, что авторы предполагают ненужность центрирования, а RMSNorm даёт инвариантность к масштабированию и неявную адаптацию скорости обучения. В документации PyTorch слой описан как применение Root Mean Square Layer Normalization к мини-батчу входов.
Практический смысл для читателя: слой дешевле по операциям, потому что не считает среднее и дисперсию. Это влияет на скорость шага, а качество модели проверяется отдельно на конкретной архитектуре.
Формула RMSNorm
В документации PyTorch формула записана так: y_i = x_i / RMS(x) * gamma_i, где RMS(x) = sqrt(epsilon + (1/n) * сумма x_i^2 по i от 1 до n). Здесь x_i — элемент входа, gamma_i — обучаемый коэффициент, epsilon — добавка для численной устойчивости.
Три части формулы:
- Квадраты элементов складываются и делятся на n.
- К среднему квадратов добавляется epsilon, затем берётся квадратный корень.
- Каждый элемент делится на полученное число и умножается на gamma.
В оригинальной статье на arXiv формула приведена без epsilon: a_bar_i = a_i / RMS(a) * g_i, где RMS(a) = sqrt((1/n) * сумма a_i^2). Разница объясняется тем, что epsilon добавляют реализации для защиты от деления на ноль и потери точности в низких типах данных.
Смысл RMS: это квадратичное среднее. При epsilon = 0 и единичном gamma оно переводит ненулевой вектор на сферу радиуса sqrt(n), как в математическом разборе статьи. Обучаемый масштаб затем может изменить длину результата.
Расчёт двух чисел
Возьмём учебный вектор x = [3, 4] и gamma = [1, 1]. Для чистой арифметики примем epsilon = 0.
Первый шаг: квадраты дают 9 и 16, сумма равна 25. Делим на n = 2, получаем 12.5. Корень из 12.5 ≈ 3.535534 — это RMS.
Второй шаг: делим каждый элемент на RMS и умножаем на gamma. Получаем y ≈ [0.848528, 1.131371].
Проверка результата: RMS(y) = 1. Среднее y ≈ 0.989949. Среднее не равно нулю, и это ожидаемо: центрирование в RMSNorm отсутствует.
Теперь возьмём gamma = [2, 1]. Итог ≈ [1.697056, 1.131371]. RMS этого вектора уже не обязан равняться единице, потому что обучаемый масштаб меняет длину покомпонентно.
Для сравнения посчитаем LayerNorm на том же векторе без epsilon. Среднее равно 3.5, дисперсия равна 0.25, стандартное отклонение равно 0.5. Итог: [(3 − 3.5)/0.5, (4 − 3.5)/0.5] = [−1, 1]. Среднее здесь равно нулю.
Проверить числа можно кодом. Ниже учебный скрипт на Python, который воспроизводит оба расчёта с допуском 1e-5.
import math
def rms_norm(x, gamma, eps=0.0):
n = len(x)
ms = sum(v * v for v in x) / n
rms = math.sqrt(eps + ms)
return [x[i] / rms * gamma[i] for i in range(n)]
def layer_norm(x, eps=0.0):
n = len(x)
mean = sum(x) / n
var = sum((v - mean) ** 2 for v in x) / n
std = math.sqrt(eps + var)
return [(v - mean) / std for v in x]
def rms_of(v):
return math.sqrt(sum(t * t for t in v) / len(v))
x = [3.0, 4.0]
y1 = rms_norm(x, [1.0, 1.0])
y2 = rms_norm(x, [2.0, 1.0])
ln = layer_norm(x)
print("RMS(x) =", round(rms_of(x), 6))
print("y gamma=[1,1] =", [round(v, 6) for v in y1])
print("RMS(y) =", round(rms_of(y1), 6))
print("mean(y) =", round(sum(y1) / len(y1), 6))
print("y gamma=[2,1] =", [round(v, 6) for v in y2])
print("LayerNorm =", [round(v, 6) for v in ln])
Ожидаемые строки вывода: RMS(x) = 3.535534, y gamma=[1,1] = [0.848528, 1.131371], RMS(y) = 1.0, mean(y) = 0.989949, y gamma=[2,1] = [1.697056, 1.131371], LayerNorm = [-1.0, 1.0]. Если числа расходятся сильнее допуска 1e-5, проверьте порядок операций и тип данных.
Как прочитать и повторить расчёт
Сохраните код в отдельный файл Python и запустите его обычным интерпретатором. Скрипт использует модуль math из стандартной библиотеки: загрузка модели, установка фреймворка и доступ к сети для него не требуются. Сначала сопоставьте строку RMS(x) с ручным расчётом. Затем проверьте выход при единичном масштабе и только после этого переходите к изменённому gamma. Такой порядок позволяет найти место расхождения, если результат переписан с ошибкой.
В функции rms_norm переменная ms хранит среднее квадратов. Переменная rms хранит общий делитель для всех элементов выбранного вектора. Список gamma применяется покомпонентно: первый коэффициент умножает первый нормализованный элемент, следующий коэффициент — следующий. Поэтому изменение gamma затрагивает отдельные координаты уже после вычисления общего делителя. Повторный вызов rms_of проверяет длину полученного результата; он сам ничего не нормализует.
Округление выполняется только при печати. Если округлить делитель до завершения расчёта, погрешность перейдёт во все элементы результата. Для проверки используйте значения, которые вернули функции; текстовый вывод нужен, чтобы сверить их глазами. Входной список и gamma должны иметь согласованную длину. Этот короткий учебный скрипт предполагает корректные непустые входы и не содержит проверок формы промышленной реализации.
Параметр eps здесь передаётся явно и равен нулю ради сопоставления с ручной формулой. Такой выбор ограничивает пример ненулевым входом: у нулевого вектора делитель тоже станет нулевым. При переносе расчёта в библиотеку отдельно проверьте её epsilon, тип вычислений и оси. Совпадение арифметики на этом входе подтверждает понимание операции; выводы о поведении обучаемой модели требуют проверки самой модели.
Сравнение с LayerNorm
Различие лежит в наборе статистик. LayerNorm считает среднее и дисперсию, RMSNorm считает только среднеквадратичное значение.
| Критерий | RMSNorm | LayerNorm |
|---|---|---|
| Центрирование | отсутствует | вычитается среднее |
| Статистика | RMS | среднее и дисперсия |
| Обучаемые параметры | gamma | gamma и beta |
| Среднее до обучаемого масштаба и сдвига | обычно не ноль | ноль |
| Формула в PyTorch | x / RMS(x) * gamma | (x − E[x]) / sqrt(Var[x] + eps) * gamma + beta |
| Инвариантность к сдвигу матрицы весов в таблице статьи | отсутствует | есть |
| Инвариантность к масштабу в разборе статьи | есть | есть |
В документации PyTorch для LayerNorm указано, что среднее и стандартное отклонение считаются по последним D измерениям, а дисперсия берётся по смещённой оценке, что эквивалентно torch.var(input, correction=0). Там же отмечено, что слой использует статистики входных данных и в обучении, и в режиме оценки.
В таблице инвариантностей оригинальной статьи RMSNorm и LayerNorm сохраняют инвариантность к масштабированию матрицы весов и данных. Для сдвига матрицы весов LayerNorm отмечен как инвариантный, RMSNorm — как неинвариантный. Сдвиг всего набора данных выделен отдельно: в этом столбце оба метода отмечены как неинвариантные.
Практический вывод: замена одного слоя на другой сохраняет форму выхода, потому что обе операции возвращают тензор той же формы. Меняется набор вычислений и поведение при сдвиге входа.
Gamma epsilon и оси
Параметр gamma — обучаемый покомпонентный масштаб. В документации PyTorch он включается флагом elementwise_affine, значение по умолчанию True, начальная инициализация — единицы. В учебном расчёте с epsilon = 0 и gamma = [1, 1] выход имеет RMS, равный единице. При других значениях это свойство теряется.
Параметр epsilon добавляется под корень. В документации PyTorch для RMSNorm сказано: если eps не задан, используется машинный epsilon типа вычислений — fp16, bf16 и fp32 берут torch.finfo(torch.float32).eps, а fp64 берёт torch.finfo(torch.float64).eps. Значение по умолчанию — None. В документации LayerNorm значение по умолчанию другое: eps = 1e-05.
В API TensorFlow и Keras слой RMSNormalization принимает axis = -1 и epsilon = 1e-06. Параметр axis задаёт ось нормализации, epsilon защищает от деления на ноль.
Оси нормализации в PyTorch задаются через normalized_shape. В документации сказано: RMS берётся по последним D измерениям, где D — размерность normalized_shape. Если передать одно целое число, оно трактуется как список из одного элемента, и нормализация идёт по последнему измерению ожидаемого размера. Пример из документации: при normalized_shape = (3, 5) RMS считается по последним двум измерениям входа.
Вход и выход PyTorch имеют одинаковую форму (N, *). Параметр normalized_shape задаёт последние оси нормализации; ведущие размерности перед ними сохраняются и могут включать батч и длину последовательности.
Где встречается в LLM
Слой доступен в основных фреймворках. В документации PyTorch класс torch.nn.RMSNorm описан как реализация операции из статьи Root Mean Square Layer Normalization. В TensorFlow и Keras слой RMSNormalization выполняет ту же операцию и при включённом scale умножает нормализованный выход на обучаемый коэффициент.
В оригинальной статье на arXiv авторы проверяли RMSNorm на нескольких задачах и архитектурах: машинный перевод с RNNSearch и Transformer, чтение с пониманием на корпусе CNN, поиск изображений по описанию на Microsoft COCO, классификация CIFAR-10. В выводах сказано, что RMSNorm можно применять как прямую замену LayerNorm в разных архитектурах.
Числа из экспериментов статьи: ускорение от 7% до 64% по разным моделям и реализациям. Для Transformer указано ускорение 7–9%, для order-embedding модели — 40–64%. Авторы отдельно оговаривают, что фактическое ускорение зависит от фреймворка, оборудования, архитектуры сети и доли остальных вычислений. Эти значения относятся к экспериментам 2019 года и не переносятся автоматически на любую современную модель.
В статье также описан частичный вариант pRMSNorm: RMS оценивается по первым p% входов. При p = 6.25% авторы получили сопоставимое качество перевода. Теоретически вычислений меньше, но стабильного ускорения на практике они не наблюдали и отнесли вопрос к будущей оптимизации кода.
Что нельзя заключить из примера
Учебный расчёт на векторе [3, 4] показывает арифметику слоя. Из него нельзя вывести свойства модели.
Что именно не следует из примера:
- Нельзя утверждать, что RMSNorm ускорит любой трансформер. Ускорение зависит от архитектуры, оборудования и реализации.
- Нельзя утверждать, что слой устраняет все проблемы с градиентами. В статье разобраны свойства градиентов в конкретных экспериментах.
- Нельзя переносить числа 7–64% на произвольную модель. Это результаты замеров на конкретных задачах и железе.
- Нельзя считать, что среднее выхода всегда близко к нулю. В примере оно равно 0.989949.
- Нельзя считать, что RMS выхода всегда равен единице. При gamma = [2, 1] это условие нарушается.
- Нельзя выводить значение epsilon по умолчанию из формулы. Оно задаётся API и зависит от типа данных.
Отдельно стоит помнить про тип данных. В документации PyTorch указано, что epsilon по умолчанию определяется типом вычислений. Он может отличаться от типа входного тензора. При работе в fp16 это влияет на точность.
Частые вопросы
Что такое RMSNorm простыми словами?
Это слой, который делит вектор на его среднеквадратичное значение и умножает на обучаемый масштаб. Среднее значение при этом не вычитается. Формула в документации PyTorch: y_i = x_i / RMS(x) * gamma_i.
Чем RMSNorm отличается от LayerNorm?
LayerNorm считает среднее и дисперсию, RMSNorm считает только среднеквадратичное значение. У LayerNorm есть обучаемый сдвиг beta, у RMSNorm его нет. В таблице инвариантностей оригинальной статьи RMSNorm отмечен как инвариантный к масштабированию и не инвариантный к сдвигу.
Как посчитать RMSNorm вручную?
Сложите квадраты элементов, разделите на их количество, извлеките корень, затем разделите каждый элемент на результат и умножьте на gamma. Для вектора [3, 4] при gamma = [1, 1] RMS ≈ 3.535534, итог ≈ [0.848528, 1.131371].
Какой epsilon используется по умолчанию?
В PyTorch для RMSNorm значение по умолчанию — None, и тогда берётся машинный epsilon типа вычислений: fp16, bf16 и fp32 используют torch.finfo(torch.float32).eps, fp64 использует torch.finfo(torch.float64).eps. В TensorFlow и Keras слой RMSNormalization принимает epsilon = 1e-06. В LayerNorm из PyTorch значение по умолчанию 1e-05.
По каким осям считается RMS в PyTorch?
По последним D измерениям, где D — размерность параметра normalized_shape. Если normalized_shape задан одним целым числом, нормализация идёт по последнему измерению ожидаемого размера. При normalized_shape = (3, 5) RMS считается по последним двум измерениям входа.
