Что такое BatchNorm: нормализация по мини-батчу — слой, который для каждого канала считает среднее и стандартное отклонение по текущему мини-батчу, нормирует вход и применяет обучаемые масштаб γ и сдвиг β. Документация PyTorch описывает это как расчёт статистик по мини-батчам для каждого измерения.
Задача читателя и границы метода
BatchNorm решает задачу стабилизации распределения входов слоя. Документация PyTorch формулирует это так: среднее и стандартное отклонение считаются по мини-батчам для каждого измерения, а γ и β — обучаемые векторы размера C, где C — число признаков или каналов входа. По умолчанию элементы γ равны 1, элементы β равны 0.
Границы метода определяются осями, по которым идёт усреднение. Для входа формы (N, C, L) статистика собирается по N и L для каждого канала C — в документации PyTorch это называют Temporal Batch Normalization. Для изображений формы (N, C, H, W) статистика собирается по N, H и W для каждого канала — Spatial Batch Normalization. Форма выхода совпадает с формой входа.
Практическое следствие: BatchNorm собирает статистики каждого канала по батчу и соответствующим пространственным или временным осям. Один и тот же образец получает разные значения в режиме обучения и в режиме предсказания, потому что меняется источник статистик. При разных источниках статистик такое расхождение может быть ожидаемым.
Второе следствие касается размера батча. Статистики считаются по текущей порции данных, поэтому маленький батч даёт шумные оценки среднего и дисперсии. Документация Keras прямо указывает: слой нормализует входы при выводе только после обучения на данных со статистиками, близкими к данным вывода.
Третья граница — место слоя в архитектуре. Один из вариантов размещения BatchNorm — после линейного или свёрточного слоя перед активацией. Конкретное место зависит от архитектуры. Он не заменяет инициализацию весов и не отменяет необходимость подбора скорости обучения.
Основные понятия и параметры
Ключевые параметры слоя перечислены в документации PyTorch. num_features — число признаков или каналов C. eps — значение, добавляемое к знаменателю для численной устойчивости, по умолчанию 1e-5. momentum — значение для вычисления running_mean и running_var, по умолчанию 0.1. affine — флаг обучаемых параметров, по умолчанию True. track_running_stats — флаг отслеживания running-статистик, по умолчанию True.
Формула нормализации в документации Keras записана как gamma * (batch - mean(batch)) / sqrt(var(batch) + epsilon) + beta. Здесь epsilon — малая константа, настраиваемая в конструкторе, gamma — обучаемый масштаб, инициализируется единицей, beta — обучаемый сдвиг, инициализируется нулём.
Отдельного внимания требует momentum. Документация PyTorch подчёркивает: этот аргумент отличается от momentum в оптимизаторах. Правило обновления running-статистик в PyTorch: новое значение равно (1 − momentum) × старое + momentum × наблюдение. В документации Keras правило записано иначе: moving_mean = moving_mean * momentum + mean(batch) * (1 — momentum). Числа из одного API привязаны к его собственной формуле.
Различие оценок дисперсии описано в документации PyTorch. В прямом проходе при обучении дисперсия считается смещённой оценкой, эквивалентной torch.var(input, correction=0). Значение, сохраняемое в скользящем среднем дисперсии, считается несмещённой оценкой, эквивалентной torch.var(input, correction=1).
Полный учебный пример
Возьмём учебный батч N=2, C=2: строки [1, 10] и [3, 14]. Для каждого канала среднее равно [2, 12]. Дисперсия как population variance равна [1, 4].
Для бумажного расчёта примем epsilon=0, gamma=[1, 1], beta=[0, 0]. Нормированный батч получается [[-1, -1], [1, 1]]. Значение epsilon=0 выбрано только для арифметики на бумаге; в библиотеке его оставляют ненулевым.
Теперь применим affine-преобразование с gamma=[2, 1], beta=[1, 0]. Первый канал: -1 × 2 + 1 = -1. Второй канал: -1 × 1 + 0 = -1. Первая строка становится [-1, -1]. Вторая строка: 1 × 2 + 1 = 3 для первого канала и 1 × 1 + 0 = 1 для второго, то есть [3, 1]. Полный батч после affine равен [[-1, -1], [3, 1]], его среднее по каналам равно [1, 0].
Первая строка случайно осталась [-1, -1] при этих конкретных значениях gamma и beta. Из этого не следует, что affine-преобразование ничего не меняет: среднее по каналам сместилось с [0, 0] до [1, 0], а вторая строка изменилась с [1, 1] до [3, 1]. Выход после affine не обязан иметь нулевое среднее и единичную дисперсию.
Проверка результата на заданном входе
Проверим поведение слоя в режиме предсказания. Для этой проверки снова зададим gamma=[1, 1], beta=[0, 0] и epsilon=0 только для бумажной арифметики. Возьмём тот же первый образец [1, 10] и заданные условно running_mean=[0, 10], running_var=[4, 4]. Эти значения заданы для примера и не вычислены из учебного батча.
Для первого канала: (1 − 0) / sqrt(4 + 0) = 0.5. Для второго канала: (10 − 10) / sqrt(4 + 0) = 0. Результат равен [0.5, 0]. Тот же образец в режиме обучения давал [-1, -1] до affine. Разница объясняется источником статистик: обучение берёт статистики текущего батча, предсказание использует накопленные running-оценки.
Документация PyTorch описывает механику так: при обучении слой хранит running-оценки вычисленных среднего и дисперсии, которые затем используются для нормализации при оценке. Если track_running_stats установлен в False, слой не хранит running-оценки и использует статистики батча также во время оценки.
Документация Keras добавляет отдельный случай: установка layer.trainable = False на слое BatchNormalization переводит слой в режим вывода, где используются moving mean и moving variance. Замороженное состояние и режим вывода — два разных понятия, и для BatchNormalization заморозка означает именно переход к moving-статистикам.
Проверка ошибок. Одна из ошибок — нормализовать каждую строку по её собственным значениям, как это делает LayerNorm. Для формы (N, C, L) статистика BatchNorm собирается по N и L для каждого канала C. Вторая ошибка — считать смену значений между train и eval случайным сбоем. Третья — переносить формулу momentum из одного API в другой.
Сравнение с ближайшим подходом
Ближайший подход — LayerNorm. Он нормирует по признакам внутри одного образца, поэтому его статистики не зависят от размера батча и одинаковы в обучении и выводе. BatchNorm собирает статистику поперёк батча, поэтому зависит от состава порции данных.
| Критерий | BatchNorm | LayerNorm |
|---|---|---|
| Оси статистики | N и L для каждого C | признаки внутри образца |
| Зависимость от батча | есть | отсутствует |
| Статистики train/eval | batch/running при track_running_stats=True | считаются по входу в обоих режимах |
| Running-буферы | running_mean, running_var | отсутствуют |
| Форма входа | (N, C), (N, C, L), (N, C, H, W) | произвольная по последним осям |
Различие режимов — практический критерий выбора. Документация TensorFlow описывает training как булев аргумент: при training=True слой нормализует входы по среднему и дисперсии текущего батча, при training=False — по moving-статистикам, выученным при обучении.
Второй критерий — размер батча. BatchNorm опирается на статистики порции, поэтому при малых порциях оценки становятся шумными. LayerNorm такой зависимости не имеет.
Третий критерий — перенос модели. Документация nn.labml.ai описывает обычную практику: экспоненциальное скользящее среднее среднего и дисперсии считают на этапе обучения и используют при выводе. Это позволяет не прогонять весь датасет заново для оценки статистик.
Ограничения и следующий шаг
Ограничение первое: статистики зависят от распределения обучающих данных. Документация Keras указывает, что слой нормализует входы при выводе после обучения на данных со статистиками, близкими к данным вывода. Сдвиг распределения между обучением и эксплуатацией ухудшает нормализацию.
Ограничение второе: настройки слоя меняют поведение при выводе. track_running_stats=False заставляет слой использовать статистики батча и в режиме оценки. Для Keras установка trainable = False переводит слой в режим вывода с moving-статистиками. Эти настройки стоит проверять перед экспортом модели.
Ограничение третье: смещённая и несмещённая оценки дисперсии применяются в разных местах. Документация PyTorch фиксирует: в прямом проходе при обучении используется смещённая оценка, в скользящем среднем дисперсии — несмещённая. Реализации сторонних библиотек могут следовать другому правилу, поэтому параметры сверяют с документацией конкретного проекта.
Следующий шаг — воспроизвести учебный расчёт на своём тензоре и сверить три величины: нормированный батч, результат после affine и результат в режиме вывода. Ниже — промпт, который помогает разобрать конкретный случай.
Промпт, чтобы разобрать поведение BatchNorm на своём тензоре:
Ты помогаешь разобрать работу слоя BatchNorm. Даны:
- входной тензор формы [N, C, L]: [вставьте значения]
- параметры слоя: eps=[значение], momentum=[значение], affine=[True/False], track_running_stats=[True/False]
- gamma=[значения], beta=[значения]
- running_mean=[значения], running_var=[значения]
Посчитай по шагам:
1. Среднее и дисперсию по осям N и L для каждого канала C.
2. Нормированный батч z=(x - mean) / sqrt(var + eps).
3. Результат после одного affine-преобразования: gamma * z + beta.
4. Результат для первого образца в режиме вывода с заданными running-статистиками.
5. Укажи источник статистик в пунктах 3 и 4 и объясни возможное различие результатов.
Укажи, какие оценки дисперсии используются в нормализации и в обновлении буфера. Приведи формулу обновления running-статистик для [PyTorch / Keras] и подставь числа.
Что менять под себя: [вставьте значения] — ваш тензор, [значение] — eps и momentum из вашей конфигурации, [PyTorch / Keras] — библиотеку, с которой сверяетесь. Вариации той же задачи: разбор формы (N, C, H, W) для свёрточной сети; проверка поведения при track_running_stats=False; сравнение с LayerNorm на том же тензоре; расчёт обновления running-статистик за несколько шагов; проверка эффекта trainable = False в Keras.
Частые вопросы
Что такое batch normalization простыми словами?
Это слой, который выравнивает значения на выходе предыдущего слоя: для каждого канала считает среднее и разброс по текущей порции данных, вычитает среднее и делит на корень из суммы дисперсии и eps. Затем применяет обучаемые масштаб и сдвиг. Документация PyTorch описывает γ и β как обучаемые векторы размера C.
Чем batch normalization отличается от layer normalization?
BatchNorm собирает статистику поперёк батча по осям N и L для каждого канала. LayerNorm собирает статистику по признакам внутри одного образца. Из этого следует, что BatchNorm зависит от размера и состава порции данных, а LayerNorm — нет.
Почему один образец даёт разные значения при обучении и предсказании?
При обучении статистики берутся из текущего батча. При предсказании используются running_mean и running_var, накопленные за обучение. В учебном примере первый образец [1, 10] дал [-1, -1] в обучении и [0.5, 0] при заданных running-статистиках.
Как в PyTorch обновляются running_mean и running_var?
Правило из документации PyTorch: новое значение равно (1 − momentum) × старое + momentum × наблюдение, momentum по умолчанию 0.1. Дисперсия в прямом проходе считается смещённой оценкой, а обновление running-буфера использует несмещённую оценку. В Keras формула записана с обратным порядком множителей.
Что будет, если установить track_running_stats=False?
Документация PyTorch указывает: слой перестаёт хранить running-оценки, буферы running_mean и running_var инициализируются как None, и статистики батча используются также во время оценки. Это меняет поведение модели при выводе, поэтому настройку проверяют перед экспортом.
