Содержание
  1. Задача читателя и границы метода
  2. Основные понятия и параметры
  3. Полный учебный пример
  4. Проверка результата на заданном входе
  5. Сравнение с ближайшим подходом
  6. Ограничения и следующий шаг
  7. Частые вопросы
Справочник

Что такое dropout: случайное отключение нейронов

17 ноября 2026 · 10 минут чтения

Что такое dropout: случайное отключение нейронов — приём регуляризации, при котором во время обучения часть элементов входного тензора обнуляется с вероятностью p. Документация PyTorch описывает это так: элементы обнуляются случайно, независимо для каждого прямого прохода, по распределению Бернулли. Оставшиеся значения масштабируются на 1/(1-p), поэтому на этапе оценки слой работает как тождественная функция.

Задача читателя и границы метода

Dropout нужен, когда модель слишком хорошо запоминает обучающую выборку и теряет качество на новых данных. Документация PyTorch называет этот приём эффективным средством регуляризации и борьбы с коадаптацией нейронов, ссылаясь на работу Improving neural networks by preventing co-adaptation of feature detectors. Смысл простой: сеть не может опереться на один конкретный нейрон, потому что он может исчезнуть в любом проходе.

Границы метода очерчены в самом определении. Dropout временно обнуляет активации. Маска выбирается заново для следующего прохода, и её рисунок может случайно повториться; обнулённый элемент также может снова оказаться обнулённым. Это отличает его от удаления нейронов из модели и от обнуления весов, которое остаётся в параметрах после обучения.

Учебный пример в этой статье — условный. Внешний сервис не запускался, модель не обучалась, скорость и улучшение качества не измерялись. Все входные данные и эталоны даны в тексте, а реальные параметры библиотеки сверяются с названной документацией.

Метод решает задачу устойчивости предсказаний. Он не заменяет подготовку данных, подбор архитектуры и проверку на отложенной выборке. Читателю, который пришёл с вопросом «dropout нейросети», важно удержать три вещи: вероятность отключения, масштабирование и переключение режимов обучения и предсказания.

Основные понятия и параметры

Ключевой параметр — вероятность отключения p. В документации PyTorch это probability of an element to be zeroed, значение по умолчанию 0.5. В документации TensorFlow аргумент rate задаёт вероятность того, что элемент будет отброшен: rate=0.1 задаёт вероятность отбрасывания каждого элемента 10%; доля нулей в одном небольшом тензоре может отличаться. В Keras параметр rate описан как доля входных единиц, которые отбрасываются, со значением между 0 и 1.

Второй параметр — форма маски. В TensorFlow аргумент noise_shape задаёт форму флагов сохранения и отбрасывания; размерности, совпадающие с формой входа, принимают независимые решения. Это позволяет отбрасывать целые каналы изображения или последовательности. В Keras noise_shape описан как одномерный целочисленный тензор формы бинарной маски; пример из документации: при входе (batch_size, timesteps, features) и noise_shape=(batch_size, 1, features) маска становится общей для всех временных шагов.

Третий параметр — seed. В TensorFlow это целое число для создания случайных зёрен, в Keras — целое число для случайного зерна. Он управляет случайностью; для воспроизведения зафиксируйте также библиотеку и порядок вызовов.

Отдельно стоит флаг режима. В Keras слой Dropout применяется, когда training установлен в True при вызове; при использовании model.fit этот флаг выставляется автоматически. Документация Keras предупреждает: trainable=False на слой Dropout не влияет, потому что у слоя нет весов, которые можно заморозить.

Параметр PyTorch TensorFlow Keras
Вероятность отключения p, по умолчанию 0.5 rate, например 0.1 rate, от 0 до 1
Форма маски не выделена noise_shape noise_shape
Зерно не выделено seed seed
Режим train()/eval() модуля tf.nn.dropout выполняет dropout при вызове training в call() слоя

Таблица сопоставляет три интерфейса. Низкоуровневая функция tf.nn.dropout не принимает training: приложение само выбирает, вызывать ли её при оценке. Keras Dropout и модуль PyTorch имеют отдельный режим слоя. Форму маски и случайность тоже сверяйте для выбранного интерфейса.

Полный учебный пример

Возьмём условный вектор x=[2,4,6,8] и вероятность отключения p=0.5. Маску сохранения зададим вручную: m=[1,0,1,0]. Единица означает, что элемент остаётся, ноль — что он обнуляется. Маска дана автором для воспроизводимой арифметики и не является результатом генератора случайных чисел или фиксированным шаблоном библиотеки.

Inverted dropout даёт xm/(1-p). Считаем поэлементно: 21/0.5=4; 40/0.5=0; 61/0.5=12; 8*0/0.5=0. Результат — [4,0,12,0].

На этапе обычного предсказания этот слой возвращает исходный вход [2,4,6,8]. Документация PyTorch формулирует это так: во время оценки модуль вычисляет тождественную функцию. Документация d2l.ai добавляет: dropout отключают во время тестирования, узлы не отбрасываются и нормализация не нужна.

Проверим математическое ожидание на одном элементе. Для x=2 при p=0.5 два равновероятных выхода — 0 и 4. Их ожидание равно 2, то есть исходному значению. Документация d2l.ai описывает это свойство прямо: по построению ожидание остаётся неизменным, E[h’]=h. Документация TensorFlow формулирует ту же мысль: оставшиеся элементы масштабируются на 1.0/(1-rate), чтобы ожидаемое значение сохранялось.

Важная оговорка: среднее одного маленького вектора не обязано совпасть с исходным. Сохраняется математическое ожидание каждого элемента, а сумма конкретного вектора меняется. В нашем примере сумма входов 20, сумма выходов 16. Такой результат допустим для отдельной вручную заданной маски.

Пример не измеряет качество модели. Он показывает арифметику слоя и разницу режимов.

Проверка результата на заданном входе

Проверку удобно вести по шагам. Сначала зафиксируйте вход и вероятность. Затем постройте маску сохранения. Потом примените масштабирование. В конце сравните режимы обучения и предсказания.

p отключения 1-p сохранения Маска Scaled output Режим
0.5 0.5 [1,0,1,0] [4,0,12,0] обучение
0.5 0.5 любая [2,4,6,8] предсказание
0 1 [1,1,1,1] [2,4,6,8] обучение
1 0 [0,0,0,0] учебная формула требует отдельной ветви граница формулы

При p=0 слой тождественный: маска состоит из единиц, масштаб равен единице, выход совпадает со входом. При p=1 маска состоит из нулей, а множитель 1/(1-p) требует деления на ноль. Документация tf.nn.dropout требует rate меньше единицы; это ограничение конкретной функции. Правила других API проверяйте отдельно. Самописный код не должен делить на ноль; значение p=1 требует отдельной политики реализации.

Проверьте форму выхода. Документация PyTorch указывает: вход может быть любой формы, выход имеет ту же форму, что и вход. Если форма изменилась, ошибка в коде слоя.

Проверьте флаг режима. В Keras слой применяется при training=True; при model.fit флаг выставляется автоматически, в остальных контекстах его задают явно. В обычной оценке PyTorch и Keras проверьте режим слоя при неожиданном обнулении. Если приложение вызывает tf.nn.dropout напрямую, решение пропускать этот вызов на оценке лежит на приложении.

Проверьте зерно. Seed помогает контролировать последовательность масок в выбранной конфигурации; совпадения с другим фреймворком из одного числа seed не следует.

Наконец, сверьте ожидание. Для каждого элемента среднее по многим проходам стремится к исходному значению. На одном векторе совпадения ждать не нужно.

Сравнение с ближайшим подходом

Ближайший подход — обычная регуляризация весов. Она штрафует большие значения параметров и работает с самими весами. Dropout работает с активациями: документация d2l.ai описывает стандартный вариант как обнуление доли узлов в каждом слое с последующей нормализацией по доле сохранённых узлов.

Второй соседний приём — отбрасывание целых каналов через noise_shape. Документация TensorFlow поясняет: по умолчанию каждый элемент сохраняется или отбрасывается независимо, а при заданном noise_shape независимые решения принимают только те размерности, которые совпадают с формой входа. Это полезно для изображений и последовательностей, где логично убирать канал целиком.

Третий приём — использование dropout во время предсказания. Документация d2l.ai отмечает, что обычно dropout на тесте отключают, но некоторые исследователи применяют его как эвристику для оценки неопределённости предсказаний: если ответы согласуются на многих разных выходах, сеть считается более уверенной.

Четвёртое сравнение — с удалением нейронов из архитектуры. Dropout выбирает маску для каждого прохода; отдельный элемент может быть обнулён и в нескольких проходах подряд. Удаление из архитектуры необратимо, пока вы не пересоберёте модель.

Подход Что меняется Когда действует Обратимость
Dropout активации обучение маска выбирается заново
Штраф на веса параметры обучение параметры остаются
noise_shape целые каналы обучение маска выбирается заново
Удаление нейрона архитектура постоянно требует пересборки

Выбор между ними определяется задачей. Dropout дёшев в реализации и не требует менять функцию потерь.

Ограничения и следующий шаг

Dropout снижает коадаптацию нейронов и служит регуляризацией. Документация PyTorch называет его эффективным средством, ссылаясь на первичную работу. При этом метод не обещает защиты от любого переобучения: он влияет на один механизм, а качество модели зависит от данных, архитектуры и режима обучения.

Ограничение по p=1 описано выше: деление на ноль недопустимо, а TensorFlow прямо запрещает rate=1. Ограничение по режиму: слой ведёт себя по-разному в обучении и предсказании, и перепутанный флаг искажает результат. Ограничение по ожиданию: сохраняется математическое ожидание каждого элемента, сумма конкретного вектора меняется.

Следующий шаг — воспроизвести арифметику на своём векторе. Возьмите x=[2,4,6,8], p=0.5 и маску [1,0,1,0], посчитайте выход вручную, затем сверьте с поведением слоя в выбранной библиотеке. Ниже — промпт, который помогает разобрать конкретный случай.

Промпт, чтобы разобрать dropout на своём векторе:

КОД7 строк
Объясни по шагам, как работает inverted dropout.
Вход: x=[2,4,6,8], вероятность отключения p=0.5, маска сохранения m=[1,0,1,0].
Посчитай выход x*m/(1-p) поэлементно, покажи сумму входа и сумму выхода.
Затем опиши, что вернёт этот слой в режиме предсказания.
Проверь математическое ожидание для одного элемента x=2 при p=0.5.
Отдельно объясни, почему при p=1 делить на ноль нельзя.
Тема: [ваша модель или слой], стиль ответа: [кратко / с формулами].

В промпте меняйте вектор, вероятность и маску под свою задачу. Вариации той же задачи: разбор p=0.2 на векторе из десяти элементов; сравнение масок [1,0,1,0] и [0,1,0,1] при одном p; проверка формы выхода для входа (batch_size, timesteps, features) с noise_shape; расчёт ожидания для вероятности из примера; разбор ошибки, когда dropout остался включённым во время предсказания.

Частые вопросы

Что такое dropout в нейросети простыми словами?
Это приём, при котором во время обучения часть элементов входа обнуляется с вероятностью p, а оставшиеся масштабируются на 1/(1-p). Документация PyTorch описывает обнуление как случайное и независимое для каждого прямого прохода. На этапе оценки слой работает как тождественная функция.

Чем вероятность отключения отличается от вероятности сохранения?
p задаёт долю отключаемых элементов, а 1-p — долю сохраняемых. В документации PyTorch p — это probability of an element to be zeroed со значением по умолчанию 0.5. Множитель 1/(1-p) возвращает масштаб активаций к исходному уровню.

Почему выход масштабируется на 1/(1-p)?
Чтобы сохранить математическое ожидание каждого элемента. Документация d2l.ai формулирует свойство как E[h’]=h, а документация TensorFlow поясняет, что оставшиеся элементы масштабируются на 1.0/(1-rate). Сумма конкретного вектора при этом меняется.

Что происходит с dropout во время предсказания?
Слой возвращает исходный вход. Документация PyTorch указывает, что во время оценки модуль вычисляет тождественную функцию, а документация d2l.ai добавляет, что узлы не отбрасываются и нормализация не нужна. В Keras слой применяется только при training=True.

Можно ли поставить вероятность отключения равной единице?
Документация tf.nn.dropout требует rate меньше единицы. Ограничения остальных интерфейсов проверяйте по их справке. Множитель 1/(1-p) при p=1 требует деления на ноль. Самописный код не должен делить на ноль, а значение p=1 требует отдельной политики реализации.

Читайте также

3 материала