Что такое катастрофическое забывание нейросети — потеря ранее освоенного навыка после обучения на новых данных. Общие параметры модели обновляются под новую задачу, и качество на старых задачах падает. В документации IBM явление описано так: процесс обучения новым задачам мешает пониманию старых. Ниже — механика, учебная матрица точности, метрики и способы смягчения.
Забывание как потеря освоенного после нового обучения
Определение строится на последовательности. Модель сначала обучается на задаче A, затем на задаче B, и после второго этапа проверяется на A. Если качество на A упало, речь идёт о забывании. В документации IBM сказано, что катастрофическое забывание возникает, когда обучение новым задачам мешает пониманию старых. Это рабочее определение для инженера: сравниваются два замера одной и той же задачи до и после нового обучения.
Ключевое слово здесь — «после». Забывание фиксируется по изменению результата между этапами. Абсолютную величину ошибки оценивают отдельно. Модель может ошибаться на задаче A и до обучения на B; тогда низкая точность говорит о слабой исходной подготовке. Забывание проявляется как разница: было 0.90, стало 0.55. Без замера «до» атрибуция невозможна.
Авторы эмпирического исследования continual fine-tuning на arXiv описывают постановку так: инструкции для одного типа задач используются для настройки LLM на каждом этапе, и модель не имеет доступа к ранее изученным задачам. Это важное уточнение протокола. Если на этапе B используются также данные A, это постановка с replay. Забывание в ней также оценивают на неизменном тесте A до и после обучения; компенсацию падения проверяют измерением.
Практический вывод для проверки: фиксируйте версию модели и версию теста до начала эксперимента. Любое изменение промпта, шаблона или набора примеров между этапами смешивает эффект забывания с эффектом смены измерителя. Тогда разницу нельзя приписать только обновлению весов.
Обновление общих параметров без антропоморфной памяти
У нейросети нет памяти в бытовом смысле. Есть матрицы весов, которые меняются под действием градиентов. В блоге Google DeepMind авторы EWC пишут: пока сеть обучается на конкретной задаче, её параметры адаптируются под эту задачу. Когда вводится новая задача, новые адаптации перезаписывают знания, полученные ранее.
Под «перезаписью» здесь понимается изменение численных параметров модели. Один и тот же вес участвует в решении многих задач. Градиент по задаче B сдвигает вес в сторону, полезную для B. Если этот вес был важен для A, качество на A снижается. Никто ничего не «забывает» в человеческом смысле: меняется численное значение параметра.
Обновление параметров, важных для старой задачи, способно ухудшить её результат. Само пересечение используемых весов ещё не задаёт величину забывания: её измеряют на контрольных задачах. Авторы arXiv-исследования отмечают, что контролируют порядок задач для упрощения анализа и что этот порядок может влиять на результат.
Антропоморфные метафоры мешают диагностике. Фраза «модель забыла» подсказывает искать причину в хранении, тогда как причина лежит в оптимизации. Правильный вопрос звучит иначе: какие веса изменились и насколько они были важны для старой задачи. Ответ на него даёт измеримый план действий.
Матрица двух задач и двух этапов
Возьмём учебный пример. Числа ниже придуманы для арифметики и не являются измерением какой-либо модели. Это заполненная матрица точности: строки — этапы обучения, столбцы — задачи.
| Этап | Точность на A | Точность на B | Средняя |
|---|---|---|---|
| После обучения A | 0.90 | 0.50 | 0.70 |
| После обучения B | 0.55 | 0.85 | 0.70 |
Читаем таблицу по шагам. После первого этапа модель хорошо решает A и слабо решает B. После второго этапа она хорошо решает B, а качество на A падает. Средняя точность в обоих случаях равна 0.70. Этот факт — главный аргумент против оценки по среднему: агрегат не изменился, хотя состав качества перераспределился.
Матрица показывает и вторую ловушку. Рост по B составил 0.35, падение по A — тоже 0.35. Симметрия здесь случайна для выбранных чисел, но она наглядно демонстрирует, что итоговая средняя маскирует разнонаправленные движения внутри задач. Инженер, смотрящий только на среднюю, увидит стабильность и пропустит деградацию.
Заполняйте такую матрицу после каждого этапа и сохраняйте предыдущие значения. Тогда видно траекторию: когда именно началось падение, продолжалось ли оно на третьем этапе, стабилизировалось ли. Одиночный замер в финале даёт точку без направления.
Удержание старой задачи отдельно от среднего качества
Считаем удержание отдельно. Забывание по задаче A: максимум прошлой точности минус текущая точность, то есть 0.90 − 0.55 = 0.35. Это 35 процентных пунктов разности долей. Формулировка «35% потери точности» здесь неверна: она читается как относительное падение, а мы вычислили абсолютную разность.
Средняя финальная точность: (0.55 + 0.85) / 2 = 0.70. Она совпадает со средней после первого этапа. Два разных состояния дают одно число. Отсюда правило: удержание старой задачи считается отдельной метрикой, среднее качество идёт справочно.
Назовём метрику явно. В нашем примере используется «максимум прошлой точности минус текущая точность» по конкретной задаче. Это учебная формула для ручной арифметики. Авторы arXiv-исследования применяют другую метрику: усреднённое относительное падение от исходной модели по подзадачам и этапам. Приписывать нашу формулу им нельзя, это разные способы измерения.
Практический порядок расчёта выглядит так:
- Зафиксировать точку отсчёта: точность на A сразу после обучения A.
- Обучить на B, не меняя тест A.
- Замерить точность на A тем же протоколом.
- Вычесть текущее значение из максимума прошлого.
- Повторить для каждой старой задачи и каждого этапа.
Пятый шаг важен: при трёх и более этапах сохраняйте историю максимумов вместе с последним замером.
Контрольные наборы и одинаковая метрика между этапами
Схема контрольного набора: фиксированные раздельные test_A и test_B, одинаковый протокол до и после, сохранение версии модели. Если старый тест изменили между этапами, разницу уже нельзя приписать только забыванию. Это главное условие корректного замера.
Официальный evaluation tutorial библиотеки Avalanche описывает метрику TaskAwareAccuracy, которая ведёт отдельные счётчики точности для разных меток задач. Такой подход напрямую поддерживает раздельный учёт: качество по A и по B не смешивается в один агрегат. Тот же документ упоминает, что Evaluation Plugin проверяет выполнение вызовов оценки на одном и том же потоке или подпотоке, а проверки можно настроить на выброс ошибки с остановкой вычислений или на предупреждение.
Из этого следуют требования к протоколу:
- один и тот же test_A на всех этапах, без правок и дополнений;
- одна и та же метрика: доля верных ответов, F1 или иная, но неизменная;
- фиксируйте исходную базовую модель и сохраняйте раздельные чекпойнты модели и адаптера до и после каждого этапа обучения.
- сохранённые артефакты: чекпойнт, конфиг, версия набора.
Отдельно фиксируйте промпт и шаблон. Смена формулировки инструкции меняет точность сама по себе, и тогда падение на A отражает смену измерителя. Репозиторий Avalanche предоставляет утилиты и метрики для оценки алгоритма continual learning по факторам, которые сопровождающие проекта считают важными для постоянно обучающейся системы.
Replay, регуляризация и разделение параметров
Три семейства стратегий смягчают забывание, каждое со своими ограничениями.
Replay. В документации IBM описано, что техники rehearsal показывают модели старые данные во время обучения новым задачам. Это снижает конфликт градиентов. Ограничение: нужен доступ к старым данным или их представительной выборке, что увеличивает стоимость обучения и требует места.
Регуляризация. Там же описана elastic weight consolidation: техника добавляет штраф к функции потерь за изменения весов, важных для старых задач. В блоге Google DeepMind механика раскрыта по шагам: после обучения задаче вычисляется важность каждого соединения для неё, а при изучении новой задачи каждое соединение защищается от изменения пропорционально своей важности для старых задач. Ограничение: защита работает в постановке исследования и смягчает забывание; полного устранения она не обещает.
Разделение параметров. Документация IBM описывает task-specific modules, которые активируются по необходимости и сохраняют приобретённые знания, когда не используются. Репозиторий Avalanche предоставляет утилиты для расширения модели и task-aware моделей вместе с набором предобученных моделей и архитектур. Ограничение: рост числа модулей увеличивает размер системы, а замороженная база с адаптером не гарантирует сохранения прежнего поведения эффективной модели.
Отдельно стоит приём из arXiv-исследования: результаты показывают, что забывание при continual instruction tuning можно смягчить до определённой степени, добавляя общие инструкционные данные. Это описанный авторами приём смешивания общих инструкционных данных с данными очередной задачи.
| Стратегия | Что делает | Ограничение |
|---|---|---|
| Replay | Показывает старые данные при обучении новым задачам | Нужен доступ к старым данным и запас по стоимости |
| Регуляризация (EWC) | Штрафует изменения важных для старых задач весов | Смягчает забывание, полного устранения не даёт |
| Разделение параметров | Активирует task-specific модули по необходимости | Растёт размер системы, сохранение поведения не гарантировано |
| Общие инструкции | Добавляет общие данные при настройке | Смягчение до определённой степени |
Отличия от переобучения, сдвига данных и потери контекста
Четыре явления дают похожий внешний симптом — падение качества, — и различаются причиной.
Переобучение. Модель хорошо работает на обучающих примерах и хуже на новых. Причина в подгонке под конкретную выборку. Забывание проявляется иначе: качество падает на задаче, где модель ранее показывала результат, при этом обучение шло на других данных.
Сдвиг данных. Изменилось распределение входов: пришли другие формулировки, другой домен, другой формат. Модель не менялась, изменился мир вокруг неё. При забывании входы теста те же, а веса другие.
Потеря контекста в чате. Диалоговая модель перестаёт учитывать сказанное ранее в пределах сессии, потому что окно контекста ограничено. Веса при этом не меняются. В этом случае ограничен доступ к истории разговора; параметры модели сохраняются.
Смена измерителя. Правка теста, метрики, промпта или версии базовой модели между этапами делает атрибуцию падения неоднозначной. Это не отдельное явление, а дефект протокола, который маскируется под забывание.
Различить их помогает простой порядок: сначала проверьте, менялись ли веса; затем — менялись ли входы; затем — менялся ли измеритель. Ответ на первый вопрос отделяет забывание от сдвига данных и потери контекста, ответ на третий — от артефакта замера.
Частые вопросы
Что такое catastrophic forgetting простыми словами?
Это потеря ранее освоенных задач после обучения на новых данных. Общие веса модели обновляются, и качество на старых задачах падает. В документации IBM явление описано как помеха пониманию старых задач со стороны обучения новым. Проверяется сравнением одной и той же задачи до и после нового обучения.
Почему нейросеть забывает старые задачи при дообучении?
Одни и те же параметры участвуют в решении разных задач. В блоге Google DeepMind описано, как новые адаптации могут перезаписывать ранее полученные знания. Изменение весов, важных для старой задачи, способно ухудшить её качество. Величину падения определяют сравнением контрольных результатов до и после обучения.
Как измерить забывание в LLM?
Нужны раздельные контрольные наборы для каждой задачи и одинаковый протокол до и после. Считайте удержание старой задачи отдельно от средней точности. В учебном примере забывание по A равно 0.90 − 0.55 = 0.35, то есть 35 процентных пунктов разности долей. Средняя при этом остаётся 0.70.
Устраняют ли EWC и LoRA забывание полностью?
Обе техники относятся к смягчению. EWC добавляет штраф за изменения весов, важных для старых задач, и работает в постановке исследования. Замороженная база с адаптером сохраняет прежнее поведение эффективной модели не гарантированно. Полное устранение забывания эти методы не обещают.
Чем забывание отличается от потери контекста в чате?
Потеря контекста связана с ограниченным окном диалога: модель перестаёт учитывать сказанное ранее в сессии, а веса остаются прежними. Забывание — это изменение параметров после обучения. Симптом похож, причина разная. Различить их помогает проверка: менялись ли веса между замерами.