Содержание
  1. Задача читателя и границы метода
  2. Основные понятия и параметры
  3. Полный учебный пример
  4. Проверка результата на заданном входе
  5. Сравнение ROUGE-1, ROUGE-2 и ROUGE-L
  6. Ограничения и следующий шаг
  7. Частые вопросы
Справочник

Что такое ROUGE: совпадения в кратком пересказе

17 ноября 2026 · 10 минут чтения

Что такое ROUGE: совпадения в кратком пересказе — это метрика автоматической оценки, которая считает пересечение n-грамм и самых длинных общих последовательностей между сгенерированным текстом и эталоном. Аббревиатура расшифровывается как Recall-Oriented Understudy for Gisting Evaluation, что фиксирует первичная работа по адресу https://aclanthology.org/W04-1013.pdf. Значения лежат в диапазоне от 0 до 1, как указывает README метрики на Hugging Face.

Задача читателя и границы метода

Задача примера — сравнить пересказ с эталоном по лексическому перекрытию и сохранению порядка.

Метод работает с текстом как с последовательностью токенов. Документация TorchMetrics описывает свою реализацию так: «Calculate Rouge Score, used for automatic summarization». Там же указано, что реализация имитирует поведение Python-пакета rouge-score. Это важно для воспроизводимости: два инструмента с одинаковым названием метрики могут давать разные числа на одном входе, если по-разному разбивают текст на токены.

Границы метода начинаются там, где заканчивается совпадение форм. ROUGE считает пересечение строк и последовательностей. Высокий ROUGE-1 отражает совпадение слов, а ROUGE-L дополнительно учитывает их порядок. Оно не подтверждает, что утверждения пересказа истинны, что числа в нём верны и что читатель поймёт текст лучше. Факты и числа в пересказе проверяют отдельно.

Второй границей идёт язык. README метрики на Hugging Face отмечает: «One can also pass a custom tokenizer which is especially useful for non-latin languages». Для нашего русского примера используем явный список токенов. Один стеммер не заменяет проверку того, какие токены получились.

Основные понятия и параметры

Базовая единица — n-грамма, то есть последовательность из n соседних токенов. README метрики на Hugging Face перечисляет варианты: «rouge1» — униграммы, «rouge2» — биграммы, «rougeL» — оценка на основе самой длинной общей подпоследовательности. Униграммы ловят совпадение отдельных слов, биграммы требуют сохранения пар соседних слов, ROUGE-L учитывает порядок.

Для каждого варианта считают три величины. Precision — доля совпавших единиц среди единиц пересказа. Recall — доля совпавших единиц среди единиц эталона. F-мера объединяет их в одно число. В коде пакета Google Research rouge-score формулы записаны явно: precision = lcs_length / len(prediction_tokens), recall = lcs_length / len(target_tokens). Тот же файл фиксирует правило выбора эталона: «The target with the maximum f-measure is used for the final score for each score type». Это правило функции score_multi пакета rouge-score; его не следует приписывать всем настройкам других реализаций.

Документация TorchMetrics добавляет параметр стеммера: «Use Porter stemmer to strip word suffixes to improve matching». Стеммер срезает окончания, чтобы формы одного слова считались совпадением. Для русского языка стеммер подбирают отдельно; в учебном примере ниже стемминг не применялся, токенизация задана списком вручную.

Ещё один выбор — вариант ROUGE-L. README Google Research rouge-score различает два режима LCS. В режиме sentence-level вычисляется LCS между двумя фрагментами текста, переносы строк игнорируются, результат называется rougeL. В режиме summary-level переносы строк трактуются как границы предложений, LCS считается между каждой парой предложений эталона и кандидата, а затем вычисляется union-LCS; результат называется rougeLsum. Выбор режима меняет число на одном и том же тексте.

Отдельно стоит параметр удаления стоп-слов. README Google ROUGE сообщает: «Since we are unable to replicate this functionality precisely we do not include stopword removal». Стоп-слова остаются в подсчёте, и это влияет на короткие пересказы, где служебные слова занимают заметную долю.

Параметр Что задаёт На что влияет
Тип метрики rouge1, rouge2, rougeL, rougeLsum Какие единицы сравниваются
Токенизация Разбиение текста на токены Совпадение слов и форм
Стеммер Срезание суффиксов Совпадение словоформ
Вариант LCS rougeL или rougeLsum Учёт границ предложений
Число эталонов Один или несколько Выбор лучшего результата

В протоколе фиксируют тип метрики, токенизатор, стеммер, разбиение предложений, сводку по примерам и правило нескольких эталонов. Вариант LCS и агрегация по документам — разные настройки.

Полный учебный пример

Ниже — учебный пример с ручной токенизацией. Внешний сервис не запускался, модель не обучалась, скорость и улучшение качества не измерялись. Все входные данные и эталоны даны в тексте.

Эталон: «кот сидит на коврике». Пересказ: «кот на коврике».

Токенизация задана списком:

ТЕКСТ2 строки
Reference tokens = ["кот", "сидит", "на", "коврике"]
Summary tokens   = ["кот", "на", "коврике"]

Считаем ROUGE-1 по униграммам. Совпавшие токены: «кот», «на», «коврике» — три штуки. Precision равен 3/3 = 1, потому что все три токена пересказа найдены в эталоне. Recall равен 3/4 = 0.75, потому что из четырёх токенов эталона покрыты три. F1 = 2 × precision × recall / (precision + recall) = 6/7.

Теперь ROUGE-L. Самая длинная общая подпоследовательность для этой пары — «кот на коврике», длина 3. Здесь ROUGE-L даёт те же precision, recall и F-меру, что и ROUGE-1, поскольку совпавшие токены сохраняют порядок. Подпоследовательность допускает пропуск «сидит»; непрерывности не требуется.

Проверим второй пересказ: «коврике на кот». Униграммное перекрытие сохраняется — те же три токена. LCS равен 1, потому что порядок нарушен: в эталоне «кот» идёт раньше «коврике», а в пересказе — позже. ROUGE-1 остаётся высоким, ROUGE-L падает. Это и есть различие между метриками: униграммы видят набор слов, LCS видит порядок.

Шаги воспроизведения:

  1. Зафиксировать эталон и пересказ в виде строк.
  2. Разбить оба текста на токены выбранным способом и записать списки.
  3. Для ROUGE-1 пересечь счётчики вхождений: для каждого токена взять минимум частот, затем сложить.
  4. Вычислить precision как отношение размера пересечения к длине списка пересказа.
  5. Вычислить recall как отношение размера пересечения к длине списка эталона.
  6. Вычислить F-меру по precision и recall.
  7. Найти LCS для ROUGE-L и повторить шаги 4–6 с длиной LCS.
  8. Записать блок протокола рядом с числами.

Учебные значения из этого примера не являются дословным выводом библиотеки google rouge-score: её англоязычная токенизация даст другой набор токенов на русском тексте. Числа здесь принадлежат ручному токенизатору, зафиксированному списком.

Проверка результата на заданном входе

Для повторного расчёта сохраните вход и заполненный протокол:

ТЕКСТ6 строк
metric: rouge1 | rouge2 | rougeL | rougeLsum
tokenizer: manual list | library default | custom
stemmer: none | porter | other
sentence_split: newline | punctuation | none
aggregate_across_examples: задать правило выбранного API
references: 1..N; в примере Google score_multi выбирает максимум F по типу

Порядок проверки на учебном входе:

  1. Взять эталон «кот сидит на коврике» и пересказ «кот на коврике».
  2. Убедиться, что токенизация даёт четыре и три токена соответственно.
  3. Сверить precision: 3/3 = 1.
  4. Сверить recall: 3/4 = 0.75.
  5. Сверить F-меру: 6/7.
  6. Повторить для пересказа «коврике на кот» и убедиться, что ROUGE-L падает до LCS = 1.
  7. Записать оба результата рядом с блоком протокола.

Типичные причины расхождения чисел на одном тексте: другой токенизатор, включённый или выключенный стеммер, другой режим агрегации, другое число эталонов, другая нормализация регистра и пунктуации. TorchMetrics ориентируется на поведение пакета rouge-score от Google Research. Само различие названий не доказывает расхождения: сначала сверяют версии и настройки.

Отдельная проверка — устойчивость к перестановке. При перестановке токенов ROUGE-1 может сохраниться, а ROUGE-L — измениться. Это видно на двух данных выше пересказах. Это свойство полезно использовать как диагностику: высокий ROUGE-1 при низком ROUGE-L говорит о том, что слова на месте, а структура поехала.

Проверка на нескольких эталонах требует отдельного шага. Файл rouge_scorer.py фиксирует правило: для каждого типа оценки берётся эталон с максимальной F-мерой. В этом режиме добавление эталона может поднять итог. Сравнивая системы, сохраняйте один набор эталонов и одно правило.

Что проверяем Ожидаемое поведение Признак ошибки
Токенизация Списки токенов совпадают Разная длина списков
Precision 3/3 = 1 на учебном входе Значение выше 1
Recall 3/4 = 0.75 на учебном входе Значение выше 1
ROUGE-L при перестановке LCS падает до 1 LCS остаётся 3
Несколько эталонов Для Google score_multi максимум F по типу Необъявленная смена правила

Сравнение ROUGE-1, ROUGE-2 и ROUGE-L

На одном ручном входе видно, зачем сохранять разные оценки:

Критерий ROUGE-1 ROUGE-2 ROUGE-L
Единица Вхождения токенов Вхождения соседних пар Общая подпоследовательность
Порядок Не учитывает Учитывает внутри пары Учитывает по всей последовательности
Пересказ «кот на коврике» Совпадений 3 Совпадение «на коврике» LCS длины 3
Пересказ «коврике на кот» Те же 3 Нет совпавших пар LCS длины 1

Для первого пересказа ROUGE-2 имеет precision 1/2, recall 1/3 и F1=2/5. Для перевёрнутого пересказа ROUGE-L имеет precision 1/3, recall 1/4 и F1=2/7. Это дополнительная ручная арифметика по тем же спискам, не вывод библиотечного запуска.

ROUGE-2 учитывает локальный порядок и не должен объединяться с ROUGE-1 под пометкой «порядок не учитывается». При перестановке целых предложений часть биграмм может сохраниться; полного безразличия к порядку отсюда не следует. Ни один из вариантов не подтверждает истинность пересказа.

Ограничения и следующий шаг

Ограничения ROUGE стоит держать в голове при интерпретации любого числа.

Первое: метрика измеряет совпадение форм. Пересказ с перефразированными, но верными утверждениями получит низкое значение. Пересказ с дословно скопированными, но ложными утверждениями получит высокое.

Второе: результат зависит от токенизации. HF допускает собственный токенизатор, особенно полезный для нелатинских языков. Для русского входа сначала проверьте реальные токены выбранной реализации.

Третье: результат зависит от режима агрегации. Варианты rougeL и rougeLsum могут дать разные значения; их указывают отдельно от способа сводки результатов по документам.

Четвёртое: стоп-слова остаются в подсчёте. README Google ROUGE сообщает, что удаление стоп-слов не включено, поскольку функциональность не удалось воспроизвести точно.

Пятое: Google score_multi выбирает максимум F по типу метрики. Это выбранное правило; при другом API его сверяют отдельно и фиксируют в протоколе.

Следующий шаг для читателя: собрать небольшой набор эталонов на своём языке, зафиксировать блок протокола и прогнать несколько версий пересказа через ROUGE-1 и ROUGE-L. Затем добавить ручную проверку фактов на выборке. Такой порядок даёт воспроизводимый сигнал о качестве и не создаёт ложного впечатления, что метрика подтверждает истинность текста.

Частые вопросы

Что показывает метрика ROUGE простыми словами?
Метрика считает совпадения слов и последовательностей между пересказом и эталоном. Значения лежат от 0 до 1. Высокий ROUGE-1 отражает лексическое перекрытие; ROUGE-L дополнительно учитывает порядок токенов.

Чем ROUGE-L отличается от ROUGE-1?
ROUGE-1 сравнивает вхождения отдельных слов и не видит порядок. ROUGE-L ищет самую длинную общую подпоследовательность и учитывает порядок следования. Перестановка предложений может изменить ROUGE-L и оставить ROUGE-1 прежним.

Как посчитать ROUGE на Python?
Берут готовую реализацию, например пакет rouge-score или метрику из TorchMetrics, и передают эталон с кандидатом. Для русского текста задают собственный токенизатор. Рядом с числом фиксируют тип метрики, стеммер, режим агрегации и число эталонов.

Почему ROUGE даёт разные значения на одном тексте?
Причины: другая токенизация, включённый или выключенный стеммер, другой режим агрегации, другое число эталонов, другая нормализация регистра и пунктуации. TorchMetrics ориентируется на rouge-score. При расхождении сначала сравните версии, токены, варианты LCS и правила сводки.

Можно ли доверять высокому ROUGE как доказательству качества?
Высокое значение подтверждает совпадение форм с эталоном. Истинность утверждений, корректность чисел и полезность для читателя оно не подтверждает. Фактчек и оценку человеком выполняют отдельно.

Читайте также

3 материала