Что такое ROUGE: совпадения в кратком пересказе — это метрика автоматической оценки, которая считает пересечение n-грамм и самых длинных общих последовательностей между сгенерированным текстом и эталоном. Аббревиатура расшифровывается как Recall-Oriented Understudy for Gisting Evaluation, что фиксирует первичная работа по адресу https://aclanthology.org/W04-1013.pdf. Значения лежат в диапазоне от 0 до 1, как указывает README метрики на Hugging Face.
Задача читателя и границы метода
Задача примера — сравнить пересказ с эталоном по лексическому перекрытию и сохранению порядка.
Метод работает с текстом как с последовательностью токенов. Документация TorchMetrics описывает свою реализацию так: «Calculate Rouge Score, used for automatic summarization». Там же указано, что реализация имитирует поведение Python-пакета rouge-score. Это важно для воспроизводимости: два инструмента с одинаковым названием метрики могут давать разные числа на одном входе, если по-разному разбивают текст на токены.
Границы метода начинаются там, где заканчивается совпадение форм. ROUGE считает пересечение строк и последовательностей. Высокий ROUGE-1 отражает совпадение слов, а ROUGE-L дополнительно учитывает их порядок. Оно не подтверждает, что утверждения пересказа истинны, что числа в нём верны и что читатель поймёт текст лучше. Факты и числа в пересказе проверяют отдельно.
Второй границей идёт язык. README метрики на Hugging Face отмечает: «One can also pass a custom tokenizer which is especially useful for non-latin languages». Для нашего русского примера используем явный список токенов. Один стеммер не заменяет проверку того, какие токены получились.
Основные понятия и параметры
Базовая единица — n-грамма, то есть последовательность из n соседних токенов. README метрики на Hugging Face перечисляет варианты: «rouge1» — униграммы, «rouge2» — биграммы, «rougeL» — оценка на основе самой длинной общей подпоследовательности. Униграммы ловят совпадение отдельных слов, биграммы требуют сохранения пар соседних слов, ROUGE-L учитывает порядок.
Для каждого варианта считают три величины. Precision — доля совпавших единиц среди единиц пересказа. Recall — доля совпавших единиц среди единиц эталона. F-мера объединяет их в одно число. В коде пакета Google Research rouge-score формулы записаны явно: precision = lcs_length / len(prediction_tokens), recall = lcs_length / len(target_tokens). Тот же файл фиксирует правило выбора эталона: «The target with the maximum f-measure is used for the final score for each score type». Это правило функции score_multi пакета rouge-score; его не следует приписывать всем настройкам других реализаций.
Документация TorchMetrics добавляет параметр стеммера: «Use Porter stemmer to strip word suffixes to improve matching». Стеммер срезает окончания, чтобы формы одного слова считались совпадением. Для русского языка стеммер подбирают отдельно; в учебном примере ниже стемминг не применялся, токенизация задана списком вручную.
Ещё один выбор — вариант ROUGE-L. README Google Research rouge-score различает два режима LCS. В режиме sentence-level вычисляется LCS между двумя фрагментами текста, переносы строк игнорируются, результат называется rougeL. В режиме summary-level переносы строк трактуются как границы предложений, LCS считается между каждой парой предложений эталона и кандидата, а затем вычисляется union-LCS; результат называется rougeLsum. Выбор режима меняет число на одном и том же тексте.
Отдельно стоит параметр удаления стоп-слов. README Google ROUGE сообщает: «Since we are unable to replicate this functionality precisely we do not include stopword removal». Стоп-слова остаются в подсчёте, и это влияет на короткие пересказы, где служебные слова занимают заметную долю.
| Параметр | Что задаёт | На что влияет |
|---|---|---|
| Тип метрики | rouge1, rouge2, rougeL, rougeLsum | Какие единицы сравниваются |
| Токенизация | Разбиение текста на токены | Совпадение слов и форм |
| Стеммер | Срезание суффиксов | Совпадение словоформ |
| Вариант LCS | rougeL или rougeLsum | Учёт границ предложений |
| Число эталонов | Один или несколько | Выбор лучшего результата |
В протоколе фиксируют тип метрики, токенизатор, стеммер, разбиение предложений, сводку по примерам и правило нескольких эталонов. Вариант LCS и агрегация по документам — разные настройки.
Полный учебный пример
Ниже — учебный пример с ручной токенизацией. Внешний сервис не запускался, модель не обучалась, скорость и улучшение качества не измерялись. Все входные данные и эталоны даны в тексте.
Эталон: «кот сидит на коврике». Пересказ: «кот на коврике».
Токенизация задана списком:
Reference tokens = ["кот", "сидит", "на", "коврике"]
Summary tokens = ["кот", "на", "коврике"]
Считаем ROUGE-1 по униграммам. Совпавшие токены: «кот», «на», «коврике» — три штуки. Precision равен 3/3 = 1, потому что все три токена пересказа найдены в эталоне. Recall равен 3/4 = 0.75, потому что из четырёх токенов эталона покрыты три. F1 = 2 × precision × recall / (precision + recall) = 6/7.
Теперь ROUGE-L. Самая длинная общая подпоследовательность для этой пары — «кот на коврике», длина 3. Здесь ROUGE-L даёт те же precision, recall и F-меру, что и ROUGE-1, поскольку совпавшие токены сохраняют порядок. Подпоследовательность допускает пропуск «сидит»; непрерывности не требуется.
Проверим второй пересказ: «коврике на кот». Униграммное перекрытие сохраняется — те же три токена. LCS равен 1, потому что порядок нарушен: в эталоне «кот» идёт раньше «коврике», а в пересказе — позже. ROUGE-1 остаётся высоким, ROUGE-L падает. Это и есть различие между метриками: униграммы видят набор слов, LCS видит порядок.
Шаги воспроизведения:
- Зафиксировать эталон и пересказ в виде строк.
- Разбить оба текста на токены выбранным способом и записать списки.
- Для ROUGE-1 пересечь счётчики вхождений: для каждого токена взять минимум частот, затем сложить.
- Вычислить precision как отношение размера пересечения к длине списка пересказа.
- Вычислить recall как отношение размера пересечения к длине списка эталона.
- Вычислить F-меру по precision и recall.
- Найти LCS для ROUGE-L и повторить шаги 4–6 с длиной LCS.
- Записать блок протокола рядом с числами.
Учебные значения из этого примера не являются дословным выводом библиотеки google rouge-score: её англоязычная токенизация даст другой набор токенов на русском тексте. Числа здесь принадлежат ручному токенизатору, зафиксированному списком.
Проверка результата на заданном входе
Для повторного расчёта сохраните вход и заполненный протокол:
metric: rouge1 | rouge2 | rougeL | rougeLsum
tokenizer: manual list | library default | custom
stemmer: none | porter | other
sentence_split: newline | punctuation | none
aggregate_across_examples: задать правило выбранного API
references: 1..N; в примере Google score_multi выбирает максимум F по типу
Порядок проверки на учебном входе:
- Взять эталон «кот сидит на коврике» и пересказ «кот на коврике».
- Убедиться, что токенизация даёт четыре и три токена соответственно.
- Сверить precision: 3/3 = 1.
- Сверить recall: 3/4 = 0.75.
- Сверить F-меру: 6/7.
- Повторить для пересказа «коврике на кот» и убедиться, что ROUGE-L падает до LCS = 1.
- Записать оба результата рядом с блоком протокола.
Типичные причины расхождения чисел на одном тексте: другой токенизатор, включённый или выключенный стеммер, другой режим агрегации, другое число эталонов, другая нормализация регистра и пунктуации. TorchMetrics ориентируется на поведение пакета rouge-score от Google Research. Само различие названий не доказывает расхождения: сначала сверяют версии и настройки.
Отдельная проверка — устойчивость к перестановке. При перестановке токенов ROUGE-1 может сохраниться, а ROUGE-L — измениться. Это видно на двух данных выше пересказах. Это свойство полезно использовать как диагностику: высокий ROUGE-1 при низком ROUGE-L говорит о том, что слова на месте, а структура поехала.
Проверка на нескольких эталонах требует отдельного шага. Файл rouge_scorer.py фиксирует правило: для каждого типа оценки берётся эталон с максимальной F-мерой. В этом режиме добавление эталона может поднять итог. Сравнивая системы, сохраняйте один набор эталонов и одно правило.
| Что проверяем | Ожидаемое поведение | Признак ошибки |
|---|---|---|
| Токенизация | Списки токенов совпадают | Разная длина списков |
| Precision | 3/3 = 1 на учебном входе | Значение выше 1 |
| Recall | 3/4 = 0.75 на учебном входе | Значение выше 1 |
| ROUGE-L при перестановке | LCS падает до 1 | LCS остаётся 3 |
| Несколько эталонов | Для Google score_multi максимум F по типу | Необъявленная смена правила |
Сравнение ROUGE-1, ROUGE-2 и ROUGE-L
На одном ручном входе видно, зачем сохранять разные оценки:
| Критерий | ROUGE-1 | ROUGE-2 | ROUGE-L |
|---|---|---|---|
| Единица | Вхождения токенов | Вхождения соседних пар | Общая подпоследовательность |
| Порядок | Не учитывает | Учитывает внутри пары | Учитывает по всей последовательности |
| Пересказ «кот на коврике» | Совпадений 3 | Совпадение «на коврике» | LCS длины 3 |
| Пересказ «коврике на кот» | Те же 3 | Нет совпавших пар | LCS длины 1 |
Для первого пересказа ROUGE-2 имеет precision 1/2, recall 1/3 и F1=2/5. Для перевёрнутого пересказа ROUGE-L имеет precision 1/3, recall 1/4 и F1=2/7. Это дополнительная ручная арифметика по тем же спискам, не вывод библиотечного запуска.
ROUGE-2 учитывает локальный порядок и не должен объединяться с ROUGE-1 под пометкой «порядок не учитывается». При перестановке целых предложений часть биграмм может сохраниться; полного безразличия к порядку отсюда не следует. Ни один из вариантов не подтверждает истинность пересказа.
Ограничения и следующий шаг
Ограничения ROUGE стоит держать в голове при интерпретации любого числа.
Первое: метрика измеряет совпадение форм. Пересказ с перефразированными, но верными утверждениями получит низкое значение. Пересказ с дословно скопированными, но ложными утверждениями получит высокое.
Второе: результат зависит от токенизации. HF допускает собственный токенизатор, особенно полезный для нелатинских языков. Для русского входа сначала проверьте реальные токены выбранной реализации.
Третье: результат зависит от режима агрегации. Варианты rougeL и rougeLsum могут дать разные значения; их указывают отдельно от способа сводки результатов по документам.
Четвёртое: стоп-слова остаются в подсчёте. README Google ROUGE сообщает, что удаление стоп-слов не включено, поскольку функциональность не удалось воспроизвести точно.
Пятое: Google score_multi выбирает максимум F по типу метрики. Это выбранное правило; при другом API его сверяют отдельно и фиксируют в протоколе.
Следующий шаг для читателя: собрать небольшой набор эталонов на своём языке, зафиксировать блок протокола и прогнать несколько версий пересказа через ROUGE-1 и ROUGE-L. Затем добавить ручную проверку фактов на выборке. Такой порядок даёт воспроизводимый сигнал о качестве и не создаёт ложного впечатления, что метрика подтверждает истинность текста.
Частые вопросы
Что показывает метрика ROUGE простыми словами?
Метрика считает совпадения слов и последовательностей между пересказом и эталоном. Значения лежат от 0 до 1. Высокий ROUGE-1 отражает лексическое перекрытие; ROUGE-L дополнительно учитывает порядок токенов.
Чем ROUGE-L отличается от ROUGE-1?
ROUGE-1 сравнивает вхождения отдельных слов и не видит порядок. ROUGE-L ищет самую длинную общую подпоследовательность и учитывает порядок следования. Перестановка предложений может изменить ROUGE-L и оставить ROUGE-1 прежним.
Как посчитать ROUGE на Python?
Берут готовую реализацию, например пакет rouge-score или метрику из TorchMetrics, и передают эталон с кандидатом. Для русского текста задают собственный токенизатор. Рядом с числом фиксируют тип метрики, стеммер, режим агрегации и число эталонов.
Почему ROUGE даёт разные значения на одном тексте?
Причины: другая токенизация, включённый или выключенный стеммер, другой режим агрегации, другое число эталонов, другая нормализация регистра и пунктуации. TorchMetrics ориентируется на rouge-score. При расхождении сначала сравните версии, токены, варианты LCS и правила сводки.
Можно ли доверять высокому ROUGE как доказательству качества?
Высокое значение подтверждает совпадение форм с эталоном. Истинность утверждений, корректность чисел и полезность для читателя оно не подтверждает. Фактчек и оценку человеком выполняют отдельно.
