Содержание
  1. Задача читателя и границы метода
  2. Основные понятия и параметры
  3. Полный учебный пример
  4. Проверка результата на заданном входе
  5. Сравнение с ближайшим подходом
  6. Ограничения и следующий шаг
  7. Частые вопросы
Справочник

Что такое BLEU: как оценивают машинный перевод

17 ноября 2026 · 10 минут чтения

Что такое BLEU: как оценивают машинный перевод — это сравнение n-грамм кандидата с эталонными переводами по заданному протоколу. Документация NLTK описывает её ядро как modified n-gram precision: считаются совпавшие n-граммы, а короткий кандидат получает штраф за длину. NLTK возвращает BLEU в шкале 0..1, SacreBLEU обычно показывает 0..100. Балл характеризует совпадение с эталоном; смысловую верность проверяют отдельно.

Задача читателя и границы метода

BLEU нужна там, где надо быстро сравнить несколько систем перевода на одном наборе эталонов и получить одно число. Документация NLTK называет базовую механику: считается modified n-gram precision, то есть доля n-грамм кандидата, найденных в эталоне. Совпадение ограничено: в modified n-gram precision слово эталона считается исчерпанным после того, как с ним сопоставили слово гипотезы. Это правило не даёт кандидату набирать балл за счёт повторов одного и того же слова.

Второй элемент — brevity penalty. Документация NLTK указывает, что при коротком кандидате штраф применяется, а для расчёта берётся длина ближайшего эталона. Штраф удерживает системы от соблазна выдавать короткие фразы с высокой точностью совпадений.

Границы метода задаются тем, что BLEU измеряет форму совпадения. Синонимичный перевод с тем же смыслом может получить низкий балл, если слова расходятся с эталоном. Метрика не проверяет полноту ответа и не подтверждает семантическую истинность. Её место — сопоставление вариантов перевода на фиксированном корпусе с фиксированными настройками.

Практический вывод для читателя: BLEU пригодна как инструмент сравнения при одинаковом протоколе. Баллы, полученные с разной токенизацией, сглаживанием или порядком n-грамм, относятся к разным измерениям. Их смешивание в одной таблице искажает картину.

Основные понятия и параметры

Порядок n-грамм задаёт, какие последовательности слов учитываются. Документация TorchMetrics указывает диапазон значений грамма от 1 до 4. Документация NLTK уточняет, что стандартный расчёт по умолчанию использует до 4-грамм с равными весами, и это называется BLEU-4. Веса для униграмм, биграмм и остальных порядков задаются явно; при их отсутствии применяются равные веса — так описывает параметр документация TorchMetrics.

Сглаживание решает проблему нулевых совпадений. В NLTK можно явно задать smoothing_function для работы с нулевыми совпадениями. Выбранный метод указывайте в протоколе; сглаживание не следует считать одинаковым во всех реализациях. Документация Hugging Face для метрики SacreBLEU перечисляет методы сглаживания: none без сглаживания, floor с инкрементом нулевых счётчиков, add-k с прибавлением k к числителю и знаменателю для порядков выше первого, exp с экспоненциальным затуханием. Значение сглаживания действует при методах floor и add-k.

Токенизация определяет разбиение текста на единицы. Документация SacreBLEU называет токенизатор 13a значением по умолчанию, повторяющим скрипт mteval-v13a из Moses. Доступны варианты none, zh для китайского, intl, char и ja-mecab для японского. Регистр учитывается отдельно: документация SacreBLEU указывает, что регистронезависимый BLEU включается флагом --lowercase.

Корпусный и предложенческий уровни различаются способом усреднения. Документация NLTK подчёркивает: оригинальная метрика BLEU по работе Papineni и соавторов 2002 года использует микроусреднение точности, то есть суммирует числители и знаменатели по всем парам гипотеза-эталон до деления. Усреднение предложенческих баллов даёт другую величину.

Параметр Что задаёт Значения по документации
Порядок n-грамм Какие последовательности учитываются От 1 до 4 (TorchMetrics)
Веса Вклад порядков в итог Равные при отсутствии явных (TorchMetrics)
Сглаживание Поведение при нулевых совпадениях none, floor, add-k, exp (HF)
Токенизация Разбиение текста 13a по умолчанию, none, zh, intl, char, ja-mecab (SacreBLEU)
Регистр Учёт заглавных букв --lowercase для регистронезависимого (SacreBLEU)

Полный учебный пример

Разберём ручной расчёт на униграммах. Здесь вручную разбирается BLEU-1. Корпусный BLEU-4 и вывод конкретной библиотеки в этом примере не рассчитывались. Входные данные заданы явно: эталон — список токенов ["кот", "сидит", "на", "коврике"], кандидат — ["кот", "сидит"]. Токенизация задана как готовый список, без приведения к нижнему регистру и без стемминга.

Первый шаг — подсчёт совпавших униграмм. Кандидат содержит два токена: «кот» и «сидит». Оба присутствуют в эталоне. Modified precision равен отношению совпадений к длине кандидата: 2/2 = 1.

Второй шаг — brevity penalty. Длина кандидата c = 2, длина ближайшего эталона r = 4. Штраф считается как exp(1 − r/c), то есть exp(1 − 2) = exp(−1). Итоговый BLEU-1 для этого кандидата равен exp(−1).

Третий шаг — проверка на повторах. Возьмём кандидата ["кот", "кот", "кот"]. Слово «кот» встречается в эталоне один раз. После первого сопоставления эталонное слово считается исчерпанным, поэтому совпавших униграмм остаётся одна. Точность равна 1/3. Высокие повторы не увеличивают счёт совпадений сверх эталонного количества.

Четвёртый шаг — фиксация протокола. Балл имеет смысл только вместе с настройками. Ниже приведён учебный конфиг протокола, который читатель заполняет под свой эксперимент.

ТЕКСТ10 строк
Протокол оценки BLEU (учебный шаблон)
references: ["кот", "сидит", "на", "коврике"]
candidate: ["кот", "сидит"]
ngram_order: 1 (униграммы)
tokenizer: заданный список токенов
smoothing: none
case: mixed
level: sentence
library_signature: заполнить из вывода библиотеки
scale: 0..1 (в этом ручном расчёте)

Пятый шаг — сверка с библиотекой. Реальные параметры конкретной библиотеки читатель проверяет по её документации. Учебные значения выше показывают арифметику. Внешний сервис не запускался.

Проверка результата на заданном входе

Проверка начинается с вопроса, воспроизводится ли балл на том же входе. Для этого нужны четыре элемента: эталоны, кандидат, порядок n-грамм и настройки токенизации со сглаживанием. Если хотя бы один элемент изменился, балл относится к другому измерению.

В ручном примере precision равна единице, но итог ограничен штрафом exp(−1). При добавлении слова пересчитайте обе величины: modified precision и brevity penalty. Изменение длины не устанавливает, сохранились ли точные совпадения и стал ли перевод точнее по смыслу.

Вторая ошибка — сравнение баллов с разным сглаживанием. Документация Hugging Face перечисляет методы none, floor, add-k и exp; каждый даёт своё поведение при нулевых совпадениях. Баллы, посчитанные с разными методами, нельзя ставить в одну колонку.

Третья ошибка — смешение уровней. Документация NLTK прямо разделяет микроусреднение оригинальной метрики и усреднение предложенческих баллов. Корпусный BLEU считается суммированием числителей и знаменателей по всем парам до деления. Среднее по предложениям даёт другую величину на том же корпусе.

Что проверяем Признак корректности Признак ошибки
Эталоны Зафиксированы в протоколе Меняются между прогонами
Порядок n-грамм Указан явно Не указан
Сглаживание Метод назван Смешаны разные методы
Уровень Корпус или предложение Баллы уровней в одной таблице
Шкала 0..1 или 0..100 указана Шкала не указана

Порядок проверки: зафиксировать вход, посчитать балл, записать подпись конфигурации, повторить на том же входе, сравнить. Совпадение подтверждает воспроизводимость.

Сравнение с ближайшим подходом

Ближайший подход к BLEU — та же метрика в обёртке, которая решает проблему воспроизводимости. Документация SacreBLEU описывает свою задачу как удобный расчёт разделяемых, сравнимых и воспроизводимых баллов BLEU. Инструмент работает с обычным текстом и сам выполняет скачивание, обработку и токенизацию стандартных тестовых наборов.

Ключевое отличие — подпись конфигурации. В README SacreBLEU показан пример подписи конфигурации вида BLEU|nrefs:1|case:mixed|eff:no|tok:13a|smooth:exp|version:2.0.0 для воспроизводимости. Это пример из README, который не обозначает установленную у читателя версию. Подпись фиксирует число эталонов, регистр, эффективный порядок, токенизатор, сглаживание и версию; сохраняйте подпись своего запуска. Читатель, увидевший подпись, может повторить расчёт с теми же настройками.

Второе отличие — стандартная токенизация. Документация SacreBLEU сообщает, что баллы корректно считаются по детокенизированному выводу с использованием стандартной токенизации WMT. Токенизатор 13a по умолчанию повторяет скрипт mteval-v13a из Moses. Это снимает расхождение, которое возникает, когда разные команды по-разному разбивают текст на токены.

Третье отличие — набор возвращаемых значений. Документация Hugging Face для метрики SacreBLEU перечисляет выходные поля: score, counts, totals, precisions, bp, sys_len, ref_len. Поле bp показывает brevity penalty, sys_len и ref_len — длины кандидата и эталона. Эти поля дают читателю материал для диагностики: видно, штраф или точность совпадений определили итог.

Критерий Ручной расчёт SacreBLEU
Воспроизводимость Зависит от записи протокола Подпись версии в выводе
Токенизация Задаётся вручную Стандартная WMT, 13a по умолчанию
Диагностика Precision, BP и длины рассчитываются вручную. bp, sys_len, ref_len, precisions
Сглаживание Выбирается вручную Метод exp по умолчанию

Документация Hugging Face для SacreBLEU отмечает, что метрика наследует ограничения BLEU, а выигрыш даёт в воспроизводимости. Этот вывод задаёт выбор: для быстрой проверки идеи хватает ручного расчёта, для сравнения систем нужна обёртка с подписью конфигурации.

Ограничения и следующий шаг

Ограничения BLEU следуют из её устройства. Метрика считает совпадение n-грамм, поэтому синонимичный перевод с тем же смыслом может получить низкий балл. Полнота ответа и семантическая истинность остаются вне измерения. Балл говорит о близости формы к эталону на заданном корпусе.

Второе ограничение — чувствительность к настройкам. Порядок n-грамм, веса, сглаживание, токенизация и регистр меняют результат. Документация TorchMetrics указывает диапазон порядка от 1 до 4 и равные веса при отсутствии явных. Документация SacreBLEU называет 13a токенизатором по умолчанию и --lowercase флагом регистронезависимого режима. Каждое из этих решений сдвигает балл.

Третье ограничение — уровень агрегации. Документация NLTK разделяет микроусреднение оригинальной метрики и усреднение предложенческих баллов. Корпусный и предложенческий BLEU отвечают на разные вопросы, и их значения на одном материале расходятся.

Следующий шаг для читателя: собрать протокол из шести полей — эталоны, кандидат, порядок n-грамм, токенизатор, сглаживание, уровень. Зафиксировать шкалу 0..1 или 0..100. Посчитать балл, записать подпись конфигурации, повторить на том же входе. При сравнении систем держать все поля одинаковыми.

Для практической работы удобно начать с ручного униграммного расчёта из этой статьи, затем перейти к библиотеке с подписью версии. Реальные параметры библиотеки читатель сверяет по её документации: NLTK, TorchMetrics и SacreBLEU описывают свои интерфейсы отдельно.

Частые вопросы

Что такое BLEU метрика простыми словами?

BLEU сравнивает перевод системы с эталонными переводами и считает долю совпавших последовательностей слов. Документация NLTK называет ядро метрики modified n-gram precision. Короткий кандидат получает штраф за длину. Шкалу указывайте вместе с реализацией: у NLTK это 0..1, у SacreBLEU обычно 0..100.

Какие параметры задают при расчёте BLEU?

Порядок n-грамм от 1 до 4, веса порядков, метод сглаживания, токенизацию и учёт регистра. Документация TorchMetrics указывает диапазон грамма от 1 до 4. Документация SacreBLEU перечисляет токенизаторы и флаг --lowercase. Все параметры фиксируются в протоколе.

Почему баллы BLEU нельзя сравнивать напрямую?

Балл зависит от токенизации, сглаживания, порядка n-грамм и уровня агрегации. Документация NLTK разделяет микроусреднение оригинальной метрики и усреднение предложенческих баллов. Документация Hugging Face перечисляет четыре метода сглаживания. Разные настройки дают разные измерения.

Как посчитать BLEU на Python?

Взять библиотеку с явным интерфейсом и зафиксировать конфигурацию. Документация TorchMetrics описывает расчёт балла для перевода с одним или несколькими эталонами. Hugging Face Evaluate показывает загрузку обёртки SacreBLEU и вызов compute с predictions и references. Входы этой обёртки сверяйте отдельно с API NLTK и самого SacreBLEU. Подпись версии сохраняется вместе с баллом.

Подходит ли BLEU для оценки ответов языковых моделей?

BLEU измеряет совпадение n-грамм с эталоном и не проверяет смысл или полноту ответа. Синонимичная формулировка может получить низкий балл. Метрика полезна для сравнения вариантов на фиксированном корпусе с одинаковыми настройками. Для смысловых задач её применяют вместе с другими оценками.

Читайте также

3 материала