Содержание
  1. Задача читателя и границы метода
  2. Основные понятия и параметры
  3. Полный учебный пример
  4. Проверка результата на заданном входе
  5. Сравнение с ближайшим подходом
  6. Ограничения и следующий шаг
  7. Частые вопросы
Справочник

Что такое MRR: позиция первого полезного ответа

17 ноября 2026 · 12 минут чтения

Что такое MRR: позиция первого полезного ответа — это оценка ранжирования через mean reciprocal rank, среднее обратных рангов первых попаданий. Для каждого запроса берут позицию первого релевантного документа, считают обратную величину и усредняют по всем запросам. Для одного запроса RR равен 1 при попадании на первую позицию, 1/3 — на третью, 0 — при отсутствии попадания в пределах выбранного k. Итоговый MRR усредняет эти значения; обратная величина к MRR не даёт среднего ранга.

Задача читателя и границы метода

MRR отвечает на один узкий вопрос: как быстро система выдаёт первый полезный документ. Эту метрику применяют при оценке поиска, рекомендаций и подбора документов, когда читателю важен именно первый удачный результат. Документация TorchMetrics описывает класс RetrievalMRR для такой оценки: он работает с бинарными эталонами и принимает на вход вещественные предсказания модели (lightning.ai).

Границы метода вытекают из его устройства. Учитывается единственная позиция — первого попадания. Всё, что идёт после неё, на значение не влияет. Если система выдала десять релевантных документов подряд, начиная с первой позиции, reciprocal rank равен 1. Если система выдала один релевантный документ на первой позиции и больше ничего, результат тот же. MRR даёт этим двум спискам одинаковую оценку.

Отсюда практическое следствие. MRR полезна там, где читателю нужен один ответ: справочный поиск, вопрос-ответ, подбор единственной подходящей записи. Для задач, где важна полнота выдачи, нужны другие метрики. Для оценки нескольких полезных результатов рассматривают nDCG: она учитывает полезность документов и их позиции в рассматриваемом списке.

Второе следствие касается знаменателя. Запрос без попадания даёт reciprocal rank 0 и остаётся в усреднении. Если из трёх запросов один не нашёл ничего в пределах k, ноль идёт в сумму и делится на три. Исключать такие запросы из расчёта — значит завышать итог.

Третье следствие — выбор k. Параметр top_k ограничивает список, который рассматривает метрика. Документация проекта указывает, что по умолчанию рассматриваются все элементы, а явное значение k отсекает хвост. Один и тот же набор данных при k=2 и k=3 даёт разные значения, если попадание стоит на третьей позиции.

Наконец, аббревиатура MRR совпадает с обозначением месячной повторяющейся выручки. Это разные величины с разными формулами и единицами измерения. В этой статье речь идёт об оценке ранжирования.

Основные понятия и параметры

Разберём составные части по порядку.

Relevance, релевантность. Каждый документ в списке помечают как подходящий или неподходящий. В документации TorchMetrics эталон задаётся булевыми значениями или целыми числами, а предсказания — вещественными числами; при нарушении типов возникает ошибка. Ручная разметка «плюс/минус» — обычная практика для небольших учебных наборов.

Reciprocal rank, RR. Для одного запроса это 1, делённая на номер позиции первого релевантного документа. Позиция 1 даёт 1, позиция 2 даёт 1/2, позиция 3 даёт 1/3. Позиция 5 даёт 1/5. Величина убывает с ростом номера позиции.

MRR. Среднее арифметическое reciprocal rank по всем запросам. Документация TorchMetrics формулирует порядок вычисления так: предсказания сначала группируются по индексам, затем считается среднее значение метрики по каждому запросу. При агрегации по умолчанию это макроусреднение: каждый учтённый запрос весит одинаково независимо от числа документов в его списке.

MRR@k. То же среднее, но позиция первого попадания ищется только среди первых k элементов. Документация проекта описывает параметр top_k как ограничение на число рассматриваемых элементов.

Поведение при отсутствии попадания. Документация TorchMetrics перечисляет empty_target_action для запросов, у которых во всём переданном списке нет положительных эталонных меток: значение neg учитывает их как 0.0 и стоит по умолчанию, pos учитывает как 1.0, skip пропускает такие запросы и возвращает 0.0, если пропущены все, error вызывает исключение. Выбор варианта меняет итоговое число, поэтому его фиксируют до сравнения систем.

Форма входа. Документация проекта требует одинаковой формы индексов, предсказаний и эталонов; в начале вычисления они разворачиваются в одномерные представления. Для запроса без положительных эталонных меток значение по умолчанию neg даёт 0.

Направление метрики. В исходном коде проекта зафиксировано higher_is_better: bool = True — большее значение считается лучшим (github.com).

Сведём параметры в таблицу.

Понятие Что задаёт Влияние на итог
Релевантность Ручные метки плюс/минус Определяет, какая позиция считается попаданием
RR запроса 1 / номер первой релевантной позиции Даёт вклад одного запроса
MRR Среднее RR по запросам Итоговая величина от 0 до 1
top_k Граница рассматриваемого списка Отсекает попадания за пределами k
Обработка промахов neg, pos, skip, error Меняет знаменатель и итог
Типы данных bool или int для эталона, float для предсказаний Неверный тип вызывает ошибку

Полный учебный пример

Возьмём три учебных запроса и полные списки документов. Плюс отмечает релевантный документ, минус — нерелевантный. Вход и разметка составлены вручную; работающая система здесь не измерялась.

Запрос Позиция 1 Позиция 2 Позиция 3 Первое попадание RR
q1 A+ B+ C− 1 1
q2 D− E− F+ 3 1/3
q3 G− H− I− нет в top-3 0

Считаем MRR@3. Reciprocal rank по запросам: 1, 1/3 и 0. Сумма равна 1 + 1/3 + 0, то есть 4/3. Делим на три запроса: (1 + 1/3 + 0) / 3 = 4/9. Итоговое значение — 4/9.

Теперь тот же набор при k=2. У запроса q1 попадание на первой позиции сохраняется, RR равен 1. У запроса q2 релевантный документ F стоит на третьей позиции и в первые два элемента не попадает, поэтому RR равен 0. У запроса q3 попадания нет. Сумма равна 1 + 0 + 0, делим на три: итог 1/3.

Разница между 4/9 и 1/3 показывает, как граница k меняет вывод. При k=3 система находит ответ для двух запросов из трёх. При k=2 — для одного из трёх.

Проверим ещё одно свойство. Сравним два варианта q1: [A+, B−, C−] и [A+, B+, C−]. Во втором варианте появился дополнительный релевантный документ на позиции 2. Первое попадание остаётся на позиции 1, reciprocal rank равен 1. Дополнительный релевантный документ на второй позиции значение не меняет. Это и есть потеря информации после первого попадания: метрика фиксирует только первую удачу.

Ниже — учебный код на стандартном Python. Он работает со списками булевых меток и не требует внешних библиотек. Файл сохраняется как mrr_example.py и запускается локально.

PYTHON30 строк
# mrr_example.py
# Учебный пример: MRR@k на трёх запросах.
# Метки: True — релевантный документ, False — нерелевантный.

RUNS = {
    "q1": [True, True, False],
    "q2": [False, False, True],
    "q3": [False, False, False],
}


def reciprocal_rank(labels, k):
    """1 / позиция первого True среди первых k элементов, иначе 0.0."""
    for position, is_relevant in enumerate(labels[:k], start=1):
        if is_relevant:
            return 1.0 / position
    return 0.0


def mrr_at_k(runs, k):
    """Среднее reciprocal rank по всем запросам, включая промахи."""
    if not runs:
        return 0.0
    total = sum(reciprocal_rank(labels, k) for labels in runs.values())
    return total / len(runs)


if __name__ == "__main__":
    print("MRR@3 =", mrr_at_k(RUNS, 3))
    print("MRR@2 =", mrr_at_k(RUNS, 2))

Ожидаемый вывод — приближения чисел 4/9 для k=3 и 1/3 для k=2. Для автоматической сверки сравните результат с этими дробями с допуском. Функция reciprocal_rank возвращает 0.0 при отсутствии попадания, поэтому запрос q3 остаётся в знаменателе. Переменные и данные объявлены в самом файле, внешние сервисы и секреты не используются.

Проверка результата на заданном входе

Проверку удобно вести по шагам, сверяя промежуточные значения с ожидаемыми.

Шаг 1. Сверьте списки. Для q1 ожидается [True, True, False], для q2 — [False, False, True], для q3 — [False, False, False]. Если метки расставлены иначе, дальнейшие числа не совпадут.

Шаг 2. Посчитайте RR вручную. q1 даёт 1, q2 даёт 1/3, q3 даёт 0. Запишите три значения отдельно, до усреднения.

Шаг 3. Сложите и разделите. Сумма 4/3, делитель 3, результат 4/9. Проверьте, что в знаменателе стоит число всех запросов, включая промах.

Шаг 4. Запустите код. Команда python mrr_example.py выводит два числа. Первое должно совпасть с 4/9 при k=3, второе — с 1/3 при k=2.

Шаг 5. Проверьте граничные случаи. Замените метки q3 на [True, False, False]. Тогда RR станет 1, сумма 1 + 1/3 + 1, итог 7/9. Так вы убедитесь, что изменение одного запроса меняет среднее предсказуемым образом.

Шаг 6. Проверьте пустой набор. Передайте в mrr_at_k пустой словарь. Функция вернёт 0.0, деления на ноль не произойдёт.

Шаг 7. Сверьте с библиотечной реализацией. Если вы используете TorchMetrics, проверьте, что эталоны имеют булев или целочисленный тип, а предсказания — вещественный; при других типах возникает ошибка. Задайте одинаковую форму индексов, предсказаний и эталонов; библиотека разворачивает их в одномерный вид для группировки по запросам.

При сравнении проверяйте, посчитаны ли значения с одинаковым k. Число 4/9 относится к k=3, число 1/3 — к k=2. Записывайте k рядом с результатом.

Отдельно проверьте исключение промахов из знаменателя. Если убрать q3 из расчёта, получится (1 + 1/3) / 2 = 2/3. Это другое число и другая метрика. Документация TorchMetrics показывает, что вариант skip существует как отдельный режим, а по умолчанию промахи учитываются как 0.0. В нашем примере у q3 вообще нет положительных эталонных меток, и skip может исключить именно его. У q2 релевантный F существует за пределами k=2: это промах отсечения, который не становится empty target. Явно фиксируйте обе настройки: top_k и empty_target_action.

MRR не выражает средний ранг. Величина 4/9 получена усреднением reciprocal rank, включая нулевой вклад промаха. У промаха нет позиции первого релевантного документа; подстановка последней позиции списка создала бы отдельное соглашение. Храните исходные RR рядом с итогом, чтобы видеть, какие запросы дали нулевой вклад.

Сравнение с ближайшим подходом

Ближайший сосед MRR в оценке ранжирования — nDCG, метрика с дисконтированием накопленной полезности. Обе величины принимают значения от 0 до 1, обе учитывают позицию документа, обе усредняются по запросам. Различие в том, что именно попадает в расчёт.

Критерий MRR nDCG
Что учитывает Позицию первого релевантного документа Позиции и вклад всех релевантных документов
Релевантность Бинарная: подходит или нет Может быть градуированной
Влияние второго попадания Отсутствует Учитывается с дисконтом
Промах в пределах k Даёт 0 в усреднении Даёт 0 в усреднении
Типичная задача Поиск одного ответа Ранжирование полного списка
Диапазон значений От 0 до 1 От 0 до 1

Практический вывод из таблицы. Когда читателю нужен один ответ и важно, насколько высоко он стоит, MRR даёт прямую оценку. Когда важно качество всего списка, nDCG показывает больше. Две метрики дополняют друг друга, и в отчёте по качеству поиска их приводят рядом.

Отдельно стоит назвать Recall. Эта метрика отвечает на вопрос, какая доля релевантных документов попала в выдачу. MRR отвечает на вопрос, как высоко стоит первый из них. Система может иметь высокий Recall и низкий MRR: все нужные документы присутствуют, но первый из них лежит глубоко в списке. Обратная комбинация тоже возможна: первый документ релевантен, а остальные нужные документы отсутствуют.

Третье различие касается подписочной выручки. Аббревиатура MRR в финансовом контексте означает monthly recurring revenue, регулярную месячную выручку. Формула там строится на суммировании платежей по подпискам, единицы измерения — деньги. В оценке ранжирования MRR измеряется в долях единицы и описывает порядок документов. Совпадение букв не делает величины взаимозаменяемыми.

Ограничения и следующий шаг

Ограничения MRR следуют из её устройства, и их полезно держать в уме при чтении отчётов.

Одно попадание. Метрика фиксирует первый релевантный документ и не смотрит дальше. Система с одним точным ответом и система с десятью точными ответами получают одинаковую оценку, если первый ответ стоит на одной и той же позиции.

Бинарная релевантность. Документ либо подходит, либо нет. Степени соответствия метрика не различает. Документация TorchMetrics прямо указывает на работу с бинарными эталонами.

Зависимость от k. Значение меняется при смене границы списка. Сравнивать системы корректно при одинаковом k и одинаковом режиме обработки промахов.

Чувствительность к промахам. Каждый запрос без попадания тянет среднее вниз. При малом числе запросов одна неудача заметно меняет итог.

Макроусреднение. Каждый запрос весит одинаково. Запрос с сотней документов и запрос с тремя документами вносят равный вклад.

Следующий шаг зависит от задачи. Если вы оцениваете поиск одного ответа, добавьте к MRR метрику полноты, чтобы увидеть, сколько нужных документов осталось за пределами выдачи. Если вы сравниваете две системы, зафиксируйте k, режим обработки промахов и набор запросов, затем посчитайте обе метрики на одном входе. Если вы работаете с библиотекой, сверьте типы данных и размерности с требованиями документации проекта.

Для повторяемых сравнений полезно хранить учебный набор запросов и меток в одном файле рядом с кодом. Тогда пересчёт после изменения ранжирования занимает одну команду, а расхождение с прошлым результатом видно сразу.

Частые вопросы

Что такое mean reciprocal rank простыми словами?

Это средняя оценка того, насколько высоко стоит первый полезный результат. Для каждого запроса берут номер первой подходящей позиции, считают обратную величину и усредняют по всем запросам. Для одного запроса RR равен 1 при первом месте, 1/3 при третьем и 0 при промахе. MRR — среднее таких вкладов; отдельную позицию по нему восстановить нельзя.

Как выглядит формула mean reciprocal rank?

MRR равна сумме обратных величин позиций первого попадания, делённой на число запросов. Для трёх запросов с позициями 1, 3 и промахом получается (1 + 1/3 + 0) / 3 = 4/9. Промах остаётся в знаменателе и даёт нулевой вклад в сумму.

Чем MRR@k отличается от обычной MRR?

Параметр k ограничивает список, в котором ищется первое попадание. Документация TorchMetrics описывает top_k как число рассматриваемых элементов, по умолчанию берутся все. При k=2 попадание на третьей позиции не засчитывается, и значение падает.

Как посчитать mean reciprocal rank на Python?

Достаточно списков булевых меток и одной функции. Перебирайте элементы до k, возвращайте 1/позиция при первой истине, затем усредняйте по запросам. Учебный код из этой статьи возвращает 4/9 для k=3 и 1/3 для k=2.

MRR и nDCG — в чём разница?

MRR учитывает только первое попадание, nDCG — все релевантные документы с дисконтом по позиции. MRR подходит для поиска одного ответа, nDCG — для оценки полного списка. Обе метрики принимают значения от 0 до 1 и усредняются по запросам.

Читайте также

3 материала