Содержание
  1. Метки релевантности
  2. DCG и скидка по позиции
  3. Идеальный порядок
  4. Два порядка и полный расчёт
  5. Выбор k и пустой эталон
  6. Почему значения разных библиотек различаются
  7. Ограничения офлайн-метрики
  8. Как перенести пример в собственную проверку
  9. Частые вопросы
Справочник

Что такое nDCG: оценка порядка результатов поиска

16 ноября 2026 · 14 минут чтения

Что такое nDCG: оценка порядка результатов поиска становится понятнее через её расчёт. Это метрика, в которой документы получают пользу (gain) по метке релевантности, теряют её со скидкой по позиции (discount), а сумма делится на лучший возможный результат для этого запроса. При неотрицательных метках и положительном IDCG итог лежит между 0 и 1.

Метки релевантности

Работа начинается с разметки. В документации XGBoost по learning-to-rank сказано: для обучения ранжированию документы кодируются матрицей признаков, а метки задают степень релевантности каждого образца. Степень бывает многоуровневой (graded) или бинарной — «релевантно или нет». Там же отмечено, что NDCG применима и к бинарной, и к многоуровневой релевантности.

Разметка приходит из трёх источников.

Экспертные метки. Асессор смотрит пару «запрос — документ» и ставит оценку по шкале. Шкала задаётся заранее: например, 0 — нерелевантно, 1 — частично, 2 — релевантно, 3 — идеально. Число уровней выбирает команда, и оно влияет на разброс значений.

Кликовые данные. В документации XGBoost отмечено: клики пользователей смещены, потому что люди чаще выбирают результаты в верхних позициях. Клики шумные — бывает случайный клик по нерелевантному документу. Прямая подстановка кликов в метки переносит это смещение в оценку.

Синтетические метки. Их порождает модель или правило. Такой набор удобен для отладки конвейера, а для вывода о качестве поиска нужен внешний эталон.

Метка описывает документ в контексте конкретного запроса. Один и тот же текст получает разные оценки под разные запросы. Поэтому набор данных для nDCG — это список групп: запрос, внутри него документы, у каждого своя метка.

Градуированные метки дают метрике чувствительность к порядку. Бинарные метки тоже работают, но разница между «хорошо» и «идеально» в них исчезает, и метрика видит только факт попадания.

Практический шаг: зафиксируйте шкалу и запишите её в документацию набора. Если шкала меняется между прогонами, значения nDCG между прогонами сравнивать нельзя.

DCG и скидка по позиции

DCG — суммарная польза от документов в том порядке, в котором их выдала система. В документации scikit-learn для dcg_score сказано: суммируются истинные оценки, упорядоченные так, как предсказала система, после применения логарифмической скидки.

Логика метрики разложена в учебнике Яндекса по задаче ранжирования. Релевантный документ в топе приносит пользу (gain) в зависимости от своей релевантности. До низкого документа в выдаче могут не долистать, поэтому он приносит меньше пользы — её уменьшают. Уменьшение пользы в зависимости от позиции называют дисконтом (discount).

Формула в общем виде:

КОД
DCG = сумма по позициям i от 1 до k: gain(rel_i) / discount(i)

Две части формулы задаются конвенцией.

Gain. В документации CatBoost по метрикам ранжирования есть параметр, который задаёт принцип расчёта метрик DCG: значение по умолчанию — Base, возможные значения — Base и Exp. Base даёт линейный gain по метке, Exp — экспоненциальный. В учебнике Яндекса отмечено, что для этих функций возможны разные вариации, и разобраны классический и упрощённый варианты.

Discount. Там же в CatBoost есть параметр типа знаменателя метрики: по умолчанию LogPosition, возможные значения — LogPosition и Position. Логарифмический знаменатель сглаживает потери: переход с первой позиции на вторую стоит дороже, чем с десятой на одиннадцатую. Позиционный знаменатель даёт обратный вес позиции: польза делится на её номер.

Экспоненциальный gain резко поднимает цену верхних меток. Документ с меткой 3 при gain = 2**rel - 1 даёт 7, документ с меткой 2 даёт 3. Линейный gain дал бы 3 и 2. Одна и та же выдача под двумя конвенциями получает разные числа.

Скидка по позиции отражает наблюдаемое поведение: внимание к нижним строкам выдачи падает. Метрика переносит это в число, и потому перестановка двух документов меняет DCG.

Практический шаг: выберите gain и discount до первого расчёта и запишите выбор рядом с результатом. Число без указания конвенции не интерпретируется.

Идеальный порядок

DCG растёт с числом документов и с числом уровней шкалы, поэтому абсолютное значение плохо сравнимо между запросами. Нормировка решает эту задачу.

В учебнике Яндекса сказано: метрику нормируют на значение при идеальном ранжировании, когда документы отсортированы по истинным значениям релевантности. В документации scikit-learn для ndcg_score та же мысль: сумму делят на лучший возможный результат (Ideal DCG, полученный при идеальном ранжировании), чтобы получить оценку между 0 и 1.

Идеальный порядок строится из тех же меток, что есть в наборе. Документы сортируются по убыванию релевантности, и для этой последовательности считается DCG. Полученное число — IDCG, знаменатель дроби.

КОД
nDCG = DCG / IDCG

Свойства нормированной метрики:

  • Значение 1 означает максимальную пользу в оцениваемом префиксе при выбранных правилах. Порядок документов с одинаковой меткой может различаться.
  • Значение меньше 1 означает потерю взвешенной пользы относительно идеального префикса. Перестановки за границей k могут оставлять число прежним.
  • Состав группы, шкала и конвенция gain влияют на результат. Их фиксируют для сравнения систем.
  • Нормировка ограничивает диапазон при неотрицательных метках, но сама по себе не делает разные наборы разметки равноценными.

Нормировка делает метрику сравнимой между запросами с разным числом документов. Среднее по запросам (macro average) даёт одну цифру на весь набор.

Практический шаг: считайте IDCG из того же набора меток, что и DCG. Если знаменатель взят из другого набора, дробь теряет смысл.

Два порядка и полный расчёт

Разберём учебный пример. Три документа A, B, C размечены человеческими метками релевантности 3, 2, 0 к одному запросу. Выбрана конвенция gain(rel) = 2**rel - 1 и discount(i) = log2(i + 1), позиции 1, 2, 3, k = 3. Вход задан для учебного разбора; качество реального поискового продукта здесь не измерялось.

Идеальный порядок A, B, C даёт IDCG:

КОД
IDCG = 7/1 + 3/log2(3) + 0/2

Порядок B, A, C даёт DCG:

КОД
DCG = 3/1 + 7/log2(3) + 0/2

Отношение DCG к IDCG — это nDCG. Порядок A, B, C даёт 1, порядок B, A, C даёт меньше 1. Числа пересчитываются стандартной библиотекой Python:

PYTHON9 строк
from math import log2

labels = {'A': 3, 'B': 2, 'C': 0}

def dcg(order):
    return sum((2**labels[d] - 1) / log2(i + 2) for i, d in enumerate(order))

ideal = dcg(['A', 'B', 'C'])
print(dcg(['B', 'A', 'C']) / ideal)

Разбор по шагам.

  1. Задать метки для каждого документа группы.
  2. Выбрать конвенцию gain и discount, записать её.
  3. Отсортировать документы по убыванию метки — получить идеальный порядок.
  4. Посчитать DCG для идеального порядка — получить IDCG.
  5. Посчитать DCG для порядка, который выдала система.
  6. Разделить DCG на IDCG.
  7. Повторить для каждой группы запросов и усреднить.

Проверка результата. Знаменатель IDCG положителен, потому что в группе есть документы с меткой выше нуля. Числитель не превышает знаменателя, потому что идеальный порядок максимизирует сумму. Если после расчёта получилось число больше 1, проверьте конвенцию gain: она должна совпадать в числителе и знаменателе. Если получилось отрицательное число, проверьте метки: в документации scikit-learn отмечено, что отрицательные значения в y_true могут дать результат вне диапазона от 0 до 1.

Частая ошибка — считать IDCG по другому набору документов. Вторая частая ошибка — менять конвенцию между прогонами и сравнивать числа напрямую.

Выбор k и пустой эталон

Параметр k ограничивает глубину оценки. В документации scikit-learn для ndcg_score сказано: учитываются только k наибольших оценок в ранжировании, а при значении None используются все выходы. Метрика с ограничением записывается как nDCG@k.

Выбор k задаёт вопрос, на который отвечает метрика.

k Что оценивает Когда уместно
3 Учебный список целиком Проверить все документы нашего примера
10 Верхние десять результатов Если продуктовая задача оценивает такой префикс
None Весь список Когда нужна оценка полного набора документов группы

Правило согласованности: k одинаков для сравниваемых систем. Если одна система оценена при k = 10, а другая при k = 20, числа несравнимы.

Отдельный случай — группа, где все метки равны нулю. Тогда IDCG равен нулю, и дробь не определена. Политику обработки задают заранее: в разбираемом учебном примере такую группу помечают как undefined и исключают из среднего с явным счётом исключений. При использовании готовой библиотеки отдельно выясняют её поведение на таком входе и описывают его в отчёте; политику учебного примера нельзя автоматически приписывать всем реализациям.

Ещё один случай — равные предсказанные оценки системы у нескольких документов, то есть ties. Это не то же самое, что одинаковые истинные метки релевантности. В документации scikit-learn для dcg_score отмечено, что по умолчанию ties усредняются. Правило нужно зафиксировать: при усреднении система получает средний результат по всем допустимым перестановкам равных документов.

Практический шаг: запишите k, политику для нулевого IDCG и правило обработки ties в один документ. Эти три решения определяют число не меньше, чем сама формула.

Почему значения разных библиотек различаются

Одна и та же выдача даёт разные числа в разных инструментах. Причины лежат в конвенциях.

Gain. В документации CatBoost параметр расчёта метрик DCG принимает значения Base и Exp. В документации scikit-learn метрики ndcg_score и dcg_score работают с линейным gain меток по API. Число из scikit-learn сравнимо с числом из CatBoost только после приведения gain к одной конвенции.

Discount. В CatBoost тип знаменателя принимает значения LogPosition и Position. Логарифмический и позиционный знаменатели дают разные числа на одной выдаче.

Индексация позиций. При позиции i, начинающейся с единицы, знаменатель равен log2(i + 1). В коде enumerate начинается с нуля, поэтому используется log2(i + 2). Эти записи описывают одинаковые веса. Менять сдвиг при одинаковом начале отсчёта было бы другой формулой, которую нужно обосновать отдельно.

Обработка ties. Усреднение по перестановкам даёт одно число, фиксированный порядок равных документов даёт другое.

Границы k. nDCG@10 и nDCG@20 оценивают разные префиксы и могут давать разные значения.

Сводка различий:

Решение Вариант 1 Вариант 2 Эффект на число
Gain Base (линейный) Exp (экспоненциальный) Exp сильнее поднимает верхние метки
Discount LogPosition Position LogPosition мягче штрафует низ
Начало отсчёта позиции i от единицы i от нуля Нужен согласованный сдвиг, чтобы веса совпали
Ties Усреднение Фиксированный порядок Меняет вклад равных документов
k 10 20 Разный охват выдачи

Практический шаг: перед сравнением двух систем приведите обе оценки к одной конвенции. Запишите gain, discount, сдвиг, правило ties и k в отчёт. Число без этой записи воспроизвести нельзя.

Ограничения офлайн-метрики

nDCG считает совпадение с разметкой. Разметка — модель читательского суждения, и её ограничения переходят в метрику.

Смещение кликов. В документации XGBoost отмечено: клики пользователей смещены в сторону верхних позиций и содержат шум в виде случайных кликов. Метки, собранные из кликов, наследуют это смещение.

Зависимость от шкалы. Число nDCG меняется при смене числа уровней релевантности. Сравнение между наборами с разными шкалами требует приведения.

Отсутствие учёта разнообразия. Два релевантных документа на одну тему и два на разные темы получают одинаковый вклад. Метрика видит метки, а состав выдачи по темам остаётся за её пределами.

Чувствительность к составу группы. Добавление документа с высокой меткой меняет IDCG и пересчитывает всю дробь. Сравнение прогонов требует одинакового состава групп.

Разрыв с продуктом. nDCG измеряет порядок относительно разметки. Влияние порядка на поведение читателя метрика не показывает.

Что делать с этими ограничениями:

  1. Держите разметку отдельно от кликовых данных и указывайте источник меток.
  2. Фиксируйте шкалу, конвенцию gain и discount, k и правило ties в одном документе оценки.
  3. Считайте среднее по запросам с явным счётом исключённых групп.
  4. Дополняйте офлайн-оценку наблюдением за поведением читателей в интерфейсе.
  5. Пересчитывайте метрику на одном и том же наборе групп при каждом изменении системы.

Как перенести пример в собственную проверку

Сначала подготовьте таблицу соответствия. В каждой строке оставьте идентификатор запроса, идентификатор документа, человеческую метку и предсказанную оценку системы. Важно сохранить принадлежность строк запросам: объединение документов разных запросов в один общий рейтинг меняет смысл задачи. Для нашего примера это один запрос и документы A, B, C. Исходный порядок хранения строк может оставаться A, B, C, даже когда система ранжирует B выше A: порядок определяет отдельный столбец оценки.

Проверьте, что каждому документу сопоставлена именно его метка. Если перемешать строки с оценками системы, но оставить человеческие метки на прежних местах, программа выполнится и вернёт правдоподобное число. Оно будет описывать случайное соответствие. Практическая защита — соединять таблицы по паре идентификаторов запроса и документа, затем проверять отсутствие пропусков и повторов. Порядковый номер строки для такого соединения ненадёжен.

Ручная функция выше принимает уже упорядоченный список идентификаторов. API scikit-learn устроен иначе: y_true содержит истинные величины для документов, а y_score задаёт предсказанные оценки тех же документов в том же порядке столбцов. Передавать вместо оценок системы её готовые номера позиций без проверки направления нельзя: высокий score должен означать более высокое место. В коде для нашего списка A, B, C значения y_score = [[2, 3, 1]] задают порядок B, A, C. Это условные оценки для задания порядка; они не являются человеческими метками релевантности.

Чтобы воспроизвести выбранный здесь экспоненциальный gain в линейном API, преобразуйте человеческие метки заранее: для A, B, C получится y_true = [[7, 3, 0]]. Затем вызовите ndcg_score(y_true, y_score, k=3). Это второй способ описать тот же учебный расчёт. Сырые метки [[3, 2, 0]] без преобразования будут означать линейный gain и дадут другое число. Не применяйте преобразование повторно в инструменте, который уже сам использует экспоненциальный вариант.

Отдельно подготовьте проверку равных предсказаний. Представьте, что система выдала A и B одинаковый score. Тогда одного определённого порядка этих документов система не сообщила. Если оценщик просто сохранит порядок строк файла, итог будет зависеть от технической сортировки. По умолчанию scikit-learn усредняет вклад перестановок внутри связки. Параметр ignore_ties=True заявляет отсутствие таких связок ради ускорения; документация предупреждает о неверном результате, если это условие нарушено. Поэтому сначала проверяют сами scores и только затем выбирают режим.

После расчёта сохраняйте вместе результат, входную таблицу и настройки. Для сравнения изменений поиска нужны те же запросы и документы, неизменённая разметка и одинаковые правила обработки исключений. Если команда добавила новые запросы, имеет смысл отдельно пересчитать старую контрольную часть: иначе изменение среднего может объясняться новым составом набора. Аналогично исключённые группы с нулевым IDCG нужно посчитать и явно показать рядом со средним, чтобы исчезновение трудных или пустых запросов не выглядело улучшением алгоритма.

Ручной пример полезен как проверка соглашений: идеальный порядок должен давать 1, перестановка A и B должна снижать оценку, а замена только порядка хранения строк при сохранении пар метка–score должна оставлять её прежней. Если эти проверки расходятся с ожиданием, сначала ищите ошибку в подготовке данных и формуле. Настройка самого поиска начинается после того, как оценщик воспроизводит известный результат.

Частые вопросы

Что такое nDCG простыми словами?
При неотрицательных метках и положительном IDCG это число от 0 до 1, показывающее близость выдачи к идеальной. Польза документов уменьшается со скидкой по позиции, а сумма делится на лучший результат для того же набора и глубины k. Значение 1 означает максимальную пользу в оцениваемом префиксе; порядок равных меток и документов за границей k может различаться.

Какая формула у nDCG?
DCG считается как сумма gain по метке, делённого на discount по позиции. IDCG — та же сумма для порядка, отсортированного по убыванию меток. nDCG равна DCG, делённой на IDCG. Конвенции gain и discount задаются заранее.

Чем nDCG@10 отличается от nDCG@k?
nDCG@k — общая запись метрики с ограничением глубины. nDCG@10 — частный случай, где учитываются только десять верхних позиций. В документации scikit-learn сказано, что при значении None используются все выходы.

Почему nDCG из разных библиотек не совпадает?
Библиотеки расходятся в конвенциях. В документации CatBoost параметр расчёта метрик DCG принимает значения Base и Exp, а тип знаменателя — LogPosition и Position. Метрики scikit-learn работают с линейным gain меток по API. Для сравнения также согласуют discount, k, состав документов и правило ties.

Что делать, если у всех документов запроса метка 0?
IDCG в такой группе равен нулю, и дробь не определена. В нашем учебном протоколе группу помечают как undefined и исключают из среднего с явным счётом исключений. Для готовой библиотеки проверяют её собственную обработку такого входа и фиксируют её в документе оценки.

Читайте также

3 материала