Что такое precision и recall: ошибки классификатора — это две метрики, которые считают по матрице ошибок. Precision показывает долю верных среди всех положительных прогнозов модели, recall — долю найденных среди всех реальных положительных объектов. Для вероятностного бинарного классификатора обе метрики оценивают в выбранной рабочей точке; изменение порога может изменить результат.
Задача читателя и границы метода
Метрики precision и recall нужны, когда одного общего процента правильных ответов мало. Читатель обычно приходит с готовой матрицей ошибок: сколько объектов система пометила положительно, сколько из них оказались положительными на самом деле, сколько положительных объектов она пропустила. По этим четырём числам выбирается показатель, который отражает цену ошибки в конкретной задаче.
Границы метода задаёт сам формат входа. В нашем бинарном разборе каждый объект отнесён к положительному классу или оставлен отрицательным. Для нескольких классов расчёт и агрегацию задают отдельно. Документация Google for Developers в разделе про классификацию прямо указывает, что все метрики этого раздела вычисляются при одном фиксированном пороге и меняются при его изменении. Значит, число без указания порога описывает только одну рабочую точку.
Положительный класс выбирается вручную. В задаче фильтрации спама положительным классом логично считать спам, потому что интерес представляет именно отлов нежелательных писем. В медицинском скрининге положительным классом становится наличие заболевания. От этого выбора зависят TP, FP и FN, а вместе с ними — значения обеих метрик.
Документация scikit-learn для функции precision_recall_fscore_support описывает расчёт precision, recall, F-меры и support по каждому классу. Там же сказано, что support — это число вхождений каждого класса в y_true. Для бинарного случая параметр average=’binary’ возвращает метрики для класса pos_label. Эти три элемента — метрики, support и выбранный положительный класс — образуют минимальный набор, который стоит фиксировать в отчёте.
Практический вывод для читателя: перед расчётом определите положительный класс, зафиксируйте порог и сохраните оба вектора — истинные метки и прогнозы. Без этой тройки метрика превращается в число без контекста, которое нельзя ни сравнить с прошлым запуском, ни объяснить коллеге.
Основные понятия и параметры
Матрица ошибок раскладывает прогнозы на четыре клетки. TP — положительные объекты, помеченные положительно. FP — отрицательные объекты, помеченные положительно. FN — положительные объекты, помеченные отрицательно. TN — отрицательные объекты, помеченные отрицательно. Все метрики выводятся из этих четырёх чисел.
Precision отвечает на вопрос о качестве положительных срабатываний. Документация Google for Developers формулирует это так: precision — доля действительно положительных среди всех положительных классификаций модели. Формула: TP / (TP + FP). Знаменатель — всё, что система пометила положительным.
Recall отвечает на вопрос о полноте охвата. Та же документация называет recall истинно положительной долей (TPR) — долей всех реальных положительных объектов, классифицированных верно. Формула: TP / (TP + FN). Знаменатель — все реальные положительные объекты в наборе.
F1 сводит обе метрики в одно число. Документация Google for Developers описывает F1 как гармоническое среднее precision и recall. Гармоническое среднее чувствительно к слабому месту пары: если одна метрика близка к нулю, F1 падает даже при высокой второй.
| Параметр | Что задаёт | Где проверить |
|---|---|---|
| pos_label | Какой класс считается положительным | scikit-learn, average=’binary’ |
| threshold | Границу перевода вероятности в 0/1 | TorchMetrics, параметр threshold |
| average | Способ агрегации по классам | scikit-learn, micro и macro |
| zero_division | Поведение при нулевом знаменателе | scikit-learn, политика библиотеки |
| support | Число вхождений класса в y_true | scikit-learn, вывод функции |
Порог переводит непрерывную оценку модели в бинарное решение. Документация TorchMetrics определяет threshold как границу преобразования вероятности в бинарные прогнозы {0,1}. Там же отмечено: если preds — тензор с плавающей точкой со значениями вне диапазона [0,1], вход трактуется как логиты и к нему автоматически применяется сигмоида поэлементно. Это важно при переносе кода между фреймворками: одинаковые числа на входе дадут разные прогнозы, если один инструмент ждёт вероятности, а второй — логиты.
Агрегация по классам меняет итог. Документация scikit-learn описывает micro-режим как расчёт метрик глобально, подсчётом суммарных TP, FN и FP. Macro-режим считает метрики по каждому классу и берёт невзвешенное среднее, при этом дисбаланс классов не учитывается. Поэтому при сравнении моделей фиксируйте способ агрегации: micro и macro отвечают на разные вопросы об одном наборе прогнозов.
Полный учебный пример
Возьмём условный спам-фильтр на 20 письмах. Это учебный пример: внешний сервис не запускался, модель не обучалась, скорость и улучшение качества не измерялись. Все входные данные и эталоны даны здесь, реальные параметры библиотеки сверяются с названной документацией.
Истинные метки y_true: [1,1,1,1,1,1,0,0,1,1,1,0,0,0,0,0,0,0,0,0]. Прогнозы y_pred: [1,1,1,1,1,1,1,1,0,0,0,0,0,0,0,0,0,0,0,0]. Единица означает спам, ноль — обычное письмо.
Считаем клетки матрицы. TP = 6: первые шесть писем помечены спамом и являются спамом. FP = 2: письма 7 и 8 помечены спамом, хотя спамом не являются. FN = 3: письма 9, 10 и 11 являются спамом, но помечены обычными. TN = 9: остальные письма верно оставлены обычными.
Precision = 6 / (6 + 2) = 0.75. Recall = 6 / (6 + 3) = 2/3. F1 = 12/17 ≈ 0.7059. Accuracy = 15/20 = 0.75. Совпадение precision и accuracy в этом наборе случайное: precision считает долю верных среди помеченных спамом, accuracy — долю верных среди всех писем.
Порядок проверки результата на этом входе:
- Выпишите y_true и y_pred в одном порядке, чтобы индекс i описывал одно и то же письмо.
- Посчитайте TP, FP, FN, TN по четырём комбинациям метки и прогноза.
- Проверьте сумму: TP + FP + FN + TN = 20.
- Подставьте TP и FP в формулу precision, TP и FN — в формулу recall.
- Сверьте F1 как гармоническое среднее двух полученных значений.
Проверка суммы помогает обнаружить пропуск или повторный учёт объекта. Если сумма не равна размеру набора, один объект попал в две клетки или выпал из всех.
Проверка результата на заданном входе
Отдельный случай — система не пометила спамом ни одного письма. Тогда TP = 0 и FP = 0, precision превращается в 0/0 и остаётся неопределённой. Политику для такого знаменателя объявляет инструмент: документация scikit-learn описывает параметр zero_division, где значение «warn» действует как ноль и дополнительно выдаёт предупреждение, а значение np.nan исключает такие значения из усреднения. Поведение zero_division относится к scikit-learn; переносить его на другие библиотеки по умолчанию нельзя.
Recall в этом случае равен нулю при наличии положительных примеров: ни один реальный спам не найден. Это осмысленное число, и оно честно описывает систему, которая молчит.
Проверка на заданном входе строится как последовательность шагов:
- Зафиксируйте порог, при котором получены прогнозы.
- Посчитайте матрицу ошибок и убедитесь, что сумма клеток равна размеру набора.
- Проверьте знаменатели precision и recall по отдельности.
- При нулевом знаменателе примените объявленную политику и запишите её рядом с числом.
- Для сравнения с предыдущим запуском зафиксируйте набор, положительный класс и правило выбора рабочей точки; значения порогов укажите рядом с метриками.
Документация scikit-learn для confusion_matrix описывает нормализацию матрицы по истинным условиям, по предсказанным условиям или по всей совокупности; при значении None матрица не нормализуется. Нормализованная матрица удобна для чтения, абсолютные счётчики — для расчёта метрик. Держите оба представления: по процентам видно структуру ошибок, по счётчикам воспроизводится арифметика.
Документация TorchMetrics для recall описывает параметр ignore_index: указанное целевое значение игнорируется и не участвует в расчёте метрики. Если в наборе есть служебные метки, их исключение меняет знаменатель recall, и это стоит отметить в отчёте.
Сравнение с ближайшим подходом
Ближайший подход — общая доля правильных ответов. Она отвечает на вопрос «сколько решений верны», тогда как precision и recall разделяют два разных типа ошибки. В наборе с сильным дисбалансом классов общая доля остаётся высокой у модели, которая всегда предсказывает преобладающий класс, а recall по редкому классу при этом равен нулю.
В строках про изменение FP и FN предполагается, что остальные счётчики остаются прежними. При реальном сдвиге порога несколько счётчиков обычно меняются вместе.
| Критерий | Precision | Recall | Общая доля верных |
|---|---|---|---|
| Что считает | Качество положительных срабатываний | Полноту охвата положительных | Долю верных среди всех |
| Знаменатель | TP + FP | TP + FN | Весь набор |
| Реакция на пропуски | Не меняется от FN | Падает с ростом FN | Падает слабо при дисбалансе |
| Реакция на ложные срабатывания | Падает с ростом FP | Не меняется от FP | Падает слабо при дисбалансе |
| Типичная задача | Модерация, антиспам | Скрининг, поиск дефектов | Первичная сводка |
Выбор между precision и recall определяется ценой ошибки. Когда ложное срабатывание дорого — блокировка нормального письма, отклонение честной заявки — приоритет у precision. Когда дорог пропуск — невыявленное заболевание, пропущенный дефект на линии — приоритет у recall.
F1 используют, когда нужна одна сводная цифра для сравнения конфигураций. Документация Google for Developers описывает F1 как гармоническое среднее precision и recall, поэтому метрика наказывает конфигурации с провалом по одной из сторон. Для отчётности перед заказчиком полезно показывать обе исходные метрики рядом с F1: сводное число скрывает, в какую сторону смещён баланс.
Разница между micro и macro проявляется в многоклассовых задачах. Документация scikit-learn указывает, что micro считает метрики глобально по суммарным TP, FN и FP, а macro берёт невзвешенное среднее по классам и не учитывает дисбаланс. Для набора, где редкий класс важен, macro показывает его вклад, а micro сглаживает его частым классом.
Ограничения и следующий шаг
Метрики описывают одну рабочую точку. Документация Google for Developers прямо связывает значения с фиксированным порогом: при его изменении метрики меняются. Здесь даны готовые бинарные прогнозы, поэтому график порога и улучшение качества на них не измерялись; для количественного перебора порогов нужны отдельные исходные оценки модели.
Учебный пример не утверждает, что порог можно улучшать одной метрикой без стоимости ошибки. Сдвиг порога перераспределяет FP и FN: рост recall обычно сопровождается падением precision. Допустимый баланс определяет владелец задачи с учётом стоимости обоих типов ошибки.
Следующий шаг для читателя:
- Соберите матрицу ошибок по своему набору и зафиксируйте положительный класс.
- Выберите метрику по цене ошибки: precision при дорогом ложном срабатывании, recall при дорогом пропуске.
- Запишите порог и политику нулевого знаменателя рядом с числом.
- Сохраните исходные оценки модели, чтобы позже построить перебор порогов.
- Проверьте агрегацию: для многоклассовой задачи сравните micro и macro.
Готовый промпт, чтобы получить разбор матрицы ошибок и расчёт метрик по своим числам:
Ты помогаешь разобрать матрицу ошибок бинарного классификатора.
Входные данные:
- положительный класс: [ваш класс, например спам]
- порог: [значение порога, при котором получены прогнозы]
- TP = [число]
- FP = [число]
- FN = [число]
- TN = [число]
Сделай по шагам:
1. Проверь, что сумма TP + FP + FN + TN равна размеру набора, который я укажу: [размер набора].
2. Посчитай precision как TP / (TP + FP) и recall как TP / (TP + FN), покажи подстановку чисел.
3. Посчитай F1 как гармоническое среднее precision и recall.
4. Отдельно разбери случай, когда TP = 0 и FP = 0: объясни, почему precision неопределена, и предложи явную политику для нулевого знаменателя.
5. Скажи, какая ошибка дороже в моей задаче: [опишите задачу и цену ложного срабатывания и пропуска].
6. Если даны только готовые метки и четыре счётчика, объясни, что их недостаточно для выбора нового числового порога. Опиши возможное направление изменения условно; для точного перебора запроси исходные оценки модели и истинные метки. Не выдумывай новые значения клеток.
Не выдумывай числа, которых нет во входных данных. Все промежуточные значения показывай.
Меняйте под себя положительный класс, порог, четыре счётчика и описание задачи. Вариации той же задачи: разбор многоклассовой матрицы с micro и macro; сравнение двух конфигураций по F1 при одинаковом пороге; проверка набора с ignore_index; расчёт метрик после исключения служебных меток; подготовка короткой сводки для заказчика с обеими исходными метриками.
Частые вопросы
Precision recall — это что простыми словами?
Precision показывает, какая доля помеченных положительными объектов действительно положительна. Recall показывает, какую долю всех реальных положительных объектов система нашла. Обе метрики считаются по матрице ошибок при фиксированном пороге.
Как записать формулы precision и recall?
Precision = TP / (TP + FP), recall = TP / (TP + FN). TP — верно найденные положительные, FP — ложные срабатывания, FN — пропуски. F1 считается как гармоническое среднее этих двух значений.
Чем precision отличается от accuracy?
Accuracy считает долю верных решений среди всех объектов набора. Precision считает долю верных среди положительных прогнозов модели. При сильном дисбалансе классов эти числа расходятся, и совпадение в конкретном наборе остаётся случайным.
Что делать, если precision не определена?
Такое происходит при TP = 0 и FP = 0, когда система не пометила положительным ни одного объекта. Знаменатель обращается в ноль, и значение остаётся неопределённым. Политику для этого случая объявляет инструмент: в scikit-learn это параметр zero_division, в том числе варианты «warn» и np.nan.
Как выбрать между micro и macro?
Micro считает метрики глобально по суммарным TP, FN и FP. Macro берёт невзвешенное среднее по классам и не учитывает дисбаланс. Для набора с важным редким классом macro показывает его вклад, micro сглаживает его частым классом.
