Что такое focal loss: вес сложных примеров остаётся заметным благодаря уменьшению вклада лёгких в кросс-энтропию. Эта модификация функции потерь использует множитель (1 − pt)^γ. Чем выше вероятность истинного класса, тем сильнее понижается вклад примера в потери.
Почему лёгкие примеры получают меньший вес
В работе Lin и соавторов на arXiv описана ситуация в плотных детекторах: дисбаланс классов перегружает кросс-энтропию, лёгкие отрицательные примеры составляют большинство потерь и доминируют в градиенте. Параметр α балансирует важность положительных и отрицательных примеров, при этом не различает лёгкие и сложные. Авторы предлагают изменить форму потерь так, чтобы понижать вес лёгких примеров и направить обучение на сложные отрицательные.
Множитель (1 − pt)^γ и есть механизм понижения. Когда модель уверена и pt близка к единице, множитель стремится к нулю, и пример почти не влияет на обновление весов. Когда pt мала, множитель близок к единице, и пример сохраняет полный штраф. В глоссарии Ultralytics это описано так: взвешенная кросс-энтропия даёт примеру редкого класса фиксированный бонус по частоте класса, а фокальная функция взвешивает каждый пример по его текущей сложности, поэтому веса меняются по мере обучения.
Отбор сложных отрицательных примеров в том же глоссарии сравнивается с фокальной функцией: первый подход оставляет только отрицательные примеры с наибольшими потерями и отбрасывает остальные, второй использует все примеры и плавно уменьшает вес простых. Практический вывод: лёгкие примеры остаются в датасете и получают меньший вклад в сумму потерь.
p класса 1 и pt истинного класса
В нотации статьи p — это оценка моделью вероятности класса с меткой y = 1, а y принимает значения из множества {±1}. Для удобства записи авторы вводят pt: pt = p при y = 1 и pt = 1 − p в остальных случаях. После этого кросс-энтропия переписывается как CE(pt) = −log(pt).
Далее используем бинарную разметку y из {0, 1}, как в torchvision. p относится к классу 1, а pt — к тому классу, который записан в метке. При y = 1 они совпадают, при y = 0 связаны через дополнение до единицы. Ошибка подстановки p вместо pt в формуле focal loss приводит к неверному штрафу, и об этом стоит помнить при ручной проверке кода.
В исходнике torchvision функция sigmoid_focal_loss вычисляет pt именно по метке: p_t = p * targets + (1 — p) * (1 — targets). Здесь targets хранит бинарную метку 0 или 1 для каждого элемента. Такая запись равносильна правилу «p при y = 1, 1 − p при y = 0» и удобна для векторизации.
Полная таблица четырёх binary случаев
Ниже — учебный пример с четырьмя парами метки и вероятности. Значения заданы как условный вход для проверки арифметики, это не рекомендуемые гиперпараметры. γ = 2, натуральный логарифм. В первом столбце alpha выключен, во втором отдельном режиме alpha = 0.25.
| y | p(class1) | pt | CE | FL, alpha выключен | alpha_t | FL с alpha |
|---|---|---|---|---|---|---|
| 1 | 0.9 | 0.90000000 | 0.1053605157 | 0.0010536052 | 0.25 | 0.0002634013 |
| 1 | 0.2 | 0.20000000 | 1.6094379124 | 1.0300402640 | 0.25 | 0.2575100660 |
| 0 | 0.1 | 0.90000000 | 0.1053605157 | 0.0010536052 | 0.75 | 0.0007902039 |
| 0 | 0.8 | 0.20000000 | 1.6094379124 | 1.0300402640 | 0.75 | 0.7725301980 |
Из таблицы видны две закономерности. Первая: пары (y = 1, p = 0.9) и (y = 0, p = 0.1) имеют одинаковый pt, поэтому их невзвешенные FL равны. Вторая: после включения alpha = 0.25 отрицательный класс получает вес 0.75, положительный — 0.25, и равенство исчезает. Это прямое следствие определения alpha_t.
Gamma 0 с балансировкой и без
Параметр γ управляет силой фокусировки. В документации TensorFlow для BinaryFocalCrossentropy сказано: при gamma = 0 функция эквивалентна бинарной кросс-энтропии. Это даёт удобный контрольный случай.
Проверка на тех же четырёх строках: без alpha каждый FL при γ = 0 равен CE для соответствующего pt. С alpha каждый FL при γ = 0 равен alpha_t, умноженному на CE. При alpha = 0.5 оба класса получают коэффициент 0.5: потеря каждого примера равна половине CE. При alpha = 0.25 веса классов различаются. Для точного совпадения с обычной невзвешенной CE в этом контроле отключите балансировку классов.
Практический смысл: γ = 0 отключает фокусировку, но сохраняет балансировку классов, если она включена. Эти два механизма независимы, и их стоит проверять по отдельности.
Alpha_t для положительного и отрицательного классов
В документации TensorFlow параметр alpha описан как вес класса 1 со значением по умолчанию 0.25, а вес класса 0 вычисляется как 1.0 − alpha. В документации torchvision alpha задан как коэффициент в диапазоне [0, 1] для балансировки положительных и отрицательных примеров, значение −1 отключает балансировку, по умолчанию 0.25.
В исходнике torchvision alpha_t вычисляется как alpha * targets + (1 — alpha) * (1 — targets). При targets = 1 получается alpha, при targets = 0 получается 1 − alpha. В нашем учебном примере при alpha = 0.25 положительный класс получает вес 0.25, отрицательный — 0.75.
Это объясняет, почему после включения балансировки равные невзвешенные потери перестают быть равными. Если в датасете мало положительных примеров, меньшее значение alpha снижает их вклад, а больший вес отрицательных сохраняется. Подбор alpha зависит от задачи, и учебные значения здесь приведены только для арифметической проверки.
Отрицательная проба неправильного pt
Отдельный контрольный случай — трудный отрицательный пример: y = 0, p(class1) = 0.8. Истинный класс здесь 0, поэтому pt = 1 − 0.8 = 0.2. Корректный FL при γ = 2 составляет примерно 1.0300402640 — тяжёлая ошибка получает большой штраф.
Если по ошибке подставить pt = p = 0.8, получится FL примерно 0.0089257421. Тяжёлая ошибка получает маленький штраф, и обучение теряет сигнал на самом важном примере. Причина расхождения — в подмене вероятности истинного класса вероятностью класса 1.
При проверке своей реализации сопоставьте обе величины и проследите переход от p к pt. Такой контроль ловит ошибку в реализации раньше, чем она проявится в кривой обучения.
Проверяемый Python oracle
Ниже — полный учебный код на стандартном Python, воспроизводящий все четыре строки таблицы. Код вычисляет арифметический эталон; обучение модели здесь не выполняется.
from math import log
def focal(y, p, gamma=2, alpha=None):
if y not in (0, 1) or not 0 < p < 1:
raise ValueError("binary label and interior probability required")
pt = p if y == 1 else 1 - p
weight = 1 if alpha is None else (alpha if y == 1 else 1 - alpha)
return -weight * (1 - pt) ** gamma * log(pt)
for y, p in [(1, .9), (1, .2), (0, .1), (0, .8)]:
print(y, p, focal(y, p), focal(y, p, alpha=.25), focal(y, p, gamma=0))
assert abs(focal(1, .9) - focal(0, .1)) < 1e-12
assert abs(focal(1, .2) - focal(0, .8)) < 1e-12
assert focal(0, .8) > 1
assert focal(0, .8, alpha=.25) > focal(1, .2, alpha=.25)
Первые два assert проверяют равенство невзвешенных потерь для пар с одинаковым pt. Третий подтверждает, что трудный отрицательный пример получает штраф больше единицы. Четвёртый показывает, что после балансировки отрицательный класс весит больше положительного. Запуск кода даёт те же числа, что в таблице.
Ограничения и честная оценка
Focal loss меняет форму вклада примеров в потери, при этом не исправляет ошибочные метки. Трудная метка с ошибкой остаётся трудной и получает большой штраф, что может усиливать влияние шума. Это ограничение сохраняется при любых значениях γ и alpha.
API torchvision принимает логиты: в исходнике применяется torch.sigmoid к inputs, затем вычисляется pt. Вероятности из нашей таблицы нельзя напрямую передавать этому API как inputs. В документации TensorFlow для BinaryFocalCrossentropy есть отдельный флаг from_logits и отдельный параметр apply_class_balancing. В TensorFlow применение alpha включается параметром apply_class_balancing. Укажите этот режим и from_logits явно перед сравнением значений из разных библиотек.
Оценка изменения качества требует одинаковых разбиений данных и одной метрики. В рамках этого разбора такое сравнение не выполнялось: приведённые числа описывают только арифметику функции потерь.
Частые вопросы
Что такое focal loss простыми словами?
Это кросс-энтропия с дополнительным множителем, который уменьшает вклад примеров, уже распознанных моделью уверенно. Сложные примеры сохраняют большой штраф и сильнее влияют на обновление весов. Формула: FL(pt) = −(1 − pt)^γ log(pt).
Чем p отличается от pt в формуле focal loss?
p — это оценка вероятности класса 1. pt — вероятность того класса, который записан в истинной метке: pt = p при y = 1 и pt = 1 − p при y = 0. Подстановка p вместо pt искажает штраф для отрицательных примеров.
Как работает focal loss в PyTorch?
В torchvision есть функция sigmoid_focal_loss с параметрами alpha, gamma и reduction. На вход подаются логиты, внутри применяется сигмоида. Значение alpha = −1 отключает балансировку классов, по умолчанию alpha = 0.25 и gamma = 2.
Что даёт gamma = 0?
При gamma = 0 множитель фокусировки становится равным единице, и функция совпадает с кросс-энтропией. Если при этом включена балансировка классов, получается alpha_t, умноженный на CE. Это удобный контрольный случай для проверки реализации.
Для чего нужен параметр alpha в focal loss?
Alpha задаёт вес положительного класса, вес отрицательного вычисляется как 1 − alpha. В документации TensorFlow значение по умолчанию 0.25. Балансировка классов и фокусировка на сложных примерах — два независимых механизма, которые настраиваются отдельно.
