Содержание
  1. Зачем вниманию расстояние
  2. Штраф до softmax
  3. Разные наклоны голов
  4. Полный пример для трёх токенов
  5. Каузальная маска
  6. Отличие от RoPE
  7. Ограничения длинного контекста
  8. Частые вопросы
Справочник

Что такое ALiBi: линейное смещение во внимании

16 ноября 2026 · 10 минут чтения

Вопрос «Что такое ALiBi: линейное смещение во внимании» относится к способу сообщить механизму attention порядок токенов через штраф за расстояние. В первичной работе (arxiv.org) сказано: «ALiBi does not add positional embeddings to word embeddings; instead, it biases query-key attention scores with a penalty that is proportional to their distance». Позиционные векторы к эмбеддингам не добавляются, а к логитам внимания прибавляется отрицательная величина, растущая с дистанцией.

Зачем вниманию расстояние

Self-attention без позиционной информации и маски не кодирует порядок: при одинаковой перестановке входных токенов соответствующим образом переставляется и выход. Матрица скалярных произведений при этом тоже переставляется; она не остаётся буквально неизменной. Порядок приходится вносить извне — позиционными эмбеддингами, вращением или смещением.

Документация Composer (docs.mosaicml.com) описывает выбор так: «ALiBi dispenses with traditional position embeddings and instead adds a static, non-learned bias to the query-key attention scores». Смещение статическое и не обучается, поэтому в графе вычислений не появляется новых параметров.

Зачем это нужно на практике, объясняет та же документация: число операций для self-attention и объём GPU-памяти под представления растут как квадрат длины последовательности. Метод, который позволяет обучаться на коротких входах и работать на длинных, экономит и вычисления, и память.

Первичная работа приводит конкретный замер: модель на 1.3 млрд параметров обучалась на последовательностях длиной 1024 и экстраполировала на 2048, показав ту же perplexity, что модель с синусоидальными позиционными эмбеддингами, обученная сразу на 2048, при обучении на 11% быстрее и с 11% меньшим расходом памяти.

Отдельно работа связывает улучшение perplexity на длинных входах с лучшим обходом early token curse — эффекта, при котором начало длинного контекста обрабатывается хуже. Объяснение относится к заявленному результату; качество на других задачах требует отдельной проверки.

Практический вывод для читателя: расстояние во внимании нужно, чтобы модель различала «кот укусил пса» и «пёс укусил кота». ALiBi решает эту задачу дешёвым способом — арифметикой над логитами, без отдельного слоя эмбеддингов и без новых обучаемых весов.

Штраф до softmax

Ключевая деталь — место прибавления. Обзор на nn.labml.ai формулирует прямо: «This replaces positional encodings with biases added to attention scores (attention logits, before the softmax)». Смещение идёт в логиты, до нормировки.

Формула в README проекта Flash Attention (github.com/Dao-AILab) записана так: «A bias of (-alibi_slope * |i — j|) is added to the attention score of query i and key j». Здесь i — позиция запроса, j — позиция ключа, alibi_slope — наклон для конкретной головы.

Почему «до softmax» принципиально, объясняет nn.labml.ai: «The biases decrease linearly in the log scale (because it’s before the softmax) and each head has a different slope». Линейное убывание происходит в логарифмической шкале, то есть в пространстве логитов. После softmax линейность исчезает, и штраф превращается в плавное перераспределение вероятностей.

Разберём порядок действий по шагам:

  1. Вычислить скалярные произведения запроса со всеми доступными ключами.
  2. Разделить их на корень из размерности головы — получить scaled logits.
  3. Для каждой пары (i, j) вычислить штраф −m·(i−j), где m — наклон головы.
  4. Прибавить штраф к логитам.
  5. Применить каузальную маску: логиты будущих позиций заменить на −∞, чтобы их веса после softmax стали нулевыми.
  6. Взять softmax по строке — получить веса внимания.

Шаг 3 выполняется до шага 6. Если поменять порядок и вычесть штраф после softmax, получится другая операция с другим смыслом: нормировка перестанет учитывать расстояние, а сумма весов может перестать равняться единице.

Проверка корректности проста: после softmax веса по строке суммируются в единицу, а при равных исходных логитах ближайший ключ получает больший вес, чем дальний. Это арифметическое свойство, и его видно на бумаге без запуска модели.

Разные наклоны голов

Многоголовое внимание даёт естественное место для разнообразия. README проекта ofirpress (github.com/ofirpress) сообщает: «The ‘m’ hyperparam is head-specific and is not learned- it is set at the beginning of training». Наклон привязан к голове, задаётся до обучения и в процессе не меняется.

Там же указано, что значения генерируются автоматически: «We have a function that automatically generates these m values given the number of heads in the model». Читателю не нужно подбирать наклоны вручную — их выдаёт функция по числу голов.

Зачем разные наклоны: одна голова с большим m резко предпочитает близкие токены, другая с малым m смотрит дальше. Так модель получает несколько масштабов локальности одновременно, и на уровне слоя смешивает их выходы.

Сравним поведение двух голов на одном входе:

Голова Наклон m Штраф для j=0,1,2 при i=2 Итоговые логиты Веса softmax
Первая 0.5 −1, −0.5, 0 1, 1.5, 2 ≈0.1863, 0.3072, 0.5065
Вторая 1 −2, −1, 0 0, 1, 2 ≈0.0900, 0.2447, 0.6652

Значения m = 0.5 и m = 1 заданы для учебного разбора; официальную схему наклонов конкретной архитектуры они не воспроизводят. Смысл таблицы в направлении эффекта: рост наклона усиливает концентрацию веса на ближней позиции.

В исходном ALiBi наклон не является обучаемым параметром. Самовольная смена m после обучения меняет распределение внимания и выходит за описанную конфигурацию; её последствия нужно проверять отдельно. Это не означает, что для подачи более длинной последовательности нужно менять m.

Полный пример для трёх токенов

Возьмём учебный пример: запрос на позиции i = 2, доступные ключи j = 0, 1, 2. Исходные scaled logits равны [2, 2, 2] — до ALiBi вероятности трёх позиций одинаковы, по 1/3.

Для первой головы с m = 0.5 штраф равен −m·(i−j) = [−1, −0.5, 0]. Итоговые логиты: [1, 1.5, 2]. Softmax даёт примерно [0.1863, 0.3072, 0.5065].

Для второй головы с m = 1 штраф равен [−2, −1, 0], логиты [0, 1, 2], softmax примерно [0.0900, 0.2447, 0.6652].

Сравнение с исходным состоянием:

Состояние Логиты Веса
Без ALiBi 2, 2, 2 1/3, 1/3, 1/3
Голова m=0.5 1, 1.5, 2 0.1863, 0.3072, 0.5065
Голова m=1 0, 1, 2 0.0900, 0.2447, 0.6652

Проверка: в каждой строке веса суммируются в единицу, ближайший ключ j=2 получает наибольший вес, дальний j=0 — наименьший. Результат рассчитан по заданным числам; forward pass реальной модели не выполнялся.

Что пример показывает и чего не показывает. Он показывает, как отрицательное смещение при положительном m перераспределяет внимание в пользу близких токенов при равных исходных логитах. Он не доказывает, что модель с ALiBi даст лучший ответ или что контекст станет безлимитным. Из арифметики логитов качество генерации не выводится.

Практическая ценность примера — в проверке собственной реализации. Если после подстановки m = 0.5 и логитов [2, 2, 2] веса не совпадают с [0.1863, 0.3072, 0.5065], где-то перепутан знак штрафа или порядок операций относительно softmax.

Каузальная маска

Авторегрессионная модель не должна видеть будущие токены. README Flash Attention описывает параметр так: «causal: bool. Whether to apply causal attention mask (e.g., for auto-regressive modeling)». Флаг включает маску, обнуляющую вклад будущих позиций.

Взаимодействие маски и штрафа важно для понимания границ метода. В нашем примере ключ j = 3 недоступен запросу i = 2 из-за каузальной маски. Его нельзя вернуть в контекст уменьшением штрафа: маска исключает позицию до нормировки.

Порядок операций в реализации:

  1. Сформировать логиты запроса со всеми ключами.
  2. Прибавить штраф ALiBi.
  3. Наложить каузальную маску: позиции j > i получить −∞.
  4. Взять softmax.

После шага 3 будущие позиции дают нулевой вес независимо от величины штрафа. Штраф и маска решают разные задачи: маска запрещает доступ, штраф задаёт предпочтение среди разрешённых.

Для конечного смещения прибавление его к замаскированному значению −∞ оставляет −∞, поэтому маску и bias можно совмещать. Важно сохранить запрет будущих позиций: ноль в логите такого запрета не создаёт, а произвольное конечное отрицательное число само по себе не гарантирует точный нулевой вес. Поведение специализированного ядра проверяют по его API.

Документация Composer предупреждает о тихой деградации: «if you use ALiBi with an unsupported model type a logger warning will be generated but no error will be raised». При неподдерживаемом типе модели появится предупреждение в логе, а исключение не возникнет. Результат обучения при этом может оказаться не тем, который ожидался.

Отличие от RoPE

RoPE и ALiBi решают одну задачу — внести информацию о позиции — разными средствами. RoPE вращает векторы запроса и ключа на угол, зависящий от позиции, и кодирует расстояние через относительный поворот. ALiBi прибавляет скалярный штраф к логитам и не трогает сами векторы.

Сравнение по явным критериям:

Критерий ALiBi RoPE
Где применяется Логиты внимания Векторы Q и K
Обучаемые параметры Нет Нет
Наклоны по головам Есть, фиксированы Не применимо
Позиционные эмбеддинги Не добавляются Не добавляются
Место в графе До softmax До скалярного произведения

README ofirpress подчёркивает архитектурное решение: «Instead of adding position embeddings at the bottom of the transformer stack (which we don’t) we add a linear bias to each attention score». Позиционные эмбеддинги в начале стека не добавляются, смещение идёт на уровне каждого attention-счёта.

При чтении реализации важно различать изменение Q/K и прибавление bias к готовым логитам. Выбор позиционного метода согласуют с архитектурой и обученным чекпоинтом.

Обе схемы совместимы с оптимизированными ядрами. README Flash Attention принимает параметр alibi_slopes формы (nheads,) или (batch_size, nheads) в fp32 — то есть наклоны передаются в ядро явным массивом.

Ограничения длинного контекста

Экстраполяция длины — главное обещание метода и главный источник неверных ожиданий. Первичная работа сообщает о модели 1.3B, обученной на 1024 токенах и экстраполирующей на 2048 с той же perplexity, что у синусоидальной модели, обученной на 2048, при 11% ускорения обучения и 11% экономии памяти.

Это результат конкретного эксперимента с конкретной моделью и длинами. Он не превращается в универсальное правило «ALiBi даёт бесконечный контекст».

Работа объясняет улучшение perplexity на длинных входах лучшим обходом early token curse. Улучшение perplexity на языковой модели — метрика предсказания следующего токена, и она не равна подтверждённому лучшему использованию дальних зависимостей в прикладной задаче.

Что остаётся за рамками метода:

  • Квадратичная сложность attention по длине сохраняется: число операций и память растут как квадрат длины последовательности.
  • Качество за пределами обучающего диапазона проверяют на конкретной модели и задаче; наличие bias само по себе его не определяет.
  • При увеличении рабочей длины наклоны остаются фиксированными. Нужны отдельная оценка качества и проверка поддержки длины реализацией; обязательное повторное обучение из этого не следует.

Практический порядок проверки для своей задачи: обучить на коротких входах, замерить perplexity на длине обучения, затем на удвоенной длине, сравнить с базовой моделью на тех же данных. Расхождение между заявленным результатом статьи и своим замером — нормальная ситуация, потому что условия экспериментов различаются.

Частые вопросы

Что такое alibi attention простыми словами?
Это attention, в котором к логитам добавляется отрицательное смещение, пропорциональное расстоянию между токенами. При положительном наклоне и равных исходных логитах дальний доступный ключ получает меньший вес после softmax. В общем случае вес также зависит от сходства запроса и ключа. Позиционные эмбеддинги к входным векторам не добавляются.

Почему штраф прибавляется до softmax?
Softmax нормирует логиты в вероятности, и любое слагаемое, добавленное после нормировки, исказит сумму весов. Прибавление до softmax сохраняет линейное убывание в логарифмической шкале и корректное распределение вероятностей по доступным ключам.

Чем ALiBi отличается от RoPE?
RoPE вращает векторы запроса и ключа на позиционно-зависимый угол. ALiBi оставляет векторы без изменений и прибавляет скалярный штраф к логитам внимания. Обе схемы не добавляют обучаемых параметров, но меняют разные части вычисления.

Можно ли обучить наклоны голов?
В README проекта ofirpress указано, что параметр m привязан к голове и задаётся в начале обучения. Значения генерируются функцией по числу голов. В исходной схеме наклон фиксирован и не обновляется оптимизатором; изменение этого правила означало бы другой вариант метода.

Даёт ли ALiBi бесконечный контекст?
Первичная работа показывает экстраполяцию с 1024 на 2048 токенов для модели на 1.3 млрд параметров с сопоставимой perplexity. Квадратичная сложность attention по длине сохраняется, а качество за пределами обучающего диапазона зависит от эксперимента и модели.

Читайте также

3 материала